机器学习算法在大规模社会网络分析中有什么应用?


机器学习算法在大规模社会网络分析中有什么应用?
例如运用HMM算法预测网络中节点的时序行为
运用k-means等分类聚类方法用于社区发现等

当数据规模比较大时有什么分布式工具可以更好的运用机器学习算法
对社会网络进行分析?
例如spark的 mllib 和 graphx组件 如何进行结合
已邀请:

sumnous - 数据挖掘女博士

赞同来自: July Tuluobo Noodles CloudForK askyfeng7


除了题主说的以外,我所知的机器学习算法在大规模社会网络分析中的应用,还有:
  • Random walks应用于社区发现,例如算法Infomap
  • Neural Networks、Genetic Algorithm的很多算法也可应用与社区发现
  • LDA算法应用于文本分类、聚类
  • LDA与EM (expectation maximization) 算法结合可以用来做社交影响力传播分析 (Social Influence Propagation),例如算法AIR
  • Matrix Factorization、SVD等矩阵分解算法应用于推荐系统


其实,很多机器学习算法的技术都可以尝试用来解决SNA的问题。

针对数据规模较大时,在网上看到过一个Spark与GraphX结合的社区发现算法的例子,可供参考:
基于GraphX的社区发现算法FastUnfolding分布式实现

其实,现有的工具只是提供了计算框架,具体解决问题的算法可能还是需要在已有的算法基础上进行改进、改写,具体问题具体分析,从数据和要解决的问题出发来找到适合的方法。

当然,推荐使用Spark和GraphLab框架。

要回复问题请先登录注册