1,261
社区成员
发帖
与我相关
我的任务
分享使用Spark GraphX 如何从文件中构建一个图
我最近在学GraphX,是用scala写的，本身对scala的语法不是太熟悉，Graphx内部的函数勉强能看懂一些，现在需要用这个做一些graph pattern matching，不知道有没有哪位大侠写过graphx，发些例子给我看一下，不甚感激！
目前的问题是如何从文件中（从数据库中也行）构建一个graph。。。
目前的问题是如何从文件中（从数据库中也行）构建一个graph。。。
...全文
请发表友善的回复…
发表回复
人生偌只如初见 2014-12-15
- 打赏
- 举报
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 31
at getGraphFromFiles$.main(getGraphFromFiles.scala:39)
这不是提示了吗？
var j = 0
while(linesE.hasNext){
val ee = lines.next().split(" ")
edgeArr(i) = Edge(ee(3).toLong , ee(5).toLong, ee(15).toDouble)
j = j+1
}
edgeArr(i) 这里应该是 degeArr(j)
qbyjxg001 2014-12-15
- 打赏
- 举报
import org.apache.spark._
import org.apache.spark.SparkContext
import org.apache.spark.graphx._
import org.apache.spark.graphx.Graph
import org.apache.spark.graphx.util.GraphGenerators
import org.apache.spark.rdd.RDD
import scala.io.Source
object getGraphFromFiles {
def main(args: Array[String]): Unit ={
val sc = new SparkContext("local", "Spark Graphx")
val vertexArr = new Array[(Long,String)](31)
val edgeArr = new Array[Edge[Double]](577)
val sourceV = Source.fromFile("/home/liu/data/ada_graph_find5_14_34.txt")
val lines = sourceV.getLines()
var i = 0
while(lines.hasNext){
val pp = lines.next().split(" ")
vertexArr(i) = (pp(1).toLong , pp(3))
i = i+1
}
println(vertexArr.length)
val sourceE = Source.fromFile("/home/liu/data/ada_graph_find5_14_34.txt")
val linesE = sourceE.getLines()
var j = 0
while(linesE.hasNext){
val ee = lines.next().split(" ")
edgeArr(i) = Edge(ee(3).toLong , ee(5).toLong, ee(15).toDouble)
j = j+1
}
//创建点RDD
val users: RDD[(VertexId, String)] = sc.parallelize(vertexArr)
//创建边RDD
val relationships: RDD[Edge[Double]] = sc.parallelize(edgeArr)
//定义一个默认用户，避免有不存在用户的关系
val defaultUser = (1.0)
//构造Graph
val graph = Graph(users, relationships)
//输出Graph的信息
graph.vertices.collect().foreach(println(_))
graph.triplets.map(triplet => triplet.srcAttr + "----->" + triplet.dstAttr + " attr:" + triplet.attr)
.collect().foreach(println(_))
}
}
人生偌只如初见 2014-12-15
- 打赏
- 举报
可以参考：
http://blog.csdn.net/fighting_one_piece/article/details/39668267
http://blog.csdn.net/fighting_one_piece/article/details/39673193
