使用pyspark 进行mlllib 中lda 算法训练时，跑了500多个stage 都没结束。

[喵十八]

背景：
将基于spark 2.2 ml库，使用python 开发的LDA 程序移植到spark 1.6 mllib 运行（恩 ，因为spark 1.6 ml库的python api 不支持lda）

具体爬坑记录见
http://www.jianshu.com/p/31ddfacc67e2

遇到问题：
使用hvie 读取的df，转为rdd之后，进行lda 的train，跑了30多分钟，500多个stage 都么结束。（测试数据一共就10条）
但是，对这部分代码 先collect之后，再parallelize 之后，就可以了。
原始代码如下：

    features = data.rdd.map(lambda x: (x[0], x[1:])).groupByKey().mapValues(list).map(
        lambda row: build_sparse_vector(row, tag_index_map_in)).map(lambda x: [x[0], x[1]]).cache()
    model = LDA.train(features, k=10, seed=long(time.time()), optimizer="em")

修改之后如下

    features = data.rdd.map(lambda x: (x[0], x[1:])).groupByKey().mapValues(list).map(
        lambda row: build_sparse_vector(row, tag_index_map_in)).map(lambda x: [x[0], x[1]]).cache()
    cc = features.collect()
    rdd = sc.parallelize(cc)
    model = LDA.train(rdd, k=10, seed=long(time.time()), optimizer="em")