社区
Spark
帖子详情
基于Spark的遗传算法
白杨爱学术技术艺术
2016-02-25 12:39:52
刚刚开始学习Spark,看到很多资料上说Spark相比Hadoop MapReduce更适合于解决迭代问题,而遗传算法是一种典型的迭代问题,为什么却几乎找不到用Spark实现遗传算法的例子呢。
想向各位前辈请教,Spark究竟是否适合于求解遗传算法?此外,在Spark上实现遗传算法的基本思路是怎样的?希望各位前辈不吝赐教,谢谢。
...全文
1194
4
打赏
收藏
基于Spark的遗传算法
刚刚开始学习Spark,看到很多资料上说Spark相比Hadoop MapReduce更适合于解决迭代问题,而遗传算法是一种典型的迭代问题,为什么却几乎找不到用Spark实现遗传算法的例子呢。 想向各位前辈请教,Spark究竟是否适合于求解遗传算法?此外,在Spark上实现遗传算法的基本思路是怎样的?希望各位前辈不吝赐教,谢谢。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zhzxdw
2017-09-04
打赏
举报
回复
想知道,大家关于遗传算法的研究进展得怎么样了。
科研不是你想搞想搞就能搞
2016-12-29
打赏
举报
回复
我也想知道后来咋样了?大家有没有一些相关的资料,求分享。我就只在github上看到几个相关程序,但似乎都不是很容易上手。。。求解救
kxiaozhuk
2016-12-09
打赏
举报
回复
这有个java的遗传算法例子,可以拿spark改造一下 http://blog.csdn.net/csdn_yaobo/article/details/51727320
科研不是你想搞想搞就能搞
2016-12-08
打赏
举报
回复
我想知道后来咋样了,楼主。我现在也在学习Spark,也是想和遗传等迭代算法结合,手上有一些资料可以共享,我兴趣私聊
基于
Spark
的并行
遗传算法
研究
当前
Spark
分布式编程框架由于内存计算得到了快速发展,相对于传统Map Reduce并行编程模型在迭代运算上有明显优势。针对串行
遗传算法
处理大规模问题能力有限的现状,提出了一种基于
Spark
平台的粗粒度并行
遗传算法
(SPGA)。该方法利用
Spark
框架并行实现了
遗传算法
的选择、交叉和变异操作,并对并行操作算子的性能进行了分析,优化了算法并行化实现方案,极大地提高了
遗传算法
全局搜索效率。实验结果表明,新的并行
遗传算法
在收敛速度上有显著的提高,能够很好地提高优化效率。
基于
Spark
的并行
遗传算法
在状态方程构建中的应用
对状态方程参数的确定问题,提出了基于
Spark
的变化搜索空间的并行
遗传算法
。把参数确定问题转化为函数最优化问题,可以使用
遗传算法
求解。通过将
遗传算法
与
Spark
相结合,加快算法的计算速度。在此基础上开发了基于
Spark
的并行
遗传算法
程序,数值实验表明算法可以用来解决状态方程中参数的确定问题,且实验所得结果的精度只与实验数据的精度有关。同时实验数据表明并行的
遗传算法
不仅可以加快计算速度还可以提高结果的精度和稳定性。
AdMaster架构师刘喆:基于
Spark
Streaming 的实时处理研究
基于
Spark
Streaming的实时处理视频教程,基于
Spark
Streaming 的实时处理研究,分享主要涉及以下内容:实时系统构架设计、开源组件选择、逻辑开发注意事项、
Spark
Streaming 的适用性和坑、AdMaster 的实际应用案例。
基于
Spark
的并行
遗传算法
求解多峰函数极值
遗传算法
求解多峰函数极值需进行反复多次的迭代运算,面对大数据样本时会出现运算效率过低的现象,这极大地限制了
遗传算法
的实际应用。经典Hadoop并行平台可在一定程度上提高
遗传算法
的运行效率,而新一代
Spark
并行平台可以更加充分地发挥
遗传算法
的并行潜能。设计并实现了基于
Spark
的并行
遗传算法
,在各个子节点上并行执行子种群个体的交叉、变异等操作,达到了高度并行化进化种群以高效求取多峰函数极值的目的。为方便比较,同时设计并实现了单机及Hadoop平台下的相应算法。实验结果表明,处理大数据样本时,相比传统单机和Hadoop平台,基于
Spark
的并行化
遗传算法
显著降低了求解多峰函数极值的耗时,大幅提高了算法的效率;同时,由于其并行计算带来的强大随机性,也有效避免了种群单一过早收敛的问题,提高了算法的准确性。
论文研究-基于
Spark
的并行
遗传算法
在旅行商问题中的应用.pdf
传统
遗传算法
存在早熟现象,而且其在海量数据模型下的求解精度和可扩展性也有待提高。为了改进上述问题,在研究孤岛模型和细粒度模型优势基础上,利用
遗传算法
自身的并行性,提出一种仿细粒度的粗粒度并行模型,基于
Spark
实现了一种双层并行的
遗传算法
。将改进算法应用于旅行商问题Berlin52数据集的求解,实验结果表明,与传统的并行模型相比,改进后的算法可以明显缩短计算时间,增大搜索范围,早熟现象也得到了改善。
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章