社区
Spark
帖子详情
spark加载使用第三方动态库.so文件
冰雪_ang
2015-09-29 11:03:13
这边有个任务,通过音频来解析年龄和性别,这个过程中需要用到第三方动态库(.so文件),请教大神在spark中怎样加载和使用第三方库?
...全文
1753
5
打赏
收藏
spark加载使用第三方动态库.so文件
这边有个任务,通过音频来解析年龄和性别,这个过程中需要用到第三方动态库(.so文件),请教大神在spark中怎样加载和使用第三方库?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
东哥说MES
2017-07-11
打赏
举报
回复
如何解决, http://blog.csdn.net/ddjj_1980/article/details/74940593
sunwenzhi168
2017-07-10
打赏
举报
回复
请教楼主如何解决的
Myra_Maimaimai
2016-03-08
打赏
举报
回复
我用的是python,pyspark.SparkContext 的 addFile(path)可以用来将文件分发至各计算节点供调用(Add a file to be downloaded with this Spark job on every node),so库调用没有问题,我用过
冰雪_ang
2015-12-09
打赏
举报
回复
这种方法太笨了,我想要的是通过spark代码加载进来,然后发布到各个计算节点,就类似hadoop的DistributedCache.addFileToClassPath()函数。
hijk8388
2015-11-01
打赏
举报
回复
spark的每个节点也是一个linux主机,.so文件放到各个节点,工程通过java调用.so试试
Spark
1,274
社区成员
1,171
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章