spark加载使用第三方动态库.so文件

冰雪_ang 2015-09-29 11:03:13

这边有个任务，通过音频来解析年龄和性别，这个过程中需要用到第三方动态库（.so文件），请教大神在spark中怎样加载和使用第三方库？

...全文

1710 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

东哥说-MES|从入门到精通 2017-07-11

打赏
举报

回复

如何解决， http://blog.csdn.net/ddjj_1980/article/details/74940593

sunwenzhi168 2017-07-10

打赏
举报

回复

请教楼主如何解决的

Myra_Maimaimai 2016-03-08

打赏
举报

回复

我用的是python，pyspark.SparkContext 的 addFile(path)可以用来将文件分发至各计算节点供调用（Add a file to be downloaded with this Spark job on every node），so库调用没有问题，我用过

冰雪_ang 2015-12-09

打赏
举报

回复

这种方法太笨了，我想要的是通过spark代码加载进来，然后发布到各个计算节点，就类似hadoop的DistributedCache.addFileToClassPath()函数。

hijk8388 2015-11-01

打赏
举报

回复

spark的每个节点也是一个linux主机，.so文件放到各个节点，工程通过java调用.so试试

解决pyspark问题：在集群中使用cluster模式，引入python复杂第三方库问题：在工作中，使用spark-summit部署python第三方库保存的xgboost模型（单机库模型，非xgboost-4j），运行出错，ImportError: No module name xxxx。使用第三方库有：pandas、numpy、xgboost。因为没有集群权限，模型安装流程复杂，尝试自己探索解决，看了国内外很多帖子，大致有3种情况：单一文件自建模块或python简单第三方库（不含.so文.

使用spark-submit时，应用程序的jar包以及通过—jars选项包含的任意jar文件都会被自动传到集群中。 spark-submit --class --master --jars 1、绑定应用程序依赖如果代码依赖于其它项目，为了将代码分发到Spark集群，就需要将这些依赖一起打包到应用程序中去。sbt和Maven都有装配插件，只要在创建集成的jar时列出Spark和Ha...

pyspark 中使用集群未安装的python三方库：加载虚拟python环境在使用pyspark运行python代码的过程中，通常遇到集群环境中没有相应的python三方库，即：ImportError: No module named ** ，对于该种情况，通常有两种解决方案： 1. 集群中的python环境安装相应的三方库！走流程、找运维，贼麻烦 2. 集群未配置python环境，加载虚拟python环境！（重点讲解该方式，用起来贼方便）未加载库的通常处理方式使用pyspark过程中

20个必不可少的Python库也是基本的第三方库读者您好。今天我将介绍20个属于我常用工具的Python库，我相信你看完之后也会觉得离不开它们。他们是：Requests.Kenneth Reitz写的最富盛名的http库。每个Python程序员都应该有它。Scrapy.如果你从事爬虫相关的工作，那么这个库也是必不可少的。用过它之后你就不会再想用别的同类库了。wxPython.Python的一个GU

在编译和链接的过程中，动态链接库的使用确实有几个关键点需要注意。编译阶段：在这个阶段，源代码会被转换为目标代码（通常是.o文件）。这个过程中通常不需要链接动态库，因此不涉及。但是在编译时，如果你引用了动态链接库中的符号（例如，通过#include引入头文件并使用相应的函数），编译器需要知道如何找到这些符号的定义。这时，你需要在编译命令中指定库的路径，例如使用-L选项来指定库路径，以及-l选项来链接特定的库。链接阶段：在编译之后，链接器将目标文件与库进行链接。

1,269

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章