spark上跑C++

neo_liang 2015-10-31 04:07:48
我有现成的封装好的C++库，想在spark上跑。怎么搞啊 请大神指教
...全文
560 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
hijk8388 2015-11-01
  • 打赏
  • 举报
 回复
dll(so)文件放到节点，用java调用试试
C++与Hive、Spark、libhdfs、ACID交互技巧
该博客介绍了C++与Hive、Spark、libhdfs、ACID的交互技巧。包含C++与Hive交互实例，实现ACID特性与Hive 3+交互的实例，还介绍了Hive源码结构、编译调试，以及Spark数据处理、机器学习等示例，还有基于Spring Boot和Spark的实用示例。
DGX Spark 跑 Qwen3.5-35B-A3B 实测43tok/s
本文介绍在NVIDIA DGX Spark（GB10）平台上使用llama.cpp部署Qwen3.5-35B-A3B大语言模型的技术实践，重点解决与openclaw集成时的角色标识、tool字段兼容性及thinking模式导致空响应等问题，并通过自研代理层实现协议适配；实测生成速度达43 tokens/秒，预填充63 tokens/秒，支持131K上下文。
Parquet-CPP终极指南：C++开发者的高性能列式存储解决方案
本文介绍了Parquet-CPP，C++开发者用于高效列式存储的解决方案。涵盖其核心特性如高性能读写、丰富数据类型支持及与Spark等大数据框架集成，并探讨了在数据分析与机器学习中的应用，提供构建步骤与最佳实践。
探讨在C++中实现Spark的可能性及其实施策略
本文探讨了在C++中实现Spark的意义，包括性能提升、集成便利和生态系统扩展。介绍了重新设计、JNI/CLI绑定、混合编程及开源合作等策略，并指出需考虑性能与开发成本，根据应用场景选择实现方案。
用 Scala 语言写的 Spark 框架程序利用 JNI 调用 C++ 程序
本文介绍了如何在Scala Spark程序中使用JNI技术调用C++程序，通过创建Spark项目，生成JNI头文件，编写C++实现，编译动态链接库.so，并在Linux环境下运行Spark任务调用该库。
Spark

1,275

社区成员

1,171

社区内容

发帖
与我相关
我的任务
社区描述
Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章