张小凡vip的留言板

[阿泽财商会]

大家好，这里是我的留言板，如果有问题，欢迎大家留言，我会第一时间进行回复

[GM�]

spark on k8s ，cluster模式下，spark-submit 提交一个py文件的时候driver会报错，报错如下：
+ case "$1" in
+ echo 'Non-spark-on-k8s command provided, proceeding in pass-through mode...'
Non-spark-on-k8s command provided, proceeding in pass-through mode...
+ CMD=("$@")
+ exec /sbin/tini -s -- driver-py --properties-file /opt/spark/conf/spark.properties --class org.apache.spark.deploy.PythonRunner
[FATAL tini (17)] exec driver-py failed: No such file or directory


这个问题又遇到过吗？

[阿泽财商会]

引用 1 楼 GM� 的回复:

spark on k8s ，cluster模式下，spark-submit 提交一个py文件的时候driver会报错，报错如下： + case "$1" in + echo 'Non-spark-on-k8s command provided, proceeding in pass-through mode...' Non-spark-on-k8s command provided, proceeding in pass-through mode... + CMD=("$@") + exec /sbin/tini -s -- driver-py --properties-file /opt/spark/conf/spark.properties --class org.apache.spark.deploy.PythonRunner [FATAL tini (17)] exec driver-py failed: No such file or directory 这个问题又遇到过吗？

这个 driver-py 是你自己创建的 python文件吧。 这样的话 你需要把它 给打包到 image中，因为 excutor里没有这个文件。 另外的方案 就是 使用 spark 3.0.0版本 支持 使用s3作为中转， 这样运行 自己写的driver-py程序时，会自动上传到s3。excutor会自己去拿。 我现在 都是 使用client 模式多一些， client 模式会 自动传递 这个 执行文件py

[adilopuw]

大佬，麻烦问一下，linux上部署kettle，字符集都是UTF-8，但是所有的中文还是标准的三个???

[阿泽财商会]

引用 3 楼 adilopuw 的回复:

大佬，麻烦问一下，linux上部署kettle，字符集都是UTF-8，但是所有的中文还是标准的三个???

您好 请问是 哪个地方的中文是问好 kettle的操作界面么 还是 打印的kettle的日志， 如果是 抽取的数据和 导出的数据的话 跟数据源的 字符集 也有关系

[雨后龙井]

非常好帖子，有个人blog吗？