在Hadoop yarn-client上运行ipython notebook出现NameError: name 'sc' is not defined

qq_31866151 2020-07-21 06:51:23
我最近在学习《Python+Spark 2.0+Hadoop机器学习与大数据实战_林大贵(著)》,按照书上的步骤在Hadoop yarn-client上运行ipython notebook时出现如下错误:

但是在local上就运行正常,网上查到的方法试过了依然没有解决
...全文
10970 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
不要辣,谢谢 2022-06-08
  • 打赏
  • 举报
回复

问题相同
用 PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client 代码打开yarn-client 解决了问题,供参考。

w666de_jie 2021-04-13
  • 打赏
  • 举报
回复
楼主我也是看这本书,但是我在Hadoop yarn-client上运行ipython notebook显示找不到web浏览器: could not locate runnable browser.。 大佬知道什么原因吗
weixin_38294143 2020-11-29
  • 打赏
  • 举报
回复
楼主怎么解决的啊,我在这卡了好几天
qq_31866151 2020-07-21
  • 打赏
  • 举报
回复
好了,问题解决了,书上前面命令给错了,后面总结的地方是对的

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧