在IntelliJ IDEA上调试spark

qq_23677453 2016-03-18 12:04:36

我想要在IDEA上单机调试spark里的PageRank算法，但是我该如何具体设置它的运行内存和运行的core数量，来达到和分布式集群作比较的目的。求教各路大牛！

...全文

616 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

qq_23677453 2016-08-07

打赏
举报

回复

引用 1楼chimes298 的回复:

val conf = new SparkConf() .setMaster("local[n]") n为要使用的core数

那内存大小怎么设置呢？

chimes298 2016-03-30

打赏
举报

回复

val conf = new SparkConf() .setMaster("local[n]") n为要使用的core数

本课程主要讲解开发工具IntelliJ IDEA安装、IntelliJ IDEA卸载、安装IntelliJ IDEA试用插件及创建第一个SpringBoot项目。本课程主要用于学习和研究IntelliJ IDEA开发Java Web。 1.课程介绍 2.IDEA简介及下载 3.IDEA...

Win下用idea远程在hadoop上调试spark程序及读取hbase 环境： Win7 Jdk1.8 Hadoop2.7.3的winutils.exe工具 IntelliJ IDEA 2017.3 x64 IDEA 2017.3 的scala支持包 Spark2.1.1 Scala2.11.4 第0步配置系统环境...

intellij idea 常见配置

2.2 创建idea项目和普通的创建maven java项目一样，没有区别 2.3 pom.xml配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xs

本文讲解Spark流数据处理之Spark Streaming。本文的写作时值Spark 1.6.2发布之际，Spark 2.0预览版也已发布，Spark发展如此迅速，请随时关注Spark Streaming官方文档以了解最新信息。文中对Spark Streaming的...

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章