spark dataframe读入csv文件后，内容类型转换

maybach111war 2017-06-12 01:03:18

因为读入的数据已经是标准的向量表示格式了
但是因为读文件读入的是StringType，做下一步转换的时候不可用

...全文

1926 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

maybach111war 2017-06-12

打赏
举报

回复

如上图所示，逗号分隔的特征怎么做独热编码呢，如果是单特征就很容易实现

类似此图，其中的feature1是可以表示这种多维向量，上图怎么转到下图这种形式？
谢谢，描述的不是很清楚...

maybach111war 2017-06-12

打赏
举报

回复

如上图，feature1和feature2已经是向量了，怎么按照向量来操作呢，读入的是StringType

以下内容在spark2.2和spark2.3中测试都通过通用转换形式： spark.read.schema(sch).option("header", true).csv("/path/file.csv") 注意以下几点： csv会完全按照...

之前写的程序中，有些API在Spark SQLContext没有，我计算的结果先保存在rdd中，最后在使用RDD转换成dataframe进行保存，话不多说下面是代码. //一个StruceField你可以把它当成一个特征列。分别用列的名称和数据类型...

试了网上的好几种读取csv文件的方法，总会有些错误，用这个方法就解决了，我的环境是spark 2.1.1 val data = spark.read.format("csv").option("header", "true").load("file:///home/xin/lb/AAAA.csv") data....

spark2.0才开始源码支持CSV，所以1.6版本需要借助第三方包来实现读取CSV文件，有好几种方法， 1.如果有maven的，到https://spark-packages.org/package/databricks/spark-csv下载对应scala版本的第三方jar包然后再...

Spark ML里的核心API已经由基于RDD换成了基于DataFrame，为了使读取到的值成为DataFrame类型，我们可以直接使用读取CSV的方式来读取文本文件，可问题来了，当文本文件中每一行的各个数据被不定数目的空格所隔开时，...

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章