社区
Java
帖子详情
求java用sql查询方式读取csv的方法
justlearn
2013-10-23 11:02:55
需要像操作数据库一样读取csv文件中的数据,数据量是几十万条。
请问有谁用过比较好的开源包?比如csvjdbc之类的?
1.需要支持部分一致的查询(like)
2.最好能实现排序(order by)
另:csvjdbc现在支持部分查询吗?
...全文
408
4
打赏
收藏
求java用sql查询方式读取csv的方法
需要像操作数据库一样读取csv文件中的数据,数据量是几十万条。 请问有谁用过比较好的开源包?比如csvjdbc之类的? 1.需要支持部分一致的查询(like) 2.最好能实现排序(order by) 另:csvjdbc现在支持部分查询吗?
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
justlearn
2013-10-25
打赏
举报
回复
csvjdbc功能很强大,支持各种查询和排序。问题自己已解决。
justlearn
2013-10-23
打赏
举报
回复
引用 2 楼 forgetsam 的回复:
直接sqlloader导入或者作为外部表。
整个过程没有数据库,从csv中抽取数据,输出到excel
forgetsam
2013-10-23
打赏
举报
回复
直接sqlloader导入或者作为外部表。
tony4geek
2013-10-23
打赏
举报
回复
帮顶。sql 方式没用过,用第三方包直接读取过csv
spark从hdfs
读取
csv
数据后,通过spark
sql查询
,然后输出结果——这个过程中间干了啥?
负责管理应用程序与集群的交互,自动初始化。DataFrame创建:通过read.
csv
读取
文件,将数据解析为结构化格式,构造DataFrame对象。临时视图注册:将DataFrame注册为临时视图,使其可以通过
SQL查询
。
SQL查询
执行:经过解析、逻辑优化和物理执行计划生成,Spark会在集群上执行
SQL查询
。show():触发计算并将结果返回到Driver端,格式化后打印到控制台。
java
读取
数据库数据写入
csv
//文件1 package DBTest; import
java
.io.BufferedWriter; import
java
.io.FileOutputStream; import
java
.io.OutputStreamWriter; import
java
.sql.Connection; import
java
.sql.DriverManager; import
java
.sql.Resu...
flink
读取
csv
文件
所需依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table</artifactId> <version>1.9.0</version> </dependency> <!-- https://mvnrepository.com/artifact...
3. 使用
sql查询
csv
/json文件内容,还能关联查询?
我们在前面的文章提到了calcite可以支持文件系统的数据源适配, 其实官方已经提供了相应的能力, 其支持
csv
和json的查询适配, 废话不多说, 直接展示.ID:long,姓名:string,GENDER:string,BIRTHDAY:date。140,"张铁牛","M","2007-01-01"110,"李四","M","2001-01-01"120,"王五","M","2002-05-03"130,"赵六","F","2005-09-07"100,"张三",,"2001-01-01"
使用Flink SQL
读取
大数据中的
CSV
文件
在Flink中,我们可以使用Flink SQL通过结构化查询语言来处理和分析数据。本文将介绍如何使用Flink SQL
读取
大数据中的
CSV
文件,并提供相应的源代码示例。通过上述步骤,您可以使用Flink SQL
读取
大数据中的
CSV
文件,并对其进行查询和分析。在开始使用Flink SQL之前,我们需要创建一个Flink表环境。Flink表环境是执行Flink
SQL查询
的入口点。现在我们已经成功将
CSV
文件转换为了一个Flink表,我们可以使用Flink SQL对其进行查询和分析。
方法
中执行了上述的步骤。
Java
51,407
社区成员
86,125
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章