社区
Hadoop生态社区
帖子详情
Sqoop1 import --as-parquet timestamp变为long
RUTHDEMON
2016-08-24 05:08:54
Sqoop1 (1.4.6版本),在导出数据时timestamp变成了long类型,如下为导入后metadata中看到的数据:
数据库原始状态如下所示:
,如何能保证Sqoop导出的数据的格式一致?
...全文
232
1
打赏
收藏
Sqoop1 import --as-parquet timestamp变为long
Sqoop1 (1.4.6版本),在导出数据时timestamp变成了long类型,如下为导入后metadata中看到的数据: 数据库原始状态如下所示: ,如何能保证Sqoop导出的数据的格式一致?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
弹指神通
2016-08-25
打赏
举报
回复
1、加一个选项指定mapper在读的时候的类型 --map-column-java RNDCRTTM=java.sql.Timestamp 2、你可以直接先把整个表的数据原样抽过来,这时候所有字段都是STRING,然后你自己再做相应的转换。
大数据第三季--
sqoop
(day1)
大数据第三季--
sqoop
(day1)
sqoop
import
hive
parquet
表
timestamp
,decimal转换问题
sqoop
mysql导入hive
parquet
表
timestamp
,decimal
sqoop
-使用文档
该项目已退役。详情请参阅其 阁楼页面。 文档主页
Sqoop
用户指南 (v1.4.7)
Sqoop
用户指南 (v1.4.7) 目录 一、简介 ...7.
sqoop
-
import
7.1. 目的 7.2. 句法 7.2.1. 连接到数据库服务器 7.2.2. 选择要导入
sqoop
使用指南
Sqoop
User Guide (v1.4.6) ...1.Introduction ...
Sqoop
is a tool designed to transfer data between Hadoop and relational databases or mainframes. You can use
Sqoop
to
import
data fr...
sqoop
从mysql导入hive
parquet
表
timestamp
,decimal转换问题
注意两个地方: 1.时间转换问题:
timestamp
、date,time ...1)转成
long
型,再用from_unixtime转回来,才能看时间(太麻烦)-----
parquet
表的类型对应为bigint select *, from_unixtime(cast(SOURCE_LOAD_DATE as ...
Hadoop生态社区
20,807
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章