社区
疑难问题
帖子详情
从ETL通过sql query出来的数据入mysql库有啥好的策略方案?
wuran_beijing
2016-07-12 04:19:27
业务场景是这样的:
业务数据来源于一个购物网站的库房和运输线;
每天都会生成很多数据,现在已经用sql从etl上面“提取生成“大量满足
业务需求的数据,想要将这些数据publish到mysql数据库保存,【每天都会生成哦大量报表】
有啥好的策略,能够完成这个艰巨的任务呢?要求方案稳定,性能好!
...全文
92
4
打赏
收藏
从ETL通过sql query出来的数据入mysql库有啥好的策略方案?
业务场景是这样的: 业务数据来源于一个购物网站的库房和运输线; 每天都会生成很多数据,现在已经用sql从etl上面“提取生成“大量满足 业务需求的数据,想要将这些数据publish到mysql数据库保存,【每天都会生成哦大量报表】 有啥好的策略,能够完成这个艰巨的任务呢?要求方案稳定,性能好!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
唐诗三百首
2016-07-12
打赏
举报
回复
参考
http://www.cnblogs.com/unruledboy/archive/2010/06/29/SSISHelloWorld.html
建议Baidu或Google.
wuran_beijing
2016-07-12
打赏
举报
回复
引用 1 楼 ap0405140 的回复:
可以考虑用SQL Server的SSIS工具实现.
有好的案例或者资料推荐不,急求!
wuran_beijing
2016-07-12
打赏
举报
回复
有好的资料推荐?
唐诗三百首
2016-07-12
打赏
举报
回复
可以考虑用SQL Server的SSIS工具实现.
Linux_X86_64的
My
sql
数据
导出工具
my
sql
uldr,
my
sql
通用导出
数据
工具,支持指定分隔符指定
sql
导出
my
sql
通用导出
数据
工具,支持指定分隔符指定
sql
导出 需配置
My
sql
环境变量。将
my
sql
/lib添加到LD_LIBRARY_PATH,然后执行即可。 指定
sql
文件或者查询语句、指定分隔符导出
数据
文件。-u -h -P -p -e和
my
sql
命令用法...
使用Kettle增量抽取MongoDB
数据
实践
由于不能使用关系型
数据
库的自定义
SQL
, 所以主要遇到的问题有: 1、增量时间的查询和参数控制 2、
ETL
的批次信息和调用参数的写
入
第一个问题的解决如下: 使用命名参数在
Query
页中进行过滤, 一开始会...
My
sql
亿级
数据
量 慢
SQL
及
数据
库性能优化实践
方案
long_
query
_time:5S ,执行时间超过5秒 就记录慢
SQL
日志。 熟悉
My
SQL
执行计划参数说明。 二、业务代码中常见慢
SQL
类型及应对
方案
2.1 嵌套查询,多层嵌套中产生的临时表无法走索引优化
SQL
效率低
方案
:...
Python开放
ETL
之hive
数据
汇总导
入
到
my
sql
方案
此文中,相当于是对【Hive
数据
汇总导
入
My
sql
(Draw lessons from colleagues)】一文的整理。1、在进行代码跑批之前,需要将
my
sql
里的目标表,按要求先建好。2、需要增减任务时,只需要在【config
Sql
.py】增减相应的...
ETL
异构
数据
源Datax_使用
query
Sql
_08
使用说明 当用户配置了这一项之后,DataX系统就会忽略table,column ...当用户配置
query
Sql
时,OracleReader/
My
sql
Reader直接忽略 table、column、where条件的配置,
query
Sql
优先级大于 table、column、where选项。.
疑难问题
22,210
社区成员
121,726
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章