使用 sqlserver2008 SSIS 工具 按实现一个 如下的 日ETL流程

geniusqiao 2011-05-10 02:49:37
使用 sqlserver2008 SSIS 工具 按实现一个 如下的 日ETL流程:
1. 每日到服务器上下载一些文件,文件形式为: XXX.20110509.20110509.XXX.Z
有两种方法:
按文件名账期时间,今天取昨天的账期,但是如果服务器有一体没送文件,那么这批文件就会漏掉。 -- 这个怎么实现?
按文件生成时间,今天取昨天生成的文件,即文件的生成日期是 20110509 的全部下载下来,不管他的文件名账期是怎么样的。 -- 这个怎么实现?
2. 下载到本地后,需要将这些打包文件解压,然后对应到数据里面的一张表入库。
据我了解的应该是
执行SQL任务-》清空接口表数据-》FTP下载-》Foreach 循环容器
其中 Foreach 循环容器 里面具体还有 数据流任务-》数据流任务1。

-- 希望有用过 SSIS 的牛人 帮我写一份 步骤详细的 说明文档(就是每一步该怎么操作,怎么设置),如果能有截图是最好的了,
谢谢!
...全文
1180 13 打赏 收藏 转发到动态 举报
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
geniusqiao 2011-05-27
  • 打赏
  • 举报
回复
有谁知道 SSIS 通过平面源文件-派生列-目标表允许的最大文件行数是多少吗》
我的文件数有8千万记录数,就报达到什么最大缓存之类的错误。
Ubuntu_Fedora 2011-05-27
  • 打赏
  • 举报
回复
pal,you are on your own,just look it up on google
geniusqiao 2011-05-16
  • 打赏
  • 举报
回复
问题还没解决啊,还有没有人知道怎么调oracle的存储过程?
geniusqiao 2011-05-12
  • 打赏
  • 举报
回复
[Quote=引用 9 楼 joyce2004z 的回复:]
调用的是Execute SQL Task?,如果是,如下

General页面
SqlStatement: exec sp_proce_test(?,?,?)

Parameter Mapping页面
Variable Direction Data Type Parameter Name
@var1 Input datatype 0
@var2 Input datatype 1
……
[/Quote]
谢谢你的热心回答..

我是这么做的,可是一老报错,我不用返回数据集,只是调用存储过程完成一些功能而已。
你qq多少,我加下你qq,截张图给你看下我有什么地方没做对,好吗?
joyce2004z 2011-05-12
  • 打赏
  • 举报
回复
调用的是Execute SQL Task?,如果是,如下

General页面
SqlStatement: exec sp_proce_test(?,?,?)

Parameter Mapping页面
Variable Direction Data Type Parameter Name
@var1 Input datatype 0
@var2 Input datatype 1
@var3 Input datatype 2

若返回数据集
Result Set页面
Result Name Variable Name
0 @var3

Note: @var3是object类型


geniusqiao 2011-05-11
  • 打赏
  • 举报
回复
问题都已经解决了。
现在遗留了一个比较简单的操作不会。

在SSIS里面怎么调用oracle存储过程呢?我掉用sq命令是可以执行成功的,
但是将sql改成 exec sp_proce_test(arg1,arg2,arg3)
这样一老报错,存储过程是没有问题的,是那里需要改一下呢?
geniusqiao 2011-05-10
  • 打赏
  • 举报
回复
[Quote=引用 6 楼 fredrickhu 的回复:]
http://topic.csdn.net/u/20091013/15/9f058df7-4d29-47bf-a338-b63fcab2abc0.html
[/Quote]

谢谢,我刚找了下,没有符合我的问题的文章。
--小F-- 2011-05-10
  • 打赏
  • 举报
回复
可以去看看小梁关于SSIS的BLOG
geniusqiao 2011-05-10
  • 打赏
  • 举报
回复
文件名,下载什么的,我摸出来了,
现在有谁能告诉下,下载下来的文件需要解压入库,怎么实现这个解压??
geniusqiao 2011-05-10
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 ssp2009 的回复:]
引用 1 楼 geniusqiao 的回复:
在线等,希望牛人能加下QQ知道下,谢谢!
1145085346
帮顶
[/Quote]

多谢了!!
快溜 2011-05-10
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 geniusqiao 的回复:]
在线等,希望牛人能加下QQ知道下,谢谢!
1145085346
[/Quote]帮顶
geniusqiao 2011-05-10
  • 打赏
  • 举报
回复
在线等,希望牛人能加下QQ知道下,谢谢!
1145085346

588

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧