如何让程序自己快速导入大批量文本数据到某个表里

loosong 2015-08-06 08:55:55
PB9+asa,200万条文本数据,都已格式化好,用datawindow的importfile,速度很慢,一个多小时才20万条左右,往后我都不敢倒了,怕死机;编写脚本从文本一行一行读取然后用INSERT语句插入到表里,速度也差不多,一个多小时才30万条左右,也很慢。如果不用PB写程序脚本,在interactive SQL工具里,用LOAD INTO TABLE语句倒则很快,不过只能手工导入,但我需要用程序每天定时自动导入几百万行数据,有什么快速方法?谢谢。我试了LOAD INTO TABLE语句属于ISQL语句,PB脚本里不支持。
...全文
1378 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
WLXYX007 2015-08-13
  • 打赏
  • 举报
回复
bat文件语法哪有得学?
A啦Dbit 2015-08-07
  • 打赏
  • 举报
回复
引用 3 楼 loosong 的回复:
@xiajinxian 你好,这正是我想要的方式,但看不大明白,各参数的含义和填写方法能详细解释一下吗,谢谢。例如%2是不是表示要导入文件的详细路径及文件名
这是一个bat文件,1%就是bat的第一个参数 是个db文件的地址 其它具体可以了解一下批处理的语法
loosong 2015-08-07
  • 打赏
  • 举报
回复
@xiajinxian 你好,这正是我想要的方式,但看不大明白,各参数的含义和填写方法能详细解释一下吗,谢谢。例如%2是不是表示要导入文件的详细路径及文件名
A啦Dbit 2015-08-07
  • 打赏
  • 举报
回复
直接用处理也可以
@echo off
set path=D:\
set ls_dbn=%~n1
set ls_server=%COMPUTERNAME%;
::连接字符串databasename=%ls_dbn%;server=%ls_server%;
set ls_connstr=userid=dba;password=sql;databasefile=%1;
set ls_left=dbisqlc12 -c %ls_connstr% -q 
::设置分隔符和字符集
set ls_end=DELIMITED BY ','ENCODING 'UTF-8'
::echo 启动引擎并打开数据库...
::dbisqlc12 -q "START ENGINE as '%ls_server%' STARTLINE 'dbeng12 -c 8m'"
::dbisqlc12 -q "start database %1 as %ls_dbn% on '%ls_server%' AUTOSTOP OFF"
echo 启动引擎并连接到数据库...
dbisqlc12 -c %ls_connstr%AutoStop=OFF; -q "select 1"
echo delete from SALE_BARCODE...
%ls_left% "delete from SALE_BARCODE"
::%ls_left% "LOAD TABLE SALE_BARCODE(BC_BARCODE1,BC_CLOTHNO,BC_COLOR,BC_SIZE,BC_UPDATETIME,BC_UPDATEMAN) FROM %2 %ls_end% "
::echo LOAD TABLE SALE_CLOTH
%ls_left% "LOAD TABLE SALE_CLOTH(CT_ID,CT_STYLEID,CT_NAME,CT_SIZETYPE,CT_PRICE,CT_QH,CT_UPDATETIME,CT_UPDATEMAN) FROM %3 %ls_end% " 
::停止数据库
::dbstop12 -y %ls_dbn%
::dbisqlc12 -q "stop database %ls_dbn% on '%ls_server%' "
::dbisqlc12 -q "stop ENGINE '%ls_server%' "
dbstop12 -c %ls_connstr%

WorldMobile 2015-08-07
  • 打赏
  • 举报
回复
在pb中,采用importfile是最快的导入方式,你可以把文件分成几个,然后直接导入
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。

753

社区成员

发帖
与我相关
我的任务
社区描述
PowerBuilder 数据库相关
社区管理员
  • 数据库相关社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧