大批量导入数据出现的问题，请指教哦！

daisylove 2006-03-17 11:22:57

手里有20g左右的dmp文件需要导入oracle数据库，但是导入了几个table之后，就停滞在一个表上
没有任何反应了。开始以为是数据量太大，昨天整整一天仍然停留在原处。查看oracle的session也没有显示了。这是什么原因？是用imp导入的哦。

...全文

115 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

wys512 2006-03-17

打赏
举报

我的解决办法是写程序用线程去分片取数据

cenlmmx 2006-03-17

打赏
举报

20g是有点够呛,
1. imp前把约束和trigger disable,不要imp index.
2. 加大sort_area_size参数,关闭archive,
3. alter tables nologging
4. imp ... buffer=300000000 commit=y (buffer开大点)

背景：今天要把DataSet导入Excel，查询以前的贴子，一部分用Ole，速度太慢，一部分用ADO连接到Excel文件，也很慢，一气之下把DBGrigEh的导出部分改了出来，欢迎大家指教、改进。功能：将数据集的数据导入Excel; 用法：With ExportXls.Create(TDataSet(ADOQuery1)) do Try Save2File(SaveDialog1.FileName, True); finally Free; end; 作者：Caidao (核心代码来自Ehlib) 时间：2003-04-09 地点：汕头我演测试的代码：特点：一、不需安装Excel即可导出。三、最多可以导出多少条，我没试，我试了5万条没有问题，时间也就是只需1-5分钟（我电脑较慢）。使用方法(注：别忘了uses DBGridToExcel;)：procedure TForm1.btn7Click(Sender: TObject);begin With ExportXls.Create(dbgrd1.DataSource.DataSet) do Try dlgSave1.DefaultExt := '.xls'; dlgSave1.Filter := 'Microsoft Excel 文件|*.xls'; if dlgSave1.Execute then begin Save2File(dlgSave1.FileName, True); end; finally Free; end;end;

作为一个资深小白，用C#将数据批量导入到excel中这么简单的事儿都略显费力，特地来记录一下。方法1：NPOI，听说这个炒鸡简单，因为项目已经完成，所以没有再花功夫看这个，在这儿只是记录一下这个方法名称。方法2：引用Microsoft.Office.Interop.Excel，引用—添加引用—com里找这个dll，接下来就是数据导入，按单元格导入很慢，按行导入稍快点儿，最快的是将所有数据变成一...

load data local infile '/var/lib/mysql/name.txt' into table pharmacy fields terminated by '\t' lines terminated by '\n' ignore 1 lines (id,pid,storage_id,tag,pzwh,file_id,is_out,code,created_at,updated_at,deleted_at); mysql --default-character-set=utf8 -u

Mysql大批量插入数据报Packet for query is too large 项目中需要实时解析聚类的结果文件，然后入库，突然最近这几天系统日志经常报错：### Error updating database. Cause: com.mysql.jdbc.PacketTooBigException: Packet for query is too l

前言数据导入HBase时，若是小批量的数据，使用HBase提供的API就可以满足需求。如果要灌入大量数据，使用API的方式导入，会占用大量的RegionServer的资源，影响该RegionServer上其他表的查询。为了解决这种问题，HBase官方提供了两种基于MapReduce的大量数据导入的方法： ImportTSV BuckLoad 1. HBase导入数据的写入流程客...

基础和管理

17,377

社区成员

95,128

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章