关于通过JDBC装载大量数据到DB2的问题

collintrue 2003-10-16 10:41:42
我用java写了一个程序,从几个文件中提取数据后通过jdbc装载到DB2中,jdbc驱动为com.ibm.db2.jcc.DB2Driver,java SDK的版本是1.4.1,所装载的文件大小分别是125k, 2860k, 3660k, 125k的文件大约会生成3000条记录,而2860k的文件大约生成57000条记录。我一开始用executeUpdate(sql)逐条装入,头两个文件都没问题,可3660k的文件运行一会就报java.lang.OutOfMemoryError错,我后来用addBatch()批量装入,头一个文件没问题,但效率似乎没改变太多,并且在装入第二个文件时就报java.lang.OutOfMemoryError错,请问是什么缘故?如何解决?
另外请问DB2和SQL Server那个在装入数据上性能更好?
多谢!
...全文
39 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
collintrue 2003-10-17
  • 打赏
  • 举报
回复
确切地说是插入新数据到DB2中。
数据库系统 "序号 "指标项 "技术规格要求 " " "数据库通用功能 "支持ANSI/ISO SQL-89、ANSI/ISO SQL-92标准; " " " "支持中文汉字内码,符合双字节编码; " " " "数据库产品应具有良好的图形化用户界面(GUI) " " " ",方便对数据库进行管理/数据库应具有良好的自 " " " "我管理,自我配置与自我调优能力 " " " "除了支持SQL99的标准隔离级,还提供已提交读隔 " " " "离,另一个是新事务隔离级别(快照),增强系统" " " "的并发管理 " " " "支持在同一个硬件服务器上运行多个数据库实例 " " " "支持同一个实例上运行多个数据库,同一管理控制" " " "台完成所有管理工作,工具易于理解、使用同一产" " " "品中具有完整的管理、调优、调度与开发工具 " " " "支持网络上同构或异构数据库之间的数据的有效传" " " "输和冗余性复制;具有多种复制功能模块 " " " "支持ODBC 3.0、X/Open XA、CLI、JDBC等标准 " " " "支持分布式事务及两阶段提交功能 " " " "支持动态将锁粒度调整到合适的级别,支持动态行" " " "级锁定 " " " "支持高可用性组,可以创建和配置一个或多个可用" " " "性组。 " " "数据管理功能 "数据库产品提供数据压缩的商务和技术许可,提供" " " "数据存储能力,和访问效率。 " " " "策略式的管理,很大程度可以简化整个数据库维护" " " "和管理工作。可以同时管理多台服务器,在一台数" " " "据库上修改Option,能够自动发布到不同数据库服" " " "务器上。 " " " "提供数据的变化捕获(CDC)的功能,准确识别变化 " " " "数据。 " " " "提供对数据库内任务的分组CPU、内存的资源占用 " " " "率调整。 " " " "提供Powershell的脚本管理功能。 " " " "提供备份压缩的功能 " " " "提供数据质量管理服务,通过建立数据质量知识库" " " "和定义规则,在数据集成阶段通过基于规则的方式" " " ",将数据进行自动的清洗操作,以保证系统数据质" " " "量。 " " "数据库安全 "提供数据库透明加密能力的商务和技术许可,提供" " " "密钥+证书的方式进行加密。提供支持硬件加密 " " " "支持网络传输加密/支持EAL4安全标准、多级安全 " " " "控制 " " " "与操作系统集成性好,除了提供数据库自身认证以" " " "外,提供包括活动目录集成认证,集成的安全性等" " " "支持 " " "跨数据库管理 "内置支持空间数据库能力,并包含的商务和技术许" " " "可,更好的满足地理信息数据的存储和访问。 " " " "提供跨文件系统的数据管理,利用Filestream技术" " " "把文件管理统一到数据库管理中,避免了以前只是" " " "通过大二进制存储的方式存储,低效的访问方式。" " "数据库性能 "数据库提供数据表分区能力的商务和技术许可,以" " " "便支持海量数据表的需求。 " " " "具有支持并行操作所需的技术,如并行装载,并行" " " "查询,并行创建索引等 " " " "提供分区索引视图功能 " " " "提供筛选索引的功能 " " " "提供高级稀疏列的功能 " " "BI决策支持 "在数据库产品中提供数据转换ETL工具,满足从不同" " " "主流数据源(例如:SQLServer、Oracle、DB2、Sy" " " "base、Excel、文本、SAP等等)抽取、转换、加载" " " "到不同数据源(例如:SQLServer、Oracle、DB2、" " " "Sybase、Excel、文本、SAP等等)。 " " " "在数据库产品中提供OLAP多维存储库的商务和技术" " " "许可,包括多维建模工具,以及多维存储服务器 " " " "数据库产品必须提供数据挖掘算法的商务和技术许" " " "可,例如:时间序列、神经网络、关联分析等等 " " " "在数据库产品中提供报表设计、展现工具,并提供" " " "丰富的表格、图形展现方式,并且提供独立的报表" " " "Web服务器。 " " " "报表服务器提供丰富的图形设计功能,包括Dashbo" " " "ard、KPI、地图、三维图形等等。 " " " "报表服务器提供多Web应用服务器负载均衡功能。 " " " "数据库产品必须包括联机分析处理(OLAP);支持" " " "联机事物处理(OLTP), " " " " 支持决策支持的建立,要求能够实现数据的快速 " " " "装载、高效的并发处理和交互
目 录 译者序 前言 第1章 Linux操作系统 1 1.1 Linux的简要历史介绍 1 1.2 Linux核心 2 1.2.1 Linux的开发特点 2 1.2.2 Linux分发包 3 1.2.3 为什么要为商业Linux 版本付费 3 1.3 Linux与其他操作系统之间的差异 3 1.3.1 功能丰富 3 1.3.2 多任务 4 1.4 为什么选择 Linux 6 1.4.1 何时使用 Linux 6 1.4.2 服务器与工作站 6 1.4.3 推荐的硬件 7 1.4.4 移植到 Linux工作站 7 1.5 Linux分发包 8 1.6 升级或移植前的考虑 10 1.6.1 硬件兼容性 11 1.6.2 升级 11 1.6.3 从其他操作系统进行移植 12 1.6.4 选择分发包 12 1.7 怎样着手工作 12 1.8 小结 13 1.9 常见问答 13 第2章 Red Hat Linux基本安装 16 2.1 引言 16 2.1.1 物理上独立的机器 16 2.1.2 选择 Linux分发包 16 2.2 初步的安装决定 17 2.2.1 硬件 17 2.2.2 多CPU 17 2.2.3 RAM 17 2.2.4 磁盘 17 2.2.5 RAID 18 2.2.6 网络接口 18 2.2.7 备份问题 19 2.2.8 支持问题 19 2.2.9 安装初步知识 19 2.3 安装 Red Hat 19 2.3.1 快速安装介绍 19 2.3.2 选择安装类型 22 2.4 定制(手工)安装 23 2.4.1 按要求创建分区 23 2.4.2 网络设置 26 2.4.3 时区选择 28 2.4.4 root账号配置 28 2.4.5 验证 29 2.4.6 使用 NIS 或 NIS+ 30 2.4.7 程序包选择 30 2.4.8 X Window 安装 32 2.4.9 程序包安装 34 2.4.10 Linux装载程序与引导盘 35 2.4.11 完成安装 36 2.4.12 配置服务器运行数据库 36 2.4.13 需要注意的事项 36 2.5 Linux的其他风格 36 2.6 小结 37 2.7 常见问答 38 第3章 在 Linux上安装并运行 Oracle 40 3.1 引言 40 3.2 概念 41 3.2.1 系统全局区域 41 3.2.2 程序全局区域 42 3.2.3 表空间 42 3.2.4 数据文件 42 3.2.5 区 42 3.2.6 段 42 3.2.7 控制文件 42 3.2.8 重做日志 42 3.2.9 回退段 42 3.2.10 参数文件 43 3.2.11 版本标识符 43 3.2.12 PL/SQL 43 3.2.13 模式 43 3.4 安装 43 3.4.1 安装前 44 3.4.2 安装Oracle 8 50 3.4.3 安装Oracle 8i 54 3.4.4 安装后 62 3.5 使用 Oracle 8/8i 65 3.5.1 启动和关闭 66 3.5.2 后台进程 67 3.5.3 创建帐号 68 3.5.4 SQL*Plus 70 3.5.5 数据字典 72 3.5.6 导入/导出 73 3.6 第三方软件 73 3.6.1 Orasoft 73 3.6.2 Orac 75 3.6.3 Perl/DBI 76 3.7 小结 76 3.8 常见问答 76 第4章 在Linux上安装 Informix 78 4.1 引言 78 4.2 安装 81 4.2.1 第一部分:软件的获取 和软件的服务器放置 81 4.2.2 第二部分:安装和标记 83 4.2.3 第三部分:磁盘设置和服务器 运行 85 4.2.4 建立 Informix 的数据文件 86 4.2.5 关于磁盘 87 4.2.6 磁盘和目录 87 4.3 关于空间的考虑 88 4.4 配置 88 4.4.1 $INFORMIXDIR/etc/ $ONCONFIG 89 4.4.2 $INFORMIXDIR/etc/sqlhosts 100 4.4.3 /etc/services 100 4.4.4 /opt/data/rootdbs 101 4.4.5 利用 oninit 启动引擎 102 4.4.6 终止引擎 106 4.5 最后的配置 107 4.5.1 回顾 107 4.5.2 Physdbs 107 4.5.3 创建 physdbs 文件 108 4.5.4 logsdbs 111 4.5.5 创建 logsdbs 113 4.5.6 创建新的逻辑日志 114 4.5.7 Tempdbs 123 4.5.8 最终的 $ONCONFIG 配置值 125 4.5.9 重新启动引擎 126 4.6 其他工具 129 4.6.1 Dbaccess 132 4.6.2 Onmonitor 132 4.7 资源 133 4.7.1 Informix 技术支持组织 134 4.7.2 Informix Web 站点 134 4.7.3 Usenet 新闻组 comp.database. informix 134 4.7.4 国际 Informix 用户组(IIUG) 134 4.7.5 Informix出版社 134 4.7.6 Informix 培训 134 4.8 小结 134 4.9 常见问答 135 第5章 在Linux上安装和使用 Sybase 136 5.1 引言 136 5.2 安装 136 5.2.1 安装 SQL Server 11.0.3 137 5.2.2 安装可选的客户机软件 141 5.3 配置 142 5.3.1 配置Sybase Database Server 143 5.3.2 配置Sybase Backup Server 149 5.3.3 配置Sybase Client/Server 库 150 5.3.4 在引导时启动数据库服 务器和备份服务器 151 5.3.5 设置系统管理员口令 151 5.3.6 配置数据库设备和数据库 152 5.3.7 建立用户登录和权限 153 5.4 测试数据库 156 5.5 数据库设计 159 5.6 问题 161 5.6.1 标识列(自动增加) 161 5.6.2 SQL一致性 163 5.6.3 执行环境 164 5.7 小结 168 5.8 常见问答 169 第6章 在 Red Hat Linux上安装DB2 Universal Database 6.1 170 6.1 引言 170 6.2 为安装DB2准备 Red Hat工作站 171 6.2.1 为DB2安装准备 Red Hat 5.2 和 6.0 172 6.2.2 为DB2安装准备 Red Hat 6.1 172 6.3 安装 DB2 173 6.3.1 进行安装 174 6.3.2 检验安装 180 6.4 配置Control Center 182 6.5 安装DB2客户机 184 6.6 配置DB2客户机与DB2服务器通信 188 6.7 小结 194 6.8 常见问答 195 第7章 在Linux上安装MySQL 198 7.1 引言 198 7.2 安装 199 7.2.1 命名约定 199 7.2.2 二进制分发包的安装 201 7.2.3 RPM 分发包的安装 202 7.2.4 源代码分发包的安装 202 7.3 配置 204 7.3.1 安全性 204 7.3.2 权限 205 7.3.3 访问控制 208 7.3.4 系统设置 209 7.3.5 性能 210 7.4 问题 212 7.4.1 线程 213 7.4.2 运行环境 213 7.5 故障处理 214 7.6 小结 215 7.7 常见问答 216 第8章 在Linux上安装和管理Progress 218 8.1 引言 218 8.2 安装 218 8.2.1 从介质中安装 219 8.2.2 核心参数 223 8.2.3 环境设置 225 8.3 配置 226 8.3.1 目录结构 227 8.3.2 磁盘空间与 I/O 吞吐量 227 8.3.3 创建新数据库 229 8.3.4 设置缓冲池尺寸 230 8.4 运行Progress 231 8.5 故障排除 241 8.6 优缺点 242 8.6.1 4GL 243 8.6.2 面向 OLTP 243 8.6.3 可靠的崩溃恢复 243 8.6.4 成本 243 8.6.5 词索引 244 8.6.6 国际化 244 8.6.7 24×7运转 244 8.6.8 无二进制大对象 244 8.6.9 无并行查询 245 8.6.10 无分布式锁管理程序 245 8.7 小结 249 8.8 常见问答 249 第9章 Linux上的Postgre SQL 252 9.1 引言 252 9.2 Internet 驱动Postgre SQL 252 9.3 获得Postgre SQL 253 9.4 PostgreSQL 快速安装说明 254 9.5 详细安装 255 9.6 资源分发包的安装 259 9.6.1 准备工作 259 9.6.2 循序渐进的过程 260 9.7 PostgreSQL样例 RPM 264 9.8 测试Tcl/Tk接口 264 9.9 测试Python接口—PyGreSQL 264 9.10 测试Perl接口 265 9.11 测试libpq和libpq++ 接口 265 9.12 测试Java接口 266 9.13 测试ecpg接口 266 9.14 测试ODBC接口 267 9.15 测试MPSQL Motif-Worksheet 接口 267 9.16 测试SQL样例—用户定义 类型和函数 267 9.17 验证PostgreSQL安装 267 9.18 紧急问题处理 268 9.19 怎样才能信赖 PostgreSQL 268 9.20 系统布局 268 9.21 Kerberos 验证 269 9.21.1 可用性 269 9.21.2 安装 269 9.21.3 运行 269 9.22 运行时的环境—从 UNIX/Linux 中使用 Postgres 270 9.22.1 启动 postmaster 270 9.22.2 使用 pg_options 270 9.22.3 认可的选项 271 9.23 安全 273 9.23.1 用户验证 273 9.23.2 基于主机的访问控制 273 9.23.3 验证方法 274 9.23.4 建立用户 275 9.23.5 建立组 275 9.23.6 访问控制 275 9.23.7 函数和规则 275 9.23.8 函数 275 9.23.9 规则 276 9.23.10 说明 276 9.23.11 安全的TCP/IP连接 276 9.23.12 通过ssh运行安全隧道 276 9.24 增加与删除用户 276 9.25 磁盘管理—支持大型数据库 277 9.26 管理数据库 278 9.26.1 创建数据库 278 9.26.2 访问数据库 278 9.26.3 删除数据库 279 9.26.4 备份和恢复 279 9.26.5 大型数据库 280 9.27 使用 PostgreSQL 的 KVM 开关 280 9.28 故障排除—postmaster 启动故障 281 9.28.1 客户机连接问题 282 9.28.2 调试消息 282 9.28.3 pg_options 283 9.29 技术支持 284 9.30 邮件清单 284 9.30.1 PostgreSQL 的电子邮件账号 284 9.30.2 英文邮件清单 285 9.30.3 邮件清单的归档 285 9.30.4 西班牙邮件清单 285 9.31 PostgreSQL的GUI前台工具 285 9.32 ODBC、JDBC和UDBC驱动程序 286 9.33 Perl 和 DBI 接口 287 9.34 PostgreSQL的教材 289 9.35 PostgreSQL URL 参考 290 9.36 小结 290 9.37 常见问答 291 第10章 开发基于Web的应用程序 295 10.1 引言 295 10.2 Web 应用程序平台 296 10.2.1 Active Server Pages 296 10.2.2 Cold Fusion 296 10.2.3 Java Server Pages 296 10.2.4 Zope 296 10.2.5 Scripting Languages 296 10.2.6 PHP 297 10.2.7 Apache 297 10.3 入门 297 10.4 设计相应的模式 298 10.5 数据流 299 10.5.1 PHP、MySQL 和 Apache: 安装样例应用程序 300 10.5.2 PHP 数据库连通性:进行连接 300 10.6 小结 302 10.7 常见问答 302 附录A 汽车销售应用程序脚本 304 附录B 汽车销售应用程序转储文件 327

5,889

社区成员

发帖
与我相关
我的任务
社区描述
IBM DB2 是美国IBM公司开发的一套关系型数据库管理系统,它主要的运行环境为UNIX(包括IBM自家的AIX)、Linux、IBM i(旧称OS/400)、z/OS,以及Windows服务器版本
社区管理员
  • DB2
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧