sybase大数据量插入性能怎么样？怎么样提高呢？

Armstrong刘-大壮 2020-07-21 05:51:00

我目前在做的需求是需要把后台生成的csv文件导入到sybase数据库，因为每条数据需要判断插入得目标表，只能每条读取了之后插入。我采取的是自己判断组装批插入的sql，例如：insert into WG_float_202007 (ObjectId, AttributeId, Seconds, Nanoseconds, Type, ErrorValue, Value) values(527433753,630,1592477964,74700000,'r',0,953.000000) union all (select 527433753,630,1592477924,984800000,'r',0,940.000000) union all (select 527433753,630,1592477864,861200000,'r',0,920.000000) union all (select 527433753,630,1592477937,17500000,'r',0,944.000000) union all (select 527433753,630,1592477894,922500000,'r',0,930.000000) union all (select 527433753,630,1592477855,842200000,'r',0,917.000000)这样的，我能找到的资料只有这一种批插入得方式，但是速度也不快，每秒最多才2k条，而且一次插入数据过多会报“There is not enough procedure cache to run this procedure, trigger, or SQL batch. Retry later, or ask your SA to reconfigure ASE with more procedure cache.”的错！我用的是jconnection4，sybase15.7版本，Java工程搞的。请教一下对于几百万条数据连续插入需要怎么搞，sql怎么写，怎么优化。

...全文

484 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

Sybase数据库恢复 2020-08-02

打赏
举报

回复

使用bcp直接导入csv文件到sybase数据库。-t参数指定逗号分隔符。

Armstrong刘-大壮 2020-07-22

打赏
举报

回复

老哥我用的是jdbc，网上找的jar包jconn4，具体ENABLE_BULK_LOAD怎么打开呢

，最好能加个好友

EisenWang 2020-07-22

打赏
举报

回复

看错了，你这个不是jdbc的。
那更简单，使用bcp功能呗，用-t指定列分隔符为,即可

EisenWang 2020-07-22

打赏
举报

回复

很简单，判断之后用PreparedStatment的addBatch功能，最后一起 PreparedStatement.executeBatch()批量插入。
同时，注意打开jdbc connection的ENABLE_BULK_LOAD，然后注意控制一下每个batch的条数总数不要超过5000, jdbc7.07或16.0之后可以到20000，效果最好

从Sybase 15.7中提取出来的ODBC驱动（32,64位）安装包。需要jre支持。

第一章绪论 1.1. 选题背景这几年，许多新名词涌入我们的视野：博客、圈子、播客、WAP等。这些都预示着我们进入了一个新的互联网阶段web 2.0，它是相对web 1.0的新的一类互联网应用的总称，是一次从核心内容到外部应用的革命[10]。这个阶段发展迅速，互联网应用趋于多样化，其中变化最大的是由web 1.0网站创造内容的时代变为由用户创造内容的web 2.0时代。在web 2.0应用中，博客(Blog)是web 2.0核心应用中最典型、最流行的代表之一，也是web 2.0技术应用的最直观的表现，是web 2.0精神和理念的具体体现。 1.2. 问题的提出 Blog记载了日常发生的事情和自己的兴趣爱好，把自己的思想和知识和他人分享、交流，同时又通过“六度空间”结识了更多志趣相投的朋友；而越来越多专业知识的 Blog 的出现，让我们看到了 Blog 更多所蕴涵的巨大的信息价值：不同的 Blog 选择不同的内容，收集和整理成为很多人关注的专业 Blog ——目前越来越多的人获取信息的来源是一些固定的 Blog 。随着博客人数的增加， Blog 作为一种新的生活方式、新的工作方式、新的学习方式已经被越来越多的人所接受，并且在改变传统的网络和社会结构：网络信息不再是虚假不可验证的，交流和沟通更有明确的选择和方向性，单一的思想和群体的智慧结合变的更加有效，个人出版变成人人都可以实现的梦想—— Blog 正在影响和改变着我们的生活。 1.3. 系统的开发目标管理员通过前台页面进入后台管理模块后，可对注册的博客用户进行维护，包括对注册用户的添加、查找、修改和删除。管理员进入登录后，可对帐户进行管理，包括添加管理员帐户、修改管理员帐户、删除管理员帐户和对帐户进行权限设置。博客用户通过前台登录后，可对自己的博客空间进行管理，包括发布自己的网络日志、收藏个人图片、和相关人员进行交流和沟通以及删除访问者发表的评论等。因此，在具体设计实现该博客网站时，主要考虑了主流博客网站的几个主要功能:(1)博客的注册、登录验证功能(2) 网络用户通过关键字搜索博文功能(3) 最热门博客页面推荐浏览(4) 文章详细内容及相关评论显示(5) 博客页面访问量统计(6) 博客个人文章管理维护功能(7) 博客个人文章分类管理维护功能(8) 博客个人友情链接维护功能(9) 博客个人基本信息管理维护功能(10) 博客图片上传及个人相册管理(11) 网络用户写留言，博主查看留言。第二章系统设计 2.1. 系统分析在整个blog进行开发之前，要确定出整个项目的整体架构，包括系统的选型、运行环境的确定及系统结构设计。下面对这进行详细介绍。在进行软件系统开发的最初环节，一般都需要进行系统的选型，即根据系统功能的实际需求，选择合适的开发工具及软件架构。 blog对系统的可靠性、稳定性有比较高的要求。本系统设计时，比较主流的B/S设计有基于JSP、ASP、PHP、CGI及J2EE等模式。相比较而言PHP的功能相对简单，不适合做大程序；而CGI效率相对较低，所以也不考虑。由于J2EE的开源的框架中提供了MVC模式实现框架Struts、对象关系模型中的Hibernate 的框架及拥有事务管理和依赖注入的Spring。利用现存框架可以更快开发系统。所以选择Java技术作为blog 的开发工具。为了增加系统的吞吐量，提高并发处理客户请求数量，系统采用了IBM服务器作为主机。在数据库处理方面，不需要在数据层借助存储过程及数据库服务器端函数封装过多的业务逻辑，因此数据库系统采用相对精巧的MySQL[6]。该在线博客系统服务器端如果需要布置到其他主机上，则该主机必备条件如下： 1. 服务器端操作系统：独立于操作系统的跨平台系统，客户端MicroSoft Windows 2000及以上； 2. 数据库：MySQL 5.0.27版本； 3. Web服务器：Tomcat 5.5及以上版本，配合MVC设计模式及 Hibernate开发架构； 4. 客户端运行环境：能运行IE 5以上或Netscape 5以上浏览器的操作系统，配合使用Ajax技术； 5. 客户端运行工具：目前的系统采用浏览器作为客户端，为了支持Ajax开发框架，应该选择使用IE 5以上版本浏览器。本网站以xp为Web平台，JSP+Ajax+Servlet+JavaBean+Hibernate为网站实现技术，建立基于MySQL数据库系统的核心动态网页，实现博客网站前台及博客个人维护管理等功能模块。 1、系统处理的准确性和及时性：系统处理的准确性和及时性是系统的必要性能。在系统设计和开发过程中，要充分考虑系统当前和将来可能承受的工作量，使系统的处理能力和响应时间能够满足信息处理的需求。 2、系统的开放性和系统的可扩充性：系统在开发过程中，应该充分考虑以后的可扩充性。例如数据表中用户选择字段方式的改变，用户查询的需求也会不断的更新和完善。所有这些，都要求系统提供足够的手段进行功能的调整和扩充。而要实现这一点，应通过系统的开放性来完成，既系统应是一个开放系统，只要符合一定的规范，可以简单的加入和减少系统的模块，配置系统的硬件。通过软件的修补、替换完成系统的升级和更新换代。 3、系统的易用性和易维护性：要实现这一点，就要求系统应该尽量使用用户熟悉的术语和中文信息的界面；针对用户可能出现的使用问题，要提供足够的在线帮助，缩短用户对系统熟悉的过程。 4、系统的数据要求：1、数据录入和处理的准确性和实时性。2、数据的一致性与完整性。3、数据的共享与独立性。 2.2. 系统的可行性分析 2.2.1. 技术可行性技术上的可行性分析要考虑将来要采用的硬件和软件技术能否满足用户（这里是服务器，网速）提出的要求（如计算机的容量、速度等）。此外，还要考虑开发人员的水平，学习了两年的jsp开发，对于这个系统的编写，我想完整的之需要两个月就可以写出程序，再花上几天的调试，计划两个月左右就可以完成投入使用了。我们掌握了数据库及其应用技术、数据库原理、计算机网络技术等课程，对数据库的设计、应用、维护及局域网的组成有了深刻的认识与一定的动手实践能力，考取了信息处理、程序设计、数据库技术等国家IT认证。从一定程度上具备了开发一个小型系统的能力。再有就！ 2.2.2. 经济可行性主要从对项目的经济上进行分析评价，一方面是支出的费用，包括设备购置费、管理和维护费用、人员工资和培训费等，另一个是取得的收益。这是个小型的系统，从投入的人力，财力与物力来讲是非常小的，发布出去之需要注册域名就可以了，从节省人力方面，可以让管理人员从繁与复杂的工作中解脱出来，做更多的工作。 2.2.3. 管理可行性有IP地址、用户名与密码等,可以下载一个FTP上传工具（cure）上传更新后的内容.可以在http://www.skycn.com/soft/683.html下载到. 下载以后,通过"站点管理"-->"新建站点".输入IP,用户名,密码.然后连接即可. 当然也可用FTP工具.直接在IE浏览器地址栏输入ftp://www.域名/然后输入用户名和密码.同样可以上传.随时更新文件！第三章开发环境的说明与安装 3.1. 开发语言的选择 3.1.1. JAVA简介 Java是Sun公司推出的新的一代面向对象程序设计语言，特别适合于Internet应用程序开发。Java的产生与流行是当今Internet发展的客观要求，Java是一门各方面性能都很好的编程语言，它的基本特点是简单、面向对象、分布式、解释的、健壮的、安全的、结构中立的、可移植的、性能很优异的、多线程的、动态的，特别适合在Internet环境上开发的应用系统。 3.1.2. Web应用程序开发环境—JSP技术 JSP的全称是Java Server Pages，它是SUN推出的一种动态网页技术标准。它在传统的静态页面文件（*.html,*.htm）中加入JAVA程序片段和JSP标记，就构成了JSP页面。JSP具有以下的优点： 1、将业务层与表示层分离：使用JSP技术，网络开发人员可充分使用HTML来设计页面显示部分（如字体颜色等），并使用JSP指令或者JAVA程序片段来生成网页上的动态内容； 2、能够跨平台：JSP支持绝大部分平台，包括现在非常流行的LINUX系统，应用非常广泛的Apache服务器也提供了支持JSP的服务； 3、组件的开发和使用很方便：如ASP的组件是由C++，VB等语言开发的，并需要注册才能使用；而JSP的组件是用Java开发的，可以直接使用； 4、一次编写，处处运行：作为JAVA开发平台的一部分，JSP具有JAVA的所有优点，包括Write once , Run everywhere. 3.2. 数据库的选择 3.2.1. Web应用程序开发环境—SQLserver数据库 SQL Server是由Microsoft开发和推广的关系数据库管理系统（DBMS）,它最初是由Microsoft、Sybase和Ashton-Tate三家公司共同开发的。SQL Server 2000是Microsoft公司于2000年推出的最新版本。 SQL Server 特点：　　1．真正的客户机/服务器体系结构。　　2．图形化用户界面，使系统管理和数据库管理更加直观、简单。　　3．丰富的编程接口工具，为用户进行程序设计提供了更大的选择余地。　　4．SQL Server与Windows NT完全集成，利用了NT的许多功能，如发送和接受消息，管理登录安全性等。SQL Server也可以很好地与Microsoft BackOffice产品集成。　　5．具有很好的伸缩性，可跨越从运行Windows 95/98的膝上型电脑到运行Windows 2000的大型多处理器等多种平台使用。　　6．对Web技术的支持，使用户能够很容易地将数据库中的数据发布到Web页面上。　　7．SQL Server提供数据仓库功能，这个功能只在Oracle和其他更昂贵的DBMS中才有。　　SQL Server 2000与以前版本相比较，又具有以下新特性：　　1．支持XML(Extensive Markup Language，扩展标记语言) 　　2．强大的基于Web的分析　　3．支持OLE DB和多种查询　　4．支持分布式的分区视图　　安装、运行SQL Server 2000的硬件需求　　（1）计算机　　Inter及其兼容计算机，Pentium 166Mz或者更高处理器或DEC Alpha和其兼容系统。　　（2）内存（RAM）　　企业版最少64MB内存，其他版本最少需要32MB内存，建议使用更多的内存。　　（3）硬盘空间　　完全安装（Full）需要180MB的空间，典型安装（Typical）需要170MB的空间，最小安装（Minimum）需要65MB的空间。 3.3. 开发工具的选择 MyEclipse，Deamweare，选择SQLserver作为后台的数据库，选择JAVA、JSP、JavaScript、Html作为应用程序开发工具，运用Tomcat服务器技术，整个系统完全基于B/S (Browser/Server)模式进行设计。 1、Tomcat应用服务器目前支持JSP的应用服务器是较多的，Tomcat是其中较为流行的一个Web服务器，被JavaWorld杂志的编辑选为2001年度最具创新的Java产品，可见其在业界的地位。 Tomcat是一个免费的开源的Serlvet容器，在Tomcat中，应用程序的部署很简单，你只需将你的WAR放到Tomcat的webapp目录下，Tomcat会自动检测到这个文件，并将其解压。你在浏览器中访问这个应用的Jsp时，通常第一次会很慢，因为Tomcat要将Jsp转化为Servlet文件，然后编译。编译以后，访问将会很快。 Tomcat也具有传统的Web服务器的功能：处理Html页面。但是与Apache相比，它的处理静态Html的能力就不如Apache。我们可以将Tomcat和Apache集成到一块，让Apache处理静态Html，而Tomcat处理Jsp和Servlet。Tomcat是一个很好的工具，不仅仅因为其免费，功能强大，更因为其开放性，越来越受到人们的重视。 2、 B/S 开发模式伴随着Internet的迅速发展，计算机技术正在由基于C/S（client/ Server）模式的应用系统转变为基于B/S模式的应用系统。过去，网络软件的开发都采用C/S（client）模式，在这种模式下，主要的业务逻辑都集中于客户端程序，因此，必然导致以下问题：系统安装、调试、维护和升级困难。由于客户端的硬件配置可能存在差异，软件环能各不相同，因此，在安装时，必须对每一个客户端分别进行配置，同样，在软件升级时也要对客户端分别处理。 B/S模式带来了巨大的好处：开发成本及维护成本降低。由于B/S架构管理软件只安装在服务器端（Server）上，即应用程序在部署、升级、维护时，只需要在服务器端进行配置就可以了，网络管理人员只需要管理服务器就行了，用户界面主要事务逻辑在服务器（Server）端完全通过WWW浏览器实现，极少部分事务逻辑在前端（Browser）实现，所有的客户端只有浏览器，网络管理人员只需要做硬件维护。良好的安全性能，防火墙技术可以保证后台数据库的安全性。所有的配置工作都集中在服务器端且所有客户端请求都是通过DBMS来访问数据库，从而大大减少了数据直接暴露的风险。第四章系统设计 4.1开发框架技术介绍对于框架技术，我们采用Struts+ajax的整合！ Struts是应用比较广泛的一种表现层框架 1、 Struts是一个为开发基于模型(Model)－视图(View)－控制器(Controller)(MVC)模式的应用架构的开源框架，是利用Servlet，JSP和custom tag library构建Web应用的一项非常有用的技术。由于Struts能充分满足应用开发的需求，简单易用，敏捷迅速。它使用服务层框架可以将JavaBeans从Jsp/Servlet中分离出来，而使用表现层框架则可以将Jsp中剩余的JavaBeans完全分离，这部分JavaBeans主要负责显示相关信息，一般是通过标签库（Taglib）实现，不同框架有不同自己的标签库，Struts是应用比较广泛的一种表现层框架。 2、 Ajax我们主要应用就是xmlhttprequest，回调函数实现局部刷新达道数据更新！ 4.2需求分析 Blog网站主要是实现注册用户登录、管理相关信息、博文及相关评论、查看留言、友情链接、及图片的上传和图像的播放而为上网用户提供按博文主题搜索，查看注册用户的博文及提出相关评论，并为注册用户写留言，游览注册用户的相册、注册等功能的系统。下面就以两种不同的用户来分析博客网站的需求。 4.2.1注册博友首先必须在博客首页中登录填写用户名和密码，这样才能执行一些相关操作，不然就是普通用户只能查看一些信息，而不能发表博文。可以在管理页面上添加博文的分类，可以上传图片和游览自己的相册，在上传过程中可以将一张图片定义为自己的签名，在个人管理页面中注册用户还可以修改自己的个人信息。博文管理，友情链接管理及博文分类管理，用例图2。图2 博客管理页面的用例图在博客主界面中发表博文时可以选择博文类型，这样可以更好管理自己的博文。并查看和删除网友对自己的博文的一些评论、查看和删除网友留下的一些留言，提供与其他网友交流的空间。更好交流，在信息时代人们通过个人空间沟通也用来但不能在自己的博客主页面中提交评论和留言。。这样在本系统中就可以为博友提供更多的个人色彩。在管理页面中添加和删除友情连接。这样博友可以在自己空间中快速定位自己的关心的网站。这样还可以让网友看到自己的一些信息。友情链接及网页访问量统计显示：在博客的个人页面中还提供了推荐给普通网络用户的相关友情链接，此外，对个人页面的访问量也在随时进行统计，并在个人页面中进行直观的显示。博客主页面的用例图如图3所示：图3 博客主页面的用例图 4.2.2 普通用户在博客注册页面注册成为博客的注册用户，才可以拥有自己独立的空间，进入某一博客页面查看相关文章信息时，可以随时对自己所感兴趣的文章发表评论，同时也可以查看到其他人针对该博文的评论。普通用户在阅读博文时可以在最后留下自己的一些评论。他也可以留下更多的信息。这样他可以写留言。这样他留下的信息就更快地被博友所看到。普通用户进入博友的用例图如图4所示：图4上网博友在博客主页面的用例图普通网友可以搜索自己关心的一些数据。并且在搜索结果中提供在结果范围内再次搜索。这样就可以将范围缩小。首页向注册用户提供登陆模块，注册用户在博客网站首页跟上网网友一样可以查看博客和博文推荐。上网网友可以注册成为博客用户，拥有自己独立的空间。这一模块的用例图如图5所示：图5 博客首页的用例图 4.3 功能模块介绍 4.3.1 博客注册登录管理模块博客注册登录管理模块用于建立博客网站固定的客户群体，通过记录对应的博客档案，实现对博客信息的后台维护及管理，同时也便于通过博客档案库将网站最新动态及相关企业的信息方便地传达给每一位潜在的客户。该功能模块实现了以下几个子功能。（1）新博客在线注册。（2）博客登录管理。（3）跳转到博客主页。只有进行登录并通过身份验证的用户，才可以在个人博客页面发表日志，并借助个人设置实现对个人博客相关信息的管理维护。对于没有经过身份验证的网络用户不允许在博客页面中发表日志，更不允许对博客页面信息进行管理维护。该模块实现新博客的注册及登录验证功能。其中，注册新博客时会对用户输入的注册信息进行有效性验证，包括基本数据格式的有效性以及逻辑有效性，例如，用户名被占用时将及时给出提示。注册成功的博客登录时，会随时根据博客输入的登录信息进行提示，如用户名错误或者密码错误。 4.3.2 博客及文章检索查询模块博客及文章检索查询模块为网络用户提供便捷的搜索，以及日志阅读浏览等功能，同时对日志的评论信息、博客推荐也能够及时反馈给网络用户。该功能模块实现了以下几个子功能。（1）热门博客页面推荐。（2）最新博客日志推荐。（3）日志信息关键字搜索。该模块能够在网页中随时提供在线的最新日志信息。该信息需要定期更新，网络用户可以随时获得最新日志以及最热门的博客推荐。在客户选择了某个博客或者某个感兴趣的日志后，可以方便地跳转到对应博客页面进行日志的阅读，并和博客进行交流互动。为了使网络用户尽快定位到所需的博客资料及日志信息，本模块提供了搜索功能，用户可以对所关注的日志信息按照标题进行关键字搜索，以避免用户浏览多个页面来寻找所需的日志信息。 4.3.3博客页面显示模块当网络用户进入某个人博客主页后，在该页面中将提供博客日志列表的显示，同时为了方便用户浏览，在该模块中提供根据分类名进行日志列表的显示，也提供日志评论的浏览，此外还允许用户在博客页面中发表评论及留言。该功能模块实现了如下几个子功能。（1）用户可以分页查看对应的日志内容及评论信息。（2）用户可以针对日志内容发表评论。（3）用户可以针对博客进行留言。（4）用户可以分类查看日志内容。在该模块中还提供了博客页面统计信息，日志、评论及留言信息分页显示等方便用户的显示效果。 4.3.4 博客个人维护管理模块博客个人维护管理模块用于实现用户对博客个人主页及相关信息的动态管理。该功能模块实现了如下几个子功能：（1）日志及日志分类管理。（2）评论及留言管理。（3）个人基本信息维护管理。借助该模块，用户可以随时对个人博客主页中的内容进行增加或修改，包括日志分类信息的更新、评论及留言管理等功能，也允许用户对博客的个人信息进行维护及其管理。 4.4 系统分析本系统采用严格的J2 EE 应用结构，主要有如下几个分层。 1. 表现层:由JSP 页面组成。 2. MVC 层:使用Struts框架。 3. 业务逻辑层:主要由Spring loC 容器管理的业务逻辑组件组成。 4. DAO 层:由7 个DAO 组件组成，实现类必须继承Spring提供的HibernateDaoSupport。 5. Hibernate 持久层:由7 个PO 组成，并在Hibernate Session 管理下，完成数据库访问。 6. 数据库服务层:使用MySQL 数据库存储持久化数据。系统的具体分层如图5 所示。图6 系统结构图在图6 黑色大方框内的MVC 控制层、Service 层及DAO 组件层的组件，都由Spring IOC 容器负责生成，并管理组件的实例（实例必须是单身模式的，本系统中的bean基本上是单身的）。 4.3.1系统架构说明本系统不仅严格按MVC 模式设计，还按J2 EE 分层设计，将中间层严格分成业务逻辑层、DAO 层及数据持久层等。MVC 层的控制器绝对禁止持久层访问，甚至不参与业务逻辑的实现。表现层采用传统JSP 技术。本系统采用的是典型的J2EE 三层结构，分为表现层、中间层(业务逻辑层)和数据服务层。三层体系将业务规则、数据访问及合法性校验等工作放在中间层处理。客户端不直接与数据库交互，而是通过组件与中间层建立连接，再由中间层与数据库交互。Jsp广泛的应用和稳定的表现，为其作为表现层技术打下了坚实的基础。中间层采用的是流行的Spring+Hibernate ，为了将控制层与业务逻辑层分离，又细分为以下几种。 Web 层，就是MVC 模式里面的C，负责逻辑层和表现层的交互。调用业务逻辑层，并将业务数据返回给表现层作组织表现，该系统的MVC采用Struts框架。 Service 层(就是业务逻辑层)，负责实现业务逻辑。业务逻辑层以DAO 层为基础，通过对DAO 组件的正面模式包装，完成系统所要求的业务逻辑。 DAO 层，负责与持久化对象交互。该层封装了数据的增、删、查、改的操作。 PO ，持久化对象。通过实体关系映射工具将关系型数据库的数据映射成对象，很方便地实现以面向对象方式操作数据库，该系统采用Hibernate 作为ORM 框架。Spring 的作用贯穿了整个中间层，将Web 层、Service 层、DAO 层及PO 无缝整合，其数据服务层用来存放数据。通过使用Hibernate 持久层，可以避免使用传统的JDBC 操作数据库，对JDBC近一步包装，从而更好地使用面向对象的方式来操作数据库。保证了整个软件开发过程以面向对象的方式进行，即面向对象分析、设计及编程，透过Hibernte 对PO对象持久化操作，不管插入还是查询都是通过PO。 4.3.2实现DAO 层 DAO 还有助于提升系统的可移植性。独立的DAO 层使得系统能在不同的数据库之间轻易切换，底层的数据库实现对于业务逻辑组件是透明的。数据库移植时仅仅影响DAO 层，不同数据库的切换不会影响业务逻辑组件，因此提高了系统的可复用性。对于不同的持久层技术， Spring 的DAO 提供一个DAO 模板，将通用的操作放在模板里完成，而对于特定的操作，则通过回调接口完成。Spring 为Hibernate 提供的DAO 支持类是: HibernateDaoSupport。 4.3.3 DAO组件的定义 DAO 组件提供了各持久化对象的基本的CRUD 操作。而在DAO 接口里则对DAO组件包含的各种CRUD 方法提供了声明，但有一些IDE 工具也可以生成基本的CRUD方法。使用DAO 接口的原因是:避免业务逻辑组件与特定的DAO组件藕合。由于DAO 组件中的方法不是开始就设计出来的，其中的很多方法可能会随着业务逻辑的需求而增加，但以下几个方法是通用的。 • get: 根据主键加载持久化实例。 • saveor update: 保存或更新持久化实例。 • remove: 删除持久化实例。上面涉及了7个PO，这样我们必须设计7个对应的PODao 7个Dao必须继承BaseDao 这个BaseDao 有对接口的一些基本的CURD操作。7个Dao 如下。LinksDao ，BlogDao、FeedBackDao、ArticleDao、MessageDao、SortDao、PictureDao。这7个Dao 分别封装对自己的持久化对象的一些操作。 4.3.4 部署DAO 层 HibernateDaoSupport类只需要一个SessionFactory 属性，即可完成数据库访问。SessionFactroy创建Session，而数据库的CRUD操作都是有Session 完成，并将查询结果保存在一级缓存中，每次用户提交一次会话，可能需要Session完成一些数据库的操作而实际的数据库访问由模板类HibernateTemplate完成，该模板类提供了大量便捷的方法，简化了数据库的访问。第五章数据库设计 5.1定义（数据词典） 1、数据库表名的定义使用：重点字_table;重点字可以是多个英文单词的组合，从组合的第二单词起首字母大写，字段命名是能表达字段内容的英文单词的组合，组合方式同表名重点字相同。 2、NN 表示not null 不填表可为空。 3、数据类型不使用固定数据库的类型，标识大众类型，如字符串、字符、数字等。这样在更改数据库时需求的数据是可移植的 4、输写数据表在数据库中的物理名称，可用自己熟悉的语言再定义表名称，方便沟通。 5、长度定义又数据类型决定：如字符串可选8000以下，数字可在50位之间，字符只允许一位。 6、输入方式表示数据的来源：生成表由程序或数据库的索引自动生成，而不需人工录入；输入表示通过文本框等输入的数据；选择表单选框、复选框、下拉列表等通过选择输入的数据；自定获取是为外码的输入设定的，它由程序自动获取。 5.2主要表结构如下 1. 表[blogs]日志数据表字段名类型说明 blogid Int(10) 日志的ID title text 日志标题 pubtime Int(11) 日志发表时间 authorid Int(8) 日志作者的UID replies Int(8) 日志的评论数 tbs Int(8) 日志的trackback数 views Int(8) 日志的查看次数 category Int(3) 日志所属的分类的ID content mediumtext 日志正文内容 property Int(1) 日志的属性 0 公开日志 1 锁定日志 2 隐藏日志 3 一般草稿 2.表[user]博友登陆信息表字段名类型说明 userid Int(10) 博友ID nicheng Text 博友在博客里的称呼 username text 登陆时的用户名 password text 登陆密码 3.表[register]用户数据表字段名类型说明 userid Int(8) 登陆时需要用到的用户名 username text 用户昵称 userpwd Int(8) 登陆密码 regtime Int(11) 注册时间 usergroup Int(2) 所属的用户组ID email text 用户email qq text Qq号 msn text 用户msn gender text 用户性别第六章主要功能的实现 6.1 登录控制： if(this.session().getAttribute("rand")!=null){//检验随机数是否为空 if(this.checkCode.equals(this.session().getAttribute("rand").toString())){//比较随机数 uservo=userbo.queryUserByINfo(uservo);//检验用户信息并将信息返回 if(uservo!=null){//看用户是否存在 this.setUserpurview(uservo.getPurviewId());//设置用户权限 this.session().setAttribute("user", uservo);//将用户信息放在session中 return SUCCESS;//返回用户主界面页面 }else{ return ERROR;返回到失败页面} }else{return ERROR; }}else{ return ERROR; } 6.2 Ajax 读取txt格式数据 function ajax_function(var1,var2){ var xmlHttp = null; //创建xmlhttprequest try { // Firefox, Opera 8.0+, Safari 对不同浏览器常见不同对象 xmlHttp=new XMLHttpRequest(); } catch (e) { try { // Internet Explorer xmlHttp=new ActiveXObject('Msxml2.XMLHTTP'); } catch (e) { try { xmlHttp=new ActiveXObject('Microsoft.XMLHTTP'); } catch (e) { alert('Your browser does not support AJAX!'); return false; } } } xmlHttp.onreadystatechange=function() { if(xmlHttp.readyState == 4 && xmlHttp.status == 200) { var someDiv = document.getElementById('someDiv'); someDiv.innerHTML=xmlHttp.responseText; } } xmlHttp.open('GET','www/index.jsp?param1='+var1+'¶m2='+var2,true); xmlHttp.send(null); } 6.3 系统架构与数据库的连接由于我们开发时是利用MVC的设计模式，所以在此我们的数据库连接是封存在M中的，即只要我们和M层连接上，就已经连接上数据库了。 Hibernate使用数据库和配置信息来为应用程序提供持久化服务（以及持久的对象）。我们只需在hibernate.cfg.xml中配置以下语句即可： sa jdbc:microsoft:sqlserver://localhost:1035;DatabaseName=webexamine org.hibernate.dialect.SQLServerDialect sqlserver2000 aaaaaaaa com.microsoft.jdbc.sqlserver.SQLServerDriver org.hibernate.dialect.HSQLDialect true 其实我们在这里配置了一个数据连接，以保证系统的正常运行，我们需要使用proxool连接池，我们经测试，分别用proxool、tomcat JNDI、Hibernate自带的连接池进行配置之后分别执行以上的10000条数据插入和读取，结果显示proxool的性能要优于tomcat JNDI，而Hibernate自带的就更不用提了，差很远。依次为：39265毫秒/10000条、26013毫秒/10000条、50029毫秒/10000条。 6.4数据的备份与还原我们根据Mysql数据库提供的backup(备份)命令及restore(恢复)命令,进行数据库的备份与还原，在连接数据库后，我们在需要备份和还原的地方加入以下语句： backup database to disk='备份文件名' restore database from disk='备份文件名' 然后发送给数据库的管理对象进行数据还原与备份。在知道了数据库备份与还原的接口后，用JAVA进行具体的连接，这里采用JAVA直连的方法，部分代码如下： try{ String user="sa";//连接sqlserver2000数据库登陆名 String password="aaaaaaaa";//连接sqlserver2000数据库密码 String sDBDriver="com.microsoft.jdbc.sqlserver.SQLServerDriver";//连接数据库的驱动字符串 String connStr="jdbc:microsoft:sqlserver://localhost:1433;DatabaseName=webexamine";//注册连接字符串 Connection con=null; Class.forName( sDBDriver);//注册数据库驱动 con = Driver Manager.getConnection(connStr ,user,password);//获取数据库连接 String sql="backup database xncsims to disk='d:\\xncback.dat'";//备份数据库，还原数据库和着类似，只是将这句变为还原的语句 st=con.createStatement();//创建发送对象 rs=st.executeQuery(sql);//这里就是把你的SQL语句发到数据库执行 }catch(SQLException e){ System.out.println(e.toString());} catch(Exception e){ System.out.println(e.toString());} 6.4部分效果预览图主页留言界面

批量插入sybase数据库的方法我目前想到两个，一个是如果装有sybase客户端，可以使用它的BCP，这个性能提升比较明显。而如果没有，可以使用jdbc批量插入，同时使用sybase的jdbc jar包--jconnect自带的参数设置，也可以显著提升性能。jdbc 批量插入的写法就不多说了，这里说一下提升性能的参数吧。 1.ENABLE_BULK_LOAD 对于jConnect 6.05...

背景最近需要每天从A库拉取5W+数据，然后需要插入B库，而且插入的过程，要先判断是否需要插入，判断后再进行插入或更新操作。问题如果每条数据都要先进行数据库查询看库中有没有数据再进行更新或插入操作，就会多出5W+的查询操作，每次又涉及到数据库连接的断开和连接，这样就导致性能的下降和时间的提高。解决办法使用 ON DUPLICATE KEY UPDATE 可解决此问题，将判断逻辑交由数据库去...

2,598

社区成员

25,609

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章