讨论：在存储过程里面调用sp_xml_preparedocument系统过程解析XML文档耗用内存相关问题的考虑

WLLF 2004-09-06 11:05:58

现在系统构架是在前面客户端、中间件和后台数据库都全面采用了XML文档，现在的问题是在后台数据库存储过程里面解析XML文档时消耗的内存多少的问题，查资料得知是MSXML 语法分析器使用 SQL Server 可用总内存的八分之一，我想知道在数据库存储过程里面解析XML文档所需内存是最大到SQL Server可用总内存的八分之一还是每次调用都占八分之一，这对系统性能影响是很大的，因此我想在这里听听大家的意见。我的理解是每次在存储过程里面解析XML文档都占用SQL SERVER可用总内存的八分之一是不实际的也不太可能的。

...全文

116 9 打赏收藏转发到动态举报

写回复

9 条回复

切换为时间正序

请发表友善的回复…

发表回复

yjzhg 2004-10-12

打赏
举报

回复

学习

WLLF 2004-10-12

打赏
举报

回复

re:netcoder(朱二)
1.为什么不把解析XML的工作给客户端或者中间件做呢？
回复：因为系统设计，客户端给出标准的XML文档，数据库接收的是XML文档，然后对这个XML文档进行数据操作，SQL SERVER对XML的支持写对应的SQL语句，和平常的插入更新等SQL语句类似的，这样很方便。
2.不知道楼主查的什么资料，得到如下结论
－－－－－－－－－－－
查资料得知是MSXML 语法分析器使用 SQL Server 可用总内存的八分之一
－－－－－－－－－－－－
楼主不妨把资料贴出来看看
这种说法根本就不科学，如果sql用到8G的内存，那MSXML 语法分析器会用到1G?
回复:
2.1我查SQL SERVER的资料一般只查SQL SERVER自带的帮助文档，原话是：说明分析过的文档存储在 SQL Server 2000 的内部高速缓存中。MSXML 语法分析器使用 SQL Server 可用总内存的八分之一。
2.2SQL SERVER占用系统内存是可以大概估算出来的，具体的估算方式我就不说了，和这个帖子的主题没有联系，你说的sql用系统8G内存的说话，这个前提根本就不成立，那我也不用回答你这个具体的问题了。
3，我现在在给银行做系统，十一也加班了，没及时到这里来看看帖子和回复帖子，不好意思。

WLLF 2004-10-12

打赏
举报

回复

re:netcoder(朱二)
1.为什么不把解析XML的工作给客户端或者中间件做呢？
回复：因为系统设计，客户端给出标准的XML文档，数据库接收的是XML文档，然后对这个XML文档进行数据操作，SQL SERVER对XML的支持写对应的SQL语句，和平常的插入更新等SQL语句类似的，这样很方便。
2.不知道楼主查的什么资料，得到如下结论
－－－－－－－－－－－
查资料得知是MSXML 语法分析器使用 SQL Server 可用总内存的八分之一
－－－－－－－－－－－－
楼主不妨把资料贴出来看看
这种说法根本就不科学，如果sql用到8G的内存，那MSXML 语法分析器会用到1G?
回复:
2.1我查SQL SERVER的资料一般只查SQL SERVER自带的帮助文档，原话是：说明分析过的文档存储在 SQL Server 2000 的内部高速缓存中。MSXML 语法分析器使用 SQL Server 可用总内存的八分之一。
2.2SQL SERVER占用系统内存是可以大概估算出来的，具体的估算方式我就不说了，和这个帖子的主题没有联系，你说的sql用系统8G内存的说话，这个前提根本就不成立，那我也不用回答你这个具体的问题了。
3，我现在在给银行做系统，十一也加班了，没及时到这里来看看帖子和回复帖子，不好意思。

netcoder 2004-09-08

打赏
举报

回复

为什么不把解析XML的工作给客户端或者中间件做呢？

不知道楼主查的什么资料，得到如下结论
－－－－－－－－－－－
查资料得知是MSXML 语法分析器使用 SQL Server 可用总内存的八分之一
－－－－－－－－－－－－
楼主不妨把资料贴出来看看
这种说法根本就不科学，如果sql用到8G的内存，那MSXML 语法分析器会用到1G?

WLLF 2004-09-08

打赏
举报

回复

UP

WLLF 2004-09-07

打赏
举报

回复

应该是在划出来的SQL SERVER总内存的1/8里面周转，要不这个系统没法运行的。我自己没有进行比较细的测试，第一次解析比较费时间，大概要2，3秒的时间，以后就比较快了。

HardThink 2004-09-07

打赏
举报

回复

在划出来的1/8里面周转吧
楼上自己测试过了么？

了缘 2004-09-07

打赏
举报

回复

学习

WLLF 2004-09-06

打赏
举报

回复

UP

有时会在存储过程中处理一些XML格式的数据，所以会用到sp_xml_preparedocument，他可以将XML数据进行读取，然后使用 MSXML 分析器 (Msxmlsql.dll) 对其进行分析。

OPENXML第三个参数解疑 OPENXML( idoc int [ in] , rowpattern nvarchar [ in ] , [ flags byte [ in ] ] ) [ WITH ( SchemaDeclaration | TableName ) ] idoc XML 文档的内部表式形式的文档句柄。通过调用 sp_xml_preparedocument 创建 XML 文档的内部表式形式。 rowpattern XPath 模式，用来标识要作为行处理的节点。 flags 指示应在 XML 数据和关系行集间使用映射以及应如何填充溢出列。 flags 为可选输入参数，可以是下列值之一（0、1、2、8）

代码如下: DECLARE @idoc int; DECLARE @doc xml; set @doc=cast(‘’+replace(@SelectedProjectArray,’,’,'’)+'’ as xml) EXEC sp_xml_preparedocument @Idoc OUTPUT, @doc SELECT ProjID FROM OPENXML (@Idoc, ‘/Root/item’,2) WITH ( [ProjID] varc

******* 导出到excel EXEC master..xp_cmdshell 'bcp SettleDB.dbo.shanghu out c:\temp1.xls -c -q -S"GNETDATA/GNETDATA" -U"sa" -P""' /*********** 导入Excel SELECT * FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0', 'Data Source="c:\test.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions /*动态文件名 declare @fn varchar(20),@s varchar(1000) set @fn = 'c:\test.xls' set @s ='''Microsoft.Jet.OLEDB.4.0'', ''Data Source="'+@fn+'";User ID=Admin;Password=;Extended properties=Excel 5.0''' set @s = 'SELECT * FROM OpenDataSource ('+@s+')...sheet1$' exec(@s) */ SELECT cast(cast(科目编号 as numeric(10,2)) as nvarchar(255))+'　' 转换后的别名 FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0', 'Data Source="c:\test.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions /********************** EXCEL导到远程SQL insert OPENDATASOURCE( 'SQLOLEDB', 'Data Source=远程ip;User ID=sa;Password=密码' ).库名.dbo.表名 (列名1,列名2) SELECT 列名1,列名2 FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0', 'Data Source="c:\test.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions /** 导入文本文件 EXEC master..xp_cmdshell 'bcp dbname..tablename in c:\DT.txt -c -Sservername -Usa -Ppassword' /** 导出文本文件 EXEC master..xp_cmdshell 'bcp dbname..tablename out c:\DT.txt -c -Sservername -Usa -Ppassword' 或 EXEC master..xp_cmdshell 'bcp "Select * from dbname..tablename" queryout c:\DT.txt -c -Sservername -Usa -Ppassword' 导出到TXT文本，用逗号分开 exec master..xp_cmdshell 'bcp "库名..表名" out "d:\tt.txt" -c -t ,-U sa -P password' BULK INSERT 库名..表名 FROM 'c:\test.txt' WITH ( FIELDTERMINATOR = ';', ROWTERMINATOR = '\n' ) --/* dBase IV文件 select * from OPENROWSET('MICROSOFT.JET.OLEDB.4.0' ,'dBase IV;HDR=NO;IMEX=2;DATABASE=C:\','select * from [客户资料4.dbf]') --*/ --/* dBase III文件 select * from OPENROWSET('MICROSOFT.JET.OLEDB.4.0' ,'dBase III;HDR=NO;IMEX=2;DATABASE=C:\','select * from [客户资料3.dbf]') --*/ --/* FoxPro 数据库 select * from openrowset('MSDASQL', 'Driver=Microsoft Visual FoxPro Driver;SourceType=DBF;SourceDB=c:\', 'select * from [aa.DBF]') --*/ /**************导入DBF文件****************/ select * from openrowset('MSDASQL', 'Driver=Microsoft Visual FoxPro Driver; SourceDB=e:\VFP98\data; SourceType=DBF', 'select * from customer where country != "USA" order by country') go /***************** 导出到DBF ***************/ 如果要导出数据到已经生成结构(即现存的)FOXPRO表中,可以直接用下面的SQL语句 insert into openrowset('MSDASQL', 'Driver=Microsoft Visual FoxPro Driver;SourceType=DBF;SourceDB=c:\', 'select * from [aa.DBF]') select * from 表说明: SourceDB=c:\ 指定foxpro表所在的文件夹 aa.DBF 指定foxpro表的文件名. /*************导出到Access********************/ insert into openrowset('Microsoft.Jet.OLEDB.4.0', 'x:\A.mdb';'admin';'',A表) select * from 数据库名..B表 /*************导入Access********************/ insert into B表 selet * from openrowset('Microsoft.Jet.OLEDB.4.0', 'x:\A.mdb';'admin';'',A表) 文件名为参数 declare @fname varchar(20) set @fname = 'd:\test.mdb' exec('SELECT a.* FROM opendatasource(''Microsoft.Jet.OLEDB.4.0'', '''+@fname+''';''admin'';'''', topics) as a ') SELECT * FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0', 'Data Source="f:\northwind.mdb";Jet OLEDB:Database Password=123;User ID=Admin;Password=;')...产品 ********************* 导入 xml　文件 DECLARE @idoc int DECLARE @doc varchar(1000) --sample XML document SET @doc =' Customer was very satisfied Important Happy Customer. ' -- Create an internal representation of the XML document. EXEC sp_xml_preparedocument @idoc OUTPUT, @doc -- Execute a SELECT statement using OPENXML rowset provider. SELECT * FROM OPENXML (@idoc, '/root/Customer/Order', 1) WITH (oid char(5), amount float, comment ntext 'text()') EXEC sp_xml_removedocument @idoc ??????? /**********************Excel导到Txt****************************************/ 想用 select * into opendatasource(...) from opendatasource(...) 实现将一个Excel文件内容导入到一个文本文件假设Excel中有两列，第一列为姓名，第二列为很行帐号(16位) 且银行帐号导出到文本文件后分两部分，前8位和后8位分开。邹健：如果要用你上面的语句插入的话,文本文件必须存在,而且有一行:姓名,银行账号1,银行账号2 然后就可以用下面的语句进行插入注意文件名和目录根据你的实际情况进行修改. insert into opendatasource('MICROSOFT.JET.OLEDB.4.0' ,'Text;HDR=Yes;DATABASE=C:\' )...[aa#txt] --,aa#txt) --*/ select 姓名,银行账号1=left(银行账号,8),银行账号2=right(银行账号,8) from opendatasource('MICROSOFT.JET.OLEDB.4.0' ,'Excel 5.0;HDR=YES;IMEX=2;DATABASE=c:\a.xls' --,Sheet1$) )...[Sheet1$] 如果你想直接插入并生成文本文件,就要用bcp declare @sql varchar(8000),@tbname varchar(50) --首先将excel表内容导入到一个全局临时表 select @tbname='[##temp'+cast(newid() as varchar(40))+']' ,@sql='select 姓名,银行账号1=left(银行账号,8),银行账号2=right(银行账号,8) into '+@tbname+' from opendatasource(''MICROSOFT.JET.OLEDB.4.0'' ,''Excel 5.0;HDR=YES;IMEX=2;DATABASE=c:\a.xls'' )...[Sheet1$]' exec(@sql) --然后用bcp从全局临时表导出到文本文件 set @sql='bcp "'+@tbname+'" out "c:\aa.txt" /S"(local)" /P"" /c' exec master..xp_cmdshell @sql --删除临时表 exec('drop table '+@tbname) /********************导整个数据库*********************************************/ 用bcp实现的存储过程 /* 实现数据导入/导出的存储过程 根据不同的参数,可以实现导入/导出整个数据库/单个表调用示例: --导出调用示例 ----导出单个表 exec file2table 'zj','','','xzkh_sa..地区资料','c:\zj.txt',1 ----导出整个数据库 exec file2table 'zj','','','xzkh_sa','C:\docman',1 --导入调用示例 ----导入单个表 exec file2table 'zj','','','xzkh_sa..地区资料','c:\zj.txt',0 ----导入整个数据库 exec file2table 'zj','','','xzkh_sa','C:\docman',0 */ if exists(select 1 from sysobjects where name='File2Table' and objectproperty(id,'IsProcedure')=1) drop procedure File2Table go create procedure File2Table @servername varchar(200) --服务器名 ,@username varchar(200) --用户名,如果用NT验证方式,则为空'' ,@password varchar(200) --密码 ,@tbname varchar(500) --数据库.dbo.表名,如果不指定:.dbo.表名,则导出数据库的所有用户表 ,@filename varchar(1000) --导入/导出路径/文件名,如果@tbname参数指明是导出整个数据库,则这个参数是文件存放路径,文件名自动用表名.txt ,@isout bit --1为导出,0为导入 as declare @sql varchar(8000) if @tbname like '%.%.%' --如果指定了表名,则直接导出单个表 begin set @sql='bcp '+@tbname +case when @isout=1 then ' out ' else ' in ' end +' "'+@filename+'" /w' +' /S '+@servername +case when isnull(@username,'')='' then '' else ' /U '+@username end +' /P '+isnull(@password,'') exec master..xp_cmdshell @sql end else begin --导出整个数据库,定义游标,取出所有的用户表 declare @m_tbname varchar(250) if right(@filename,1)'\' set @filename=@filename+'\' set @m_tbname='declare #tb cursor for select name from '+@tbname+'..sysobjects where xtype=''U''' exec(@m_tbname) open #tb fetch next from #tb into @m_tbname while @@fetch_status=0 begin set @sql='bcp '+@tbname+'..'+@m_tbname +case when @isout=1 then ' out ' else ' in ' end +' "'+@filename+@m_tbname+'.txt " /w' +' /S '+@servername +case when isnull(@username,'')='' then '' else ' /U '+@username end +' /P '+isnull(@password,'') exec master..xp_cmdshell @sql fetch next from #tb into @m_tbname end close #tb deallocate #tb end go /************* Oracle **************/ EXEC sp_addlinkedserver 'OracleSvr', 'Oracle 7.3', 'MSDAORA', 'ORCLDB' GO delete from openquery(mailser,'select * from yulin') select * from openquery(mailser,'select * from yulin') update openquery(mailser,'select * from yulin where id=15')set disorder=555,catago=888 insert into openquery(mailser,'select disorder,catago from yulin')values(333,777) 补充：对于用bcp导出,是没有字段名的. 用openrowset导出,需要事先建好表. 用openrowset导入,除ACCESS及EXCEL外,均不支持非本机数据导入

最近要在存储过程中读取xml中节点的值，然后进行sql操作；要使用到的系统存储过程如下：sp_xml_preparedocument create procedure [dbo].[pro_Test_Readxml] @sData ntext as --XML 定义变量并解析赋值 declare @xmldata_id int exec sp_xml_pr...

27,579

社区成员

68,558

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章