能否自动完成网页下载数据?

三色 2008-03-26 08:51:08
我的要求来源于一下原因:
我建立了一个数据库,由于数据非常多,不可能由人力来完成一条一条记录的录入,
这些原始数据来自网页下载,并在Excel中进行必要的加工,然后统一由Excel导入SQL。
导入过程由客户端软件完成。
为了更明白的描述,我举个例子,我现在要导入原始数据:
1,从网页下载数据到Excel
2,在Excel中对原始数据进行整理,由先前定义好的宏自动完成。最后保存于一个指定的Excel文件
3,执行客户端软件导入按钮,客户端自动把制定的Excel文件内容导入到SQL中

为了保证数据的实时性,我必须频繁的导入,一般要求每半小时需要更新一下,这就意味着要有专人来
完成数据导入,这样会非常麻烦,而且实时性很难得到保证。

我现在想的是,以上过程能否自动完成,如果可以,我就可以在服务器上定时导入了。不知道我的要求
有没有说明白,好像有点难度。我试图用SPY查找网页上相关组件,但是无法获取。以上难点主要是网页
获取数据,至于Excel操作那是非常容易的。

请高手点一下,主要是思路,谢谢。
...全文
64 点赞 收藏 7
写回复
7 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
JL99000 2008-03-26
好象是很困难
首先,你要找到这个网页,要有个触发下载的事件才能下载,这个怎么才能实现呢

其他的都好做
回复
三色 2008-03-26
可以去java/C#论坛寻求答案?
回复
dawugui 2008-03-26
对.

建议使用java,C#等.
回复
三色 2008-03-26
开发语言?是不是指VB/VC之类的?
我客户端开发用VB的
回复
dawugui 2008-03-26
[Quote=引用 2 楼 ThreeColor 的回复:]
多谢楼上的,Excel导入SQL我已经完成了。我的问题重点是如何从网页获取下载数据,因为一旦有了这些数据,之后的
操作就是很简单的(包括Excel内部数据整理,以及Excel数据导入SQL)
[/Quote]
这就不是SQL SERVER的能力了.
尝试用开发语言取获取网页的数据.
回复
三色 2008-03-26
多谢楼上的,Excel导入SQL我已经完成了。我的问题重点是如何从网页获取下载数据,因为一旦有了这些数据,之后的
操作就是很简单的(包括Excel内部数据整理,以及Excel数据导入SQL)
回复
dawugui 2008-03-26
从excel导入(或利用语句)SQL SERVER.

SQL SERVER 和EXCEL的数据导入导出
1、在SQL SERVER里查询Excel数据:
-- ======================================================
SELECT *
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\book1.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...[Sheet1$]
下面是个查询的示例,它通过用于 Jet 的 OLE DB 提供程序查询 Excel 电子表格。
SELECT *
FROM OpenDataSource ( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\Finance\account.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions
-------------------------------------------------------------------------------------------------

2、将Excel的数据导入SQL server :
-- ======================================================
SELECT * into newtable
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\book1.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...[Sheet1$]
实例:
SELECT * into newtable
FROM OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\Finance\account.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...xactions
-------------------------------------------------------------------------------------------------

3、将SQL SERVER中查询到的数据导成一个Excel文件
-- ======================================================
T-SQL代码:
EXEC master..xp_cmdshell 'bcp 库名.dbo.表名out c:\Temp.xls -c -q -S"servername" -U"sa" -P""'
参数:S 是SQL服务器名;U是用户;P是密码
说明:还可以导出文本文件等多种格式
实例:EXEC master..xp_cmdshell 'bcp saletesttmp.dbo.CusAccount out c:\temp1.xls -c -q -S"pmserver" -U"sa" -P"sa"'
EXEC master..xp_cmdshell 'bcp "SELECT au_fname, au_lname FROM pubs..authors ORDER BY au_lname" queryout C:\ authors.xls -c -Sservername -Usa -Ppassword'
在VB6中应用ADO导出EXCEL文件代码:
Dim cn As New ADODB.Connection
cn.open "Driver={SQL Server};Server=WEBSVR;DataBase=WebMis;UID=sa;WD=123;"
cn.execute "master..xp_cmdshell 'bcp "SELECT col1, col2 FROM 库名.dbo.表名" queryout E:\DT.xls -c -Sservername -Usa -Ppassword'"
------------------------------------------------------------------------------------------------

4、在SQL SERVER里往Excel插入数据:
-- ======================================================
insert into OpenDataSource( 'Microsoft.Jet.OLEDB.4.0',
'Data Source="c:\Temp.xls";User ID=Admin;Password=;Extended properties=Excel 5.0')...table1 (A1,A2,A3) values (1,2,3)

T-SQL代码:
INSERT INTO
OPENDATASOURCE('Microsoft.JET.OLEDB.4.0',
'Extended Properties=Excel 8.0;Data source=C:\training\inventur.xls')...[Filiale1$]
(bestand, produkt) VALUES (20, 'Test')
-------------------------------------------------------------------------------------------------
回复
发帖
MS-SQL Server
创建于2007-09-28

3.3w+

社区成员

MS-SQL Server相关内容讨论专区
申请成为版主
帖子事件
创建了帖子
2008-03-26 08:51
社区公告
暂无公告