急！如何抓取一个网站中的数据库的内容并同时存入本地数据库？

马里亚纳海沟哈哈 2005-08-08 06:58:59

假设有一个a网站，发布了一个数据库，通过其网页检索出数据，显示在页面中，我如何通过这个页面的地址（这个地址可以直接访问同样

的数据，不需要用户登录权限验证之类的），用我的程序直接把所需要的数据抓下来？
如果指定的内容中有连接，程序要自己链下去，抓取指定的内容，请高手指教，挺急的。

...全文

237 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

马里亚纳海沟哈哈 2005-08-09

打赏
举报

to netgm: 能不能说详细一点，拜托了

lbianxp 2005-08-09

打赏
举报

得知道人家的数据源才行

netgm 2005-08-09

打赏
举报

参考 xml

笨笨兔兔兔兔兔 2005-08-09

打赏
举报

我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的

http://community.csdn.net/Expert/TopicView1.asp?id=4191119

马里亚纳海沟哈哈 2005-08-08

打赏
举报

页面保证不需要验证的访问。
返回的数据是明文吗？可以对它象对字符串一样处理吗？

yexingren 2005-08-08

打赏
举报

要读取网站的数据，没有登录权限怎么行！有权限了，和访问数据库是一个道理的。

读取html 网页到是不要权限，winInet类可以实现的

网啦搜索引擎系统由四个子系统构成，分别是：网页抓取子系统、数据搬运子系统、WEB搜索子系统、数据库引擎。 • 网页抓取子系统：英文名Spider，用于抓取互联网上的网页，编码并存放到本地磁盘缓冲中。本子系统运行在多线程模式下，根据服务器性能，一次可以开启多达2000个线程（默认推荐10个），一个线程执行一个单独的抓取任务，多个线程就相当于多个抓取任务同时运行，大大提高抓取网页的效率。 • 数据搬运子系统：英文名Carrier，把本地磁盘缓冲中存放的网页一次性加入到数据库中。本子系统通过BCP把所有网页批量存入数据库，根据实际测试，其执行效率是数据库插入操作的十倍，大大节省操作时间，并且大大降低数据库负荷。 • WEB搜索子系统：英文名WEB Search Engine，用于全文检索数据库中的数据，检索速度快，数据库负荷小，支持多用户并发检索。 • 数据库引擎：本部分由一个Sql Server 2008数据库系统

hello 大家好，最近写代码，需要用到爬虫去爬取数据，废话不多说，进入主题既然要存入数据库，那必然需要进行数据库连接，通过Python里面的pymysql驱动去链接我们的mysql数据库，然后建立数据库游标，用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由主语言进一步处理。 import pymysql conn = pymysql.connect(host='127.0.0.1', user='root', password='数据库密码', port=3306, database='bo

网络爬虫（Web Crawler）是按照一定的规则，自动地抓取互联网信息的程序或者脚本。爬虫通过模拟浏览器的访问行为，将网页上的信息提取出来进行分析、保存或者加工处理。发送请求（request）获取响应（response）解析网页（parse）提取数据（extract）保存数据（store）通过本篇文章，你已经掌握了使用Python爬虫抓取网页数据、解析HTML内容、清洗数据并最终存入MySQL数据库的完整流程，并了解了防止封号的一些技巧。电子商务商品数据爬取新闻头条实时采集。

学python，操作数据库是必不可少的，不光要会写python代码，还要会写SQL语句，本篇文章主要讲如何把本地txt文件中的数据读取出来并写入到对应的数据库中，同时将数据库单个表中的数据读出来保存在本地txt文件中。话不多说，我们开始吧！读取文件数据写入到数据库读取文件数据并封装有两个txt文件，一个是普通文本格式，一个是json格式，部分数据截图见本篇文章的最后附录部分。一个是2011年的1月份销售数据，一个是2011年的2月份销售数据，我们需要分别读出这两个文件的数据并写入同一个表中。

接到一个任务是把中国名牌网站的某些内容添加到我们的网站上，这些网站上有些页面是文章链接列表，点击链接会出现文章的详细内容显示页，根据这个规律，结合正则表达式，XMLHTTP技术，Jscript服务端脚本，以及ADO技术，写了一个小程序，把这些内容抓取到了本地数据库。抓取下来，然后就数据库对数据库导数据就比较方便了。先建立一个Access数据库，结构如下Id自动编号标识，主键oldID数字旧数据编码

网络编程

18,358

社区成员

64,164

社区内容

发帖

与我相关

我的任务

c++c语言开发语言技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章