急！如何抓取一个网站中的数据库的内容并同时存入本地数据库？

马里亚纳海沟哈哈 2005-08-08 06:58:59

假设有一个a网站，发布了一个数据库，通过其网页检索出数据，显示在页面中，我如何通过这个页面的地址（这个地址可以直接访问同样

的数据，不需要用户登录权限验证之类的），用我的程序直接把所需要的数据抓下来？
如果指定的内容中有连接，程序要自己链下去，抓取指定的内容，请高手指教，挺急的。

...全文

224 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

马里亚纳海沟哈哈 2005-08-09

打赏
举报

to netgm: 能不能说详细一点，拜托了

lbianxp 2005-08-09

打赏
举报

得知道人家的数据源才行

netgm 2005-08-09

打赏
举报

参考 xml

笨笨兔兔兔兔兔 2005-08-09

打赏
举报

我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的

http://community.csdn.net/Expert/TopicView1.asp?id=4191119

马里亚纳海沟哈哈 2005-08-08

打赏
举报

页面保证不需要验证的访问。
返回的数据是明文吗？可以对它象对字符串一样处理吗？

yexingren 2005-08-08

打赏
举报

要读取网站的数据，没有登录权限怎么行！有权限了，和访问数据库是一个道理的。

读取html 网页到是不要权限，winInet类可以实现的

基于WebMagic开发的爬虫小工具，可以直接存放文本信息，也可以直接存放到MySQL数据库里。代码简单详细。可自行研究修改。

网啦搜索引擎系统由四个子系统构成，分别是：网页抓取子系统、数据搬运子系统、WEB搜索子系统、数据库引擎。 • 网页抓取子系统：英文名Spider，用于抓取互联网上的网页，编码并存放到本地磁盘缓冲中。本子系统运行在多线程模式下，根据服务器性能，一次可以开启多达2000个线程（默认推荐10个），一个线程执行一个单独的抓取任务，多个线程就相当于多个抓取任务同时运行，大大提高抓取网页的效率。 • 数据搬运子系统：英文名Carrier，把本地磁盘缓冲中存放的网页一次性加入到数据库中。本子系统通过BCP把所有网页批量存入数据库，根据实际测试，其执行效率是数据库插入操作的十倍，大大节省操作时间，并且大大降低数据库负荷。 • WEB搜索子系统：英文名WEB Search Engine，用于全文检索数据库中的数据，检索速度快，数据库负荷小，支持多用户并发检索。 • 数据库引擎：本部分由一个Sql Server 2008数据库系统

功能概述 1 用户自定义网站，实现抓取。 2 抓取目标网站信息。 3 根据用户自定义数据结构，将数据转换，存入本地。 4 提供本地数据调用接口，共享下载数据。 5 利用Remoting技术实现C/S结构，通过客户端下载配置文件，实现商用控制。注：此版本只提供静态文件存储功能，不提供数据库接口，不提供自定义

网络爬虫（Web Crawler）是按照一定的规则，自动地抓取互联网信息的程序或者脚本。爬虫通过模拟浏览器的访问行为，将网页上的信息提取出来进行分析、保存或者加工处理。发送请求（request）获取响应（response）解析网页（parse）提取数据（extract）保存数据（store）通过本篇文章，你已经掌握了使用Python爬虫抓取网页数据、解析HTML内容、清洗数据并最终存入MySQL数据库的完整流程，并了解了防止封号的一些技巧。电子商务商品数据爬取新闻头条实时采集。

hello 大家好，最近写代码，需要用到爬虫去爬取数据，废话不多说，进入主题既然要存入数据库，那必然需要进行数据库连接，通过Python里面的pymysql驱动去链接我们的mysql数据库，然后建立数据库游标，用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由主语言进一步处理。 import pymysql conn = pymysql.connect(host='127.0.0.1', user='root', password='数据库密码', port=3306, database='bo

网络编程

18,358

社区成员

64,186

社区内容

发帖

与我相关

我的任务

c++c语言开发语言技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章