社区
网络编程
帖子详情
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
马里亚纳海沟哈哈
2005-08-08 06:58:59
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样
的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来?
如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
...全文
223
6
打赏
收藏
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样 的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来? 如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
马里亚纳海沟哈哈
2005-08-09
打赏
举报
回复
to netgm: 能不能说详细一点,拜托了
lbianxp
2005-08-09
打赏
举报
回复
得知道人家的数据源才行
netgm
2005-08-09
打赏
举报
回复
参考 xml
笨笨兔兔兔兔兔
2005-08-09
打赏
举报
回复
我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的
http://community.csdn.net/Expert/TopicView1.asp?id=4191119
马里亚纳海沟哈哈
2005-08-08
打赏
举报
回复
页面保证不需要验证的访问。
返回的数据是明文吗?可以对它象对字符串一样处理吗?
yexingren
2005-08-08
打赏
举报
回复
要读取 网站的数据,没有登录权限怎么行! 有权限了,和访问数据库是一个道理的。
读取html 网页到是不要权限,winInet类可以实现的
java 爬虫工具,可存文本,也可存
数据库
基于WebMagic开发的爬虫小工具,可以直接存放文本信息,也可以直接存放到MySQL
数据库
里。代码简单详细。可自行研究修改。
网啦搜索引擎系统v1.0
网啦搜索引擎系统由四个子系统构成,分别是:网页
抓取
子系统、数据搬运子系统、WEB搜索子系统、
数据库
引擎。 • 网页
抓取
子系统:英文名Spider,用于
抓取
互联网上的网页,编码并存放到本地磁盘缓冲
中
。本子系统运行在多线程模式下,根据服务器性能,一次可以开启多达2000个线程(默认推荐10个),
一个
线程执行
一个
单独的
抓取
任务,多个线程就相当于多个
抓取
任务同时运行,大大提高
抓取
网页的效率。 • 数据搬运子系统:英文名Carrier,把本地磁盘缓冲
中
存放的网页一次性加入到
数据库
中
。本子系统通过BCP把所有网页批量
存入
数据库
,根据实际测试,其执行效率是
数据库
插入操作的十倍,大大节省操作时间,并且大大降低
数据库
负荷。 • WEB搜索子系统:英文名WEB Search Engine,用于全文检索
数据库
中
的数据,检索速度快,
数据库
负荷小,支持多用户并发检索。 •
数据库
引擎:本部分由
一个
Sql Server 2008
数据库
系统
NetBug--爬虫 1.02
功能概述 1 用户自定义
网站
,实现
抓取
。 2
抓取
目标
网站
信息。 3 根据用户自定义数据结构,将数据转换,
存入
本地。 4 提供本地数据调用接口,共享下载数据。 5 利用Remoting技术实现C/S结构,通过客户端下载配置文件,实现商用控制。 注:此版本只提供静态文件存储功能,不提供
数据库
接口,不提供自定义
【超详细】用Python爬虫
抓取
数据并
存入
MySQL
数据库
网络爬虫(Web Crawler)是按照一定的规则,自动地
抓取
互联网信息的程序或者脚本。爬虫通过模拟浏览器的访问行为,将网页上的信息提取出来进行分析、保存或者加工处理。发送请求(request)获取响应(response)解析网页(parse)提取数据(extract)保存数据(store)通过本篇文章,你已经掌握了使用Python爬虫
抓取
网页数据、解析HTML
内容
、清洗数据并最终
存入
MySQL
数据库
的完整流程,并了解了防止封号的一些技巧。电子商务商品数据爬取新闻头条实时采集。
Python爬取
网站
数据并
存入
数据库
(简单易懂)
hello 大家好,最近写代码,需要用到爬虫去爬取数据,废话不多说,进入主题 既然要
存入
数据库
,那必然需要进行
数据库
连接,通过Python里面的pymysql驱动去链接我们的mysql
数据库
,然后建立
数据库
游标,用户可以用SQL语句逐一从游标
中
获取记录,并赋给主变量,交由主语言进一步处理。 import pymysql conn = pymysql.connect(host='127.0.0.1', user='root', password='
数据库
密码', port=3306, database='bo
网络编程
18,358
社区成员
64,186
社区内容
发帖
与我相关
我的任务
网络编程
VC/MFC 网络编程
复制链接
扫一扫
分享
社区描述
VC/MFC 网络编程
c++
c语言
开发语言
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章