社区
网络编程
帖子详情
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
马里亚纳海沟哈哈
2005-08-08 06:58:59
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样
的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来?
如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
...全文
218
6
打赏
收藏
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样 的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来? 如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
马里亚纳海沟哈哈
2005-08-09
打赏
举报
回复
to netgm: 能不能说详细一点,拜托了
lbianxp
2005-08-09
打赏
举报
回复
得知道人家的数据源才行
netgm
2005-08-09
打赏
举报
回复
参考 xml
笨笨兔兔兔兔兔
2005-08-09
打赏
举报
回复
我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的
http://community.csdn.net/Expert/TopicView1.asp?id=4191119
马里亚纳海沟哈哈
2005-08-08
打赏
举报
回复
页面保证不需要验证的访问。
返回的数据是明文吗?可以对它象对字符串一样处理吗?
yexingren
2005-08-08
打赏
举报
回复
要读取 网站的数据,没有登录权限怎么行! 有权限了,和访问数据库是一个道理的。
读取html 网页到是不要权限,winInet类可以实现的
node.js学习代码,
一个
是爬取图片到本地,
一个
是爬取网页
内容
存入
数据库
,通过这两个实例代码可以了解到Node.j.zip
这个"node.js学习代码"的压缩包包含了两个实例,分别涉及到图片爬取和网页
内容
抓取
并存储到
数据库
的操作,是理解Node.js及其网络编程能力的好起点。 **一、图片爬取到本地** 图片爬取通常涉及网络请求、数据解析和...
java 爬虫工具,可存文本,也可存
数据库
Java爬虫工具是一种用于自动化网络数据
抓取
的程序,它能够高效地遍历网页并提取所需信息。在本项目
中
,开发者使用了WebMagic这...同时,这也是
一个
很好的学习资源,可以帮助你提升Java编程、
数据库
操作和爬虫开发技能。
数据采集之贝壳新房【完整代码(
数据库
+图片)】
此外,考虑到图片数据的存储,开发者可能还会设置
一个
字段来存储图片URL,或者直接将图片文件保存在本地,然后在
数据库
中
记录图片的路径。 在实际操作
中
,我们还需要注意几个问题。首先是反爬策略的应对,贝壳新房...
day24入门爬虫youduoduo附带mysql
数据库
.zip
标题
中
的“day24入门爬虫youduoduo附带mysql
数据库
.zip”表明这是
一个
关于Python爬虫的实践项目,特别关注于从youduoduo
网站
抓取
数据,并将这些数据存储到MySQL
数据库
中
。这个项目可能适合初学者,提供了
一个
实际...
网啦搜索引擎系统v1.0
本子系统运行在多线程模式下,根据服务器性能,一次可以开启多达2000个线程(默认推荐10个),
一个
线程执行
一个
单独的
抓取
任务,多个线程就相当于多个
抓取
任务同时运行,大大提高
抓取
网页的效率。 • 数据搬运子系统...
网络编程
18,363
社区成员
64,187
社区内容
发帖
与我相关
我的任务
网络编程
VC/MFC 网络编程
复制链接
扫一扫
分享
社区描述
VC/MFC 网络编程
c++
c语言
开发语言
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章