社区
网络编程
帖子详情
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
马里亚纳海沟哈哈
2005-08-08 06:58:59
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样
的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来?
如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
...全文
250
6
打赏
收藏
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样 的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来? 如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
马里亚纳海沟哈哈
2005-08-09
打赏
举报
回复
to netgm: 能不能说详细一点,拜托了
lbianxp
2005-08-09
打赏
举报
回复
得知道人家的数据源才行
netgm
2005-08-09
打赏
举报
回复
参考 xml
笨笨兔兔兔兔兔
2005-08-09
打赏
举报
回复
我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的
http://community.csdn.net/Expert/TopicView1.asp?id=4191119
马里亚纳海沟哈哈
2005-08-08
打赏
举报
回复
页面保证不需要验证的访问。
返回的数据是明文吗?可以对它象对字符串一样处理吗?
yexingren
2005-08-08
打赏
举报
回复
要读取 网站的数据,没有登录权限怎么行! 有权限了,和访问数据库是一个道理的。
读取html 网页到是不要权限,winInet类可以实现的
Python爬取
网站
数据并
存入
数据库
(简单易懂)
本文介绍了如何使用Python的pymysql库连接MySQL
数据库
,并通过requests和lxml库
抓取
网页数据。代码示例展示了从起点
中
文网
抓取
书籍信息,包括书名、作者、类型和简介,然后将这些信息插入到
数据库
中
。整个过程涵盖了HTTP请求、HTML解析和
数据库
操作等关键步骤。
Python爬虫(selenium)从
网站
获取信息并
存入
数据库
(mysql)
本文介绍如何用Python编写网络爬虫,从指定图书
网站
获取信息并
存入
MySQL
数据库
。项目包含连接
数据库
、创建数据表、插入数据和主程序四个模块。使用Selenium模拟浏览器行为获取图书信息,通过SQL语句将信息
存入
数据库
,适合相关领域初学者。
python定时简单爬取网页新闻
存入
数据库
并发送邮件
本文介绍了
一个
简单的Python爬虫项目,用于从北京工业大学
网站
抓取
新闻,并将其存储到MySQL
数据库
中
,同时通过电子邮件发送新闻摘要。项目利用了requests、BeautifulSoup、pymysql、smtplib等库。
将爬虫爬到的数据
存入
MySQL
数据库
本文介绍了一种使用Python爬虫
抓取
电影
网站
数据,并将其存储到MySQL
数据库
的方法。通过定义类实现数据
抓取
和存储过程,展示了如何连接
数据库
、创建表及插入数据。
使用jsoup
抓取
网页数据并
存入
数据库
本文介绍了一种使用JSoup和Maven项目的网页数据
抓取
方法,通过解析特定
网站
的
内容
并将其存储到
数据库
中
。首先,利用JSoup
抓取
网页上的文章标题、链接、作者和阅读量等信息,然后将这些信息
存入
ArrayList。接着,通过JDBC将ArrayList
中
的数据批量插入到本地MySQL
数据库
,实现了自动化数据
抓取
与存储。
网络编程
18,356
社区成员
64,161
社区内容
发帖
与我相关
我的任务
网络编程
VC/MFC 网络编程
复制链接
扫一扫
分享
社区描述
VC/MFC 网络编程
c++
c语言
开发语言
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章