社区
网络编程
帖子详情
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
马里亚纳海沟哈哈
2005-08-08 06:58:59
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样
的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来?
如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
...全文
203
6
打赏
收藏
急!如何抓取一个网站中的数据库的内容并同时存入本地数据库?
假设有一个a网站,发布了一个数据库,通过其网页检索出数据,显示在页面中,我如何通过这个页面的地址(这个地址可以直接访问同样 的数据,不需要用户登录权限验证之类的),用我的程序直接把所需要的数据抓下来? 如果指定的内容中有连接,程序要自己链下去,抓取指定的内容,请高手指教,挺急的。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
马里亚纳海沟哈哈
2005-08-09
打赏
举报
回复
to netgm: 能不能说详细一点,拜托了
lbianxp
2005-08-09
打赏
举报
回复
得知道人家的数据源才行
netgm
2005-08-09
打赏
举报
回复
参考 xml
笨笨兔兔兔兔兔
2005-08-09
打赏
举报
回复
我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的
http://community.csdn.net/Expert/TopicView1.asp?id=4191119
马里亚纳海沟哈哈
2005-08-08
打赏
举报
回复
页面保证不需要验证的访问。
返回的数据是明文吗?可以对它象对字符串一样处理吗?
yexingren
2005-08-08
打赏
举报
回复
要读取 网站的数据,没有登录权限怎么行! 有权限了,和访问数据库是一个道理的。
读取html 网页到是不要权限,winInet类可以实现的
Python基于多线程实现
抓取
数据
存入
数据库
的方法
本文实例讲述了Python基于多线程实现
抓取
数据
存入
数据库
的方法。分享给大家供大家参考,具体如下: 1.
数据库
类 """ 使用须知: 代码
中
数据表名 aces ,需要更改该数据表名称的注意更改 """ import pymysql class ...
网啦搜索引擎系统v1.0
本子系统运行在多线程模式下,根据服务器性能,一次可以开启多达2000个线程(默认推荐10个),
一个
线程执行
一个
单独的
抓取
任务,多个线程就相当于多个
抓取
任务同时运行,大大提高
抓取
网页的效率。 • 数据搬运子系统...
1小时入门最新小程序授权登录注册功能开发,并把注册记录添加到
数据库
新版微信小程序授权登录,退出,缓存,小程序个人
中
心的实现 如果把用户授权的信息
存入
Mysql/云开发的
数据库
,怎么实现呢? 授权登录对于不同的用户好像没有唯一的标识,是不是还得获取openid才行? 授权登录必须从...
Python实现批量读取图片并
存入
mongodb
数据库
的方法示例
主要介绍了Python实现批量读取图片并
存入
mongodb
数据库
的方法,涉及Python文件读取及
数据库
写入相关操作技巧,需要的朋友可以参考下
python爬虫1688一件代发电商工具(二)-
抓取
商品详情页价格库存运费信息(selenium)
2.配置
数据库
环境,根据本地
数据库
连接修改alibaba.py
中
的
数据库
初始化参数 3.下载自己浏览器版本的浏览器驱动(webdriver),并将解压后的驱动放在python根目录下 4.执行database/DDL
中
的脚本进行
数据库
建表 5.将...
网络编程
18,356
社区成员
64,214
社区内容
发帖
与我相关
我的任务
网络编程
VC/MFC 网络编程
复制链接
扫一扫
分享
社区描述
VC/MFC 网络编程
c++
c语言
开发语言
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章