社区
Java SE
帖子详情
求抓取网络数据的思路,方案!!!
sundeveloper
2007-01-22 05:52:00
比如: 我的关键字为"刘德华", 我就需要去指定的某些网站,,抓取刘德华的一些信息.
用什么框架,方法比较好使,谢谢!
...全文
385
9
打赏
收藏
求抓取网络数据的思路,方案!!!
比如: 我的关键字为"刘德华", 我就需要去指定的某些网站,,抓取刘德华的一些信息. 用什么框架,方法比较好使,谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
v8v4ygsk88
2011-01-16
打赏
举报
回复
g................
yz_ivan
2007-01-23
打赏
举报
回复
写个Httpclient直接用Google,Baidu之去搜索然后这里一下返回的结果
luyang1016
2007-01-23
打赏
举报
回复
四个内裤
lzmhehe
2007-01-23
打赏
举报
回复
mark
脚本无敌
2007-01-23
打赏
举报
回复
blog 更新:
think in java 各章后练习答案.....
http://blog.csdn.net/heimaoxiaozi/
sundeveloper
2007-01-23
打赏
举报
回复
1. 返回的页面格式的不确定.(内容有可能在div中,也有可能在td中,等..)
2. 返回的页面的内容,也不确定.(页面中,既有可用的信息,也有没有的(广告等)信息..)
sundeveloper
2007-01-23
打赏
举报
回复
我是打算用去Google搜索,根据Google返回的结果集,再去访问结果集对应的链接.最将访问链接得到的页面返回.
得到页面的HTML代码后,我有几个头痛的问题.
1. 返回的页面格式的不确定.
2. 返回的页面的内容,也不确定.
3. 如何得到该关键字的 比较完整的,详细,而且比较相关的信息.
4. 这些操作,不需要人工干预,一切都需自动处理.
lixiaoxue85
2007-01-22
打赏
举报
回复
网络爬虫? 这和用社么框架有社么关系吗~~你习惯社么用社么
醉杯殇
2007-01-22
打赏
举报
回复
框架?
Spider?
Google,Baidu,SoGou...
揭秘
网络
:如何用Python爬虫
抓取
万千
数据
!!原来赚钱这么容易!!
① Python所有方向的学习路线图,清楚各个方向要学什么东西② 600多节Python课程视频,涵盖必备基础、爬虫和
数据
分析③ 100多个Python实战案例,含50个超大型项目详解,学习不再是只会理论④ 20款主流手游迫解 爬虫...
Python
网络
爬虫
数据
抓取
思路
,静态与动态页面爬取
思路
,爬虫框架等
一、静态文件
抓取
(响应文件中存在的
数据
) 二、动态文件
抓取
(响应文件中不存在的
数据
) 三、多线程
数据
抓取
四、存文件:多线程争抢共同文件时的操作 五、Python爬虫解析模块
思路
一、静态文件
抓取
(响应文件...
一个价值一千五的外包项目!
抓取
大众点评的店铺信息!
今天在群里有人派外包的其中一个是
抓取
大众点评的店铺信息,价格一千五,三天内完成!很多刚学编程的小伙伴,应该觉得这个一千五也太容易拿了,相对于大众点评这个网站,其实不是像爬小说,爬表情包那样容易的,...
Android平台
数据
抓取
方案
分享
原文章地址Android
抓取
第三方的APP
数据
方案
探究 更多技术文章访问本人博客HuRuWo的技术小站, 包括 Electron从零开发 Android 逆向 app 微信
数据
抓取
抖音
数据
抓取
闲鱼
数据
抓取
小红书
数据
抓取
其他软件爬虫 等技术...
爬虫---如何
抓取
app的
思路
和
方案
2015年,谷歌开始对外部App的内部链接和内容进行
抓取
,目前已经累计
抓取
了300多亿个。 搜索引擎是内容门户之后的互联网第二次重大技术革命。然而伴随着智能手机的普及,应用软件(APP)取代网页,成为主流的技术。...
Java SE
62,614
社区成员
307,326
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章