8.0w+
社区成员
谁能说说你所用的网页爬虫技术的经验心得
对于网站资源合理化利用： 目前网上资源很丰富，不需要自己在去创建。如：天气预报功能，可以利用气象台给我们的网络信息就可以安放到自己所开发的网站上，很方便。而且也不占自己的数据库，利用外来资源来丰富自己开发的网站信息，很方便又实用，大部分 开发人员用的都是 网页爬虫技术，能否具体的说说您所用的爬虫的经验和体会，还有需要注意的事项！
望广大的 程序开发者们，分享你们的经验和心得，我们向你们学习了，在此谢谢你们的交流！
望广大的 程序开发者们，分享你们的经验和心得，我们向你们学习了，在此谢谢你们的交流！
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
橙_子恒 2010-10-04
[Quote=引用 3 楼 bao110908 的回复:]
如果是不是山寨网站的话，像气象信息绝对不会去抓取其他人网页上的数据，最好是使用气象部门提供的数据接口。
用网页数据的话，称为“信息小偷”，存在风险，且网页一改版你的功能就用不了了。
[/Quote]
就如网易的房地产信息，网易是不是也提供了一个信息接口呢；对于刚刚起步的网站不可能所有的信息都要去自己派人去收取整理然后放到数据库中读取到自己的网站上，能否有即省力又高效的达到获取有效信息的方法呢？望广大程序员网友积极交流一下！
如果是不是山寨网站的话，像气象信息绝对不会去抓取其他人网页上的数据，最好是使用气象部门提供的数据接口。
用网页数据的话，称为“信息小偷”，存在风险，且网页一改版你的功能就用不了了。
[/Quote]
就如网易的房地产信息，网易是不是也提供了一个信息接口呢；对于刚刚起步的网站不可能所有的信息都要去自己派人去收取整理然后放到数据库中读取到自己的网站上，能否有即省力又高效的达到获取有效信息的方法呢？望广大程序员网友积极交流一下！
qq38396025 2010-10-03
这个合法性是有一点问题，不过光就技术来讲，要准确的爬到数据，也是需要一点精心准备的，我是还没有做到一劳永逸的办法，一般都是有针对性的
bastengao 2010-10-03
[Quote=引用 3 楼 bao110908 的回复:]
如果是不是山寨网站的话，像气象信息绝对不会去抓取其他人网页上的数据，最好是使用气象部门提供的数据接口。
用网页数据的话，称为“信息小偷”，存在风险，且网页一改版你的功能就用不了了。
[/Quote]即是
如果是不是山寨网站的话，像气象信息绝对不会去抓取其他人网页上的数据，最好是使用气象部门提供的数据接口。
用网页数据的话，称为“信息小偷”，存在风险，且网页一改版你的功能就用不了了。
[/Quote]即是
火龙果被占用了 2010-10-02
如果是不是山寨网站的话，像气象信息绝对不会去抓取其他人网页上的数据，最好是使用气象部门提供的数据接口。
用网页数据的话，称为“信息小偷”，存在风险，且网页一改版你的功能就用不了了。
用网页数据的话，称为“信息小偷”，存在风险，且网页一改版你的功能就用不了了。
wyang1991 2010-10-02
菜鸟不懂，过来参观
Inhibitory 2010-10-02
对不同的网站，使用提供的api，或者分析网页里的post，get请求返回的数据格式，然后按自己的需求解析出有用信息。
见虫就杀: bug fixed。
见虫就杀: bug fixed。
编程心得分享，送给刚入门学编程的小伙伴 下面给大家分享下，众多小伙伴的编程心得，希望对你有所帮助。 这篇文章我是在知乎上看到的，感觉很不错。原作者回顾了自己漫长的编程学习之路，从中总结了许多个人经历，走的弯路，和教训。我摘抄了过来，希望能...
python心得1000字-python 面试题(进阶) 若干子线程在系统资源竞争时，都在等待对方对某部分资源解除占用状态，结果是谁也不愿先解锁，互相干等着，程序无法执行下去，这就是死锁。 GIL锁 全局解释器锁 作用： 限制多线程同时执行，保证同一时间只有一个...
AI经验采集分享 动辄50万的毕业生年薪，动辄100万起步价的海归AI高级...第一案例为普通程序员，经过六个月从接触机器学习到颇有心得的切身体会。 第二个案例为只懂 ACM 竞赛相关算法的普通程序员，误打误撞接触到了数据挖掘，之...
送你一个励志故事（转载） 这个问题很现实也很尖锐，毕竟科班出身的人就那么多，我凭什么要你不要他们，所以你要展示的就是你得计算机技能不比别人差，你的自学能力比普通人要强，或者你做的项目比别人牛逼，或者你比别人更能坚持，语言是很...
送你一个励志故事—掌握这些你也可能拿到腾讯offer 简历上的技能，对自己写的每一项做到心中有数，例如，你写上“熟悉TCP/IP协议及其编程”，那么面试官问你建立服务器的socket函数有哪些，分别什么作用，你总不能不会吧？我最开始对数据库不太熟，没有系统复习过，...
送你一个励志故事——涵盖20多所互联网公司的校招C++面经 推荐边看边刷题（赞一波牛客的题库），即使刷题耽误了看书时间，也能慢慢让你培养出笔试的感觉，看完了你自然而然就知道这本书哪一块是重点，哪一块过一遍即可，然后再去刷题，看面经里面出现的linux命令的题目...
这三个普通程序员，几个月就成功转型AI，他们的经验是... 动辄50万的毕业生年薪，动辄100万起步价的海归AI高级人才，普通员到底应不应该转型...第一案例为普通程序员，经过六个月从接触机器学习到颇有心得的切身体会。 第二个案例为只懂 ACM 竞赛相关算法的普通程序员，...
前端面试-真题 (3)浏览器解析时到底使用标准模式还是怪异模式，与你网页中的 DTD 声明直接相关， DTD 声明定义了标准文档的类型（标准模式解析）文档类型，会使浏览器使用相应的方式加载网页并显示，忽略 DTD 声明 ,将使网页进入...
2021前端最新面试题及答案 如果对你有用的话，顺手点个赞，或者给个关注，鼓励一下吧！ 顺便说一句自己的心得，面试的时候，要注意公司环境，判断一下这个公司的氛围，环境，领导的态度脾气等等各方面是否合适哦，不要弄得以后入职很难做，那...
前端面试题（一） 当然，我也知道你的想法，“但是Photoshop也能生成带透明通道的PNG图片！”我也知道，它只是表面上这么说是PNG24，让我也产生困惑了。 作为一个伤感的Fireworks倡导者，我只使用PNG32支持附带alpha通道的真色彩图片...
BAT机器学习面试1000题系列（第1~305题） 显然不是，除非你能穿越大楼。而实际驾驶距离就是这个“曼哈顿距离”，这也是曼哈顿距离名称的来源， 同时，曼哈顿距离也称为城市街区距离(City Block distance)。 曼哈顿距离和欧式距离一般用途不同，无相互替代...
普通程序员，几个月如何成功转型AI？ IT派 - {技术青年圈}持续关注互联网、大数据、人工智能领域关注往期精彩回顾 重大改变！Excel即将接入Python！办公软件也要革命2017年大数据领域薪资有多高？上新 | 五一劳动节样式欣赏动辄50万的毕业生年薪，动辄...
BAT机器学习面试1000题系列 显然不是，除非你能穿越大楼。而实际驾驶距离就是这个“曼哈顿距离”，这也是曼哈顿距离名称的来源， 同时，曼哈顿距离也称为城市街区距离(City Block distance)。 曼哈顿距离和欧式距离一般用途不同，无相互替代...
我的前28年！ 如果懂点技术，踩着技术去做项目经理，相对来说还能会轻松一点。其实是比较难干得一个活。弄不好，满盘皆输。顶着巨大的压力，关键时刻就得上。 7、 产品思维。 技术是为产品服务的，产品是由用户驱动的。早在年轻刚...
前端2020面试题195道 当然，我也知道你的想法，“但是Photoshop也能生成带透明通道的PNG图片！”我也知道，它只是表面上这么说是PNG24，让我也产生困惑了。 作为一个伤感的Fireworks倡导者，我只使用PNG32支持附带alpha通道的真色彩...
2014乌云安全峰会文字版记录 如果没有的话，这个后果很严重的，按照我前面演示，如果这次没有打开网页或者QQ空间不会被窃取，但总有一天你会被窃取。 Gainover: 第三，流量大。大家可以看到这种类型的漏洞影响到了，基本上是全国所有视频网站，...
