网页爬虫-思路问题，大神帮忙看一看

别闹了费曼sir 2017-05-31 04:22:15

千里眼水情系统，网址如下，表格中的数据用浏览器查看元素时可以看到，但是查看源码时没有数据，请问处理这种爬虫的思路是怎么样的，或者有什么jar可用吗？
http://219.140.162.169:8800/rw4/report/fa02.asp

...全文

267 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

z896709283 2017-07-14

打赏
举报

回复

为啥我在源码里面找到了数据，你点开f12找找肯定有

110成成 2017-05-31

打赏
举报

回复

源码里，你也要注意，里面有嵌套啊，里面嵌套了IFRAME 里面有对应的数据界面，src你点击，能调到数据界面爬虫用的话，就是http请求抓包，分析数据，之前用 python整过，道理都是一样的。

大专毕业的他却是爬虫领域的大佬！收割阿里等诸多一线大厂的offer！是运气吗？是天赋吗？是他的努力！

第一次爬虫实例 1、这是我第一次写的爬虫实例，写的不好请见谅，最后发现爬取的次数多了，被网站拉黑了，还是需要代理才行，代理还不太清楚怎么弄就先这样了后面请大神可以帮忙改下怎么使用代理爬取。第一次爬取网站的所有电影信息（仅供参考）具体思路就是先获取第一页上的信息然后根据翻页上的页数来确定爬取多少页 #下一步就是要写怎么爬取这些电影的种子并且下载到本地，等有时间了在写下面是具体...

能利用爬虫技术做到哪些很酷很有趣很有用的事情？准备学习python爬虫。各位大神都会用爬虫做哪些有趣的事情？今天突然想玩玩爬虫，就提了这个问题。跟着YouTube上的一个tutor写了个简单的程序，爬了一点豆瓣的数据。主要用到request和bs4（BeautifulSoup）模块。虽然简陋，毕竟是人生中的第一只爬虫啊……以示纪念，代码写在博客里了：我的第一只爬虫：爬取豆瓣读书

大神帮忙看下20行的python代码,文件io和数据库插入太慢新学python,在做一个把爬虫爬下来的股票数据从文件插入到mysql数据库,速度很慢,不知道瓶颈是文件处理还是sql插入问题,望大神不吝赐教,感激不尽!# encoding: utf-8#!/usr/bin/pythonimport MySQLdbimport osdb = MySQLdb.connect(host="localhos...

① Python所有方向的学习路线图，清楚各个方向要学什么东西② 600多节Python课程视频，涵盖必备基础、爬虫和数据分析③ 100多个Python实战案例，含50个超大型项目详解，学习不再是只会理论④ 20款主流手游迫解爬虫手游逆行迫解教程包⑤ 爬虫与反爬虫攻防教程包，含15个大型网站迫解⑥ 爬虫APP逆向实战教程包，含45项绝密技术详解⑦ 超300本Python电子好书，从入门到高阶应有尽有⑧ 华为出品独家Python漫画教程，手机也能学习。

51,410

社区成员

85,984

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章