37,719
社区成员
发帖
与我相关
我的任务
分享Python大神看下：有没有接口可以爬？
http://i.eastmoney.com/1648325651051688
第三个股票代码：HSIU9
我查看源码和CHROME F12都没有结果，但是刷新可以看到数据在变化。
这个是别人的主页，我自己收藏的数据都可以实时变动，但是F12看不出接口～～～
第三个股票代码：HSIU9
我查看源码和CHROME F12都没有结果，但是刷新可以看到数据在变化。
这个是别人的主页，我自己收藏的数据都可以实时变动，但是F12看不出接口～～～
...全文
请发表友善的回复…
发表回复
cool_soup29 2019-09-11
- 打赏
- 举报
好的基本上搞定了，顺便问问，有没有简单实用可行的PYTHON使用SS代理的方案？ [/quote]
目前网上比较常见的反反爬措施【也就是你想使用代理的初衷】：
1.常见的说修改请求头啊，随机请求头啥的
评价:比较初级，遇到大一点的网站，基本没用
2.使用ss代理
2.1.免费代理，或者使用代码抓取免费代理搭建代理池
听起来似乎有点高大上，然并卵，免费代理的稳定性，延迟，甚至能不能用都是个问题，收集这些东西来搭建一个代理池
效率相当底下，耗时，在应用级别的爬虫项目中，相当影响效率，甚至反作用的效果
2.2.付费ss代理
付费，将一些付费用户共享的代理进行使用，甚至独享代理，当然，这种价格相对会比较高
相对免费，更加稳定，可用率更高；当然，各商家的代理质量残次不齐，请自行参考
3.使用拨号vps
目前我正在使用这个进行爬虫，价格远比付费代理更加底下
正在学习使用拨号vps,并且与项目于此爬取
纯手打分享经验，嘻嘻
美股数据张老师 2019-09-11
- 打赏
- 举报
不要cookie, query什么的我就会爬，要的话就不会了哈哈。。。，顺便问问，有没有简单实用可行的PYTHON使用SS代理的方案？
美股数据张老师 2019-09-11
- 打赏
- 举报
好的基本上搞定了，顺便问问，有没有简单实用可行的PYTHON使用SS代理的方案？
cool_soup29 2019-09-11
- 打赏
- 举报
友情提醒一下噢，并不是所有接口都是XHR类型的，当然，优先查看XHR，没有的话再去分析ALL那里的，选择Preview查看，逐个查看，十有八九有结果的。当然，不排除一下字段加密，加密接口等待各种各样的反爬手段。那样就会比较棘手了。
一笑程序猴 2019-09-11
- 打赏
- 举报
这种数据一般都是动态加载的。分析步骤就是
在chrome浏览器中，按下F12或鼠标右击选择检查，然后切换到network，然后点一下XHR，再刷新一下页面，请求的url就出来了。
在chrome浏览器中，按下F12或鼠标右击选择检查，然后切换到network，然后点一下XHR，再刷新一下页面，请求的url就出来了。
cool_soup29 2019-09-11
- 打赏
- 举报
F12，network,刷新
找到那些口头名字是
get?ut=6d2....类似格式的应该就是了
我也只看了个大概
cool_soup29 2019-09-11
- 打赏
- 举报
http://push2.eastmoney.com/api/qt/ulist.np/get?ut=6d2ffaa6a585d612eda28417681d58fb&fields=f1,f2,f3,f4,f14&invt=2&secids=1.000001,0.399001,0.399006&cb=jQuery112306972372791114723_1568190170299&_=1568190170302
http://push2.eastmoney.com/api/qt/ulist.np/get?ut=6d2ffaa6a585d612eda28417681d58fb&fields=f1,f2,f3,f4,f14&invt=2&secids=1.000001,0.399001,0.399006&cb=jQuery112306972372791114723_1568190170294&_=1568190170295
ttp://push2.eastmoney.com/api/qt/ulist.np/get?ut=6d2ffaa6a585d612eda28417681d58fb&fields=f1,f2,f3,f4,f14&invt=2&secids=305.HSI,305.HSCEI,124.hscci&cb=jQuery112306972372791114723_1568190170299&_=1568190170303
这几个都是数据的面板的部分接口，具体链接分析，你自己仔细看看咯
