动态页面跨域抓取的问题

2014-09-15 03:40:12 150 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Scrapy爬取动态页面下载图片（以抓取360图片为例）当我们想要抓取一个页面的内容时，要做的第一件事不是写代码，而是分析页面，确定这是一个静态页面还是动态页面。抓取静态页面的方法十分简单，直接解析html源码再进行分析解析即可，如果不太明白，可以参考我上篇文章Scrapy抓取豆瓣电影信息，这里我主要讲述一下如何抓取动态页面。抓取动态页面有两种方法：第一种方法是采用第三方工具，模拟浏览器的行为，从而加载数据。比如：Selenium、Phanto... 阅读详情

如今工作遇到难题，百思不得其解。
我所在公司做了个广告系统dsp，业务是帮助客户增加广告曝光率，其主要展示平台是代理了百度之类的广告联盟。现在需求是客户要求在各大网站或移动平台上展示出的广告要给他们截图。故现在需要一个自动化程序。
下面是思路：抓取页面【我们公司数据库有展示的网站url（这些url是百度接口返回给我们的，这些网站url里面可能有我们打出去的广告也可能没有）】，分析抓取内容，然后对比我们广告素材（广告素材是一段标识的字符串），if true 截图 else 继续执行其他url。但实践中遇到诸多问题：
我用php抓取url（问题1.php无法抓取动态内容，比如一个url里面的script代码，2.php多线程方面似乎不行）

然后我找到了Selenium和phantomjs
但是selenium说是可以用php写脚本，但我看网上例子似乎都要用到java或pyhon，具体不知道咋整，phantomjs可以截图，我试了，但是不能解决跨域问题。

...全文