动态页面跨域抓取的问题
包臀牛仔裤 2014-09-15 03:40:12
如今工作遇到难题,百思不得其解。
我所在公司做了个广告系统dsp,业务是帮助客户增加广告曝光率,其主要展示平台是代理了百度之类的广告联盟。现在需求是客户要求在各大网站或移动平台上展示出的广告要给他们截图。故现在需要一个自动化程序。
下面是思路:抓取页面【我们公司数据库有展示的网站url(这些url是百度接口返回给我们的,这些网站url里面可能有我们打出去的广告也可能没有)】,分析抓取内容,然后对比我们广告素材(广告素材是一段标识的字符串),if true 截图 else 继续执行其他url。但实践中遇到诸多问题:
我用php抓取url(问题1.php无法抓取动态内容,比如一个url里面的script代码,2.php多线程方面似乎不行)
然后我找到了Selenium和phantomjs
但是selenium说是可以用php写脚本,但我看网上例子似乎都要用到java或pyhon,具体不知道咋整,phantomjs可以截图,我试了,但是不能解决跨域问题。