如何爬去淘宝商品的所有评论
我最近在做一个项目,需要爬取淘宝网上一个商品的所有评论,项目用java开发,使用了htmlUnit开源框架,发现淘宝网页用了ajax技术,我以前也没接触过ajax,现在有点不值所措,求诸位帮忙。我的代码是这样写的:
package nankai.SpiderDemo4;
import java.io.File;
import java.io.IOException;
import java.net.MalformedURLException;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
public class HtmlUnitSpider {
private String urlString;
public HtmlUnitSpider(String urlString) {
this.urlString = urlString;
}
public String getUrlString() {
return urlString;
}
public void setUrlString(String urlString) {
this.urlString = urlString;
}
public void run() {
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setActiveXNative(false);
webClient.getOptions().setCssEnabled(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
try {
HtmlPage page = webClient.getPage(this.getUrlString());
System.out.println(<span style="color: #FF0000;">page.asXml()</span>);
} catch (FailingHttpStatusCodeException e) {
e.printStackTrace();
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} catch (Throwable e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
运行结果中里面也没有评论相关的,据说是淘宝使用了懒加载技术,请问各位:怎么破!
package nankai.SpiderDemo4;
import java.io.File;
import java.io.IOException;
import java.net.MalformedURLException;
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
public class HtmlUnitSpider {
private String urlString;
public HtmlUnitSpider(String urlString) {
this.urlString = urlString;
}
public String getUrlString() {
return urlString;
}
public void setUrlString(String urlString) {
this.urlString = urlString;
}
public void run() {
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setActiveXNative(false);
webClient.getOptions().setCssEnabled(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
try {
HtmlPage page = webClient.getPage(this.getUrlString());
System.out.println(<span style="color: #FF0000;">page.asXml()</span>);
} catch (FailingHttpStatusCodeException e) {
e.printStackTrace();
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} catch (Throwable e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
运行结果中里面也没有评论相关的,据说是淘宝使用了懒加载技术,请问各位:怎么破!
...全文
相关推荐
淘宝商品爬虫教程[项目代码]
后续升级路线图已明确规划自动去重引擎,基于商品ID与标题哈希值双重判据实现毫秒级重复数据过滤;断点续爬功能依托SQLite本地数据库持久化任务进度,支持异常中断后从中断位置精确恢复;进阶版本还将集成分布式任务调度中心
爬取淘宝商品评论信息
爬取淘宝商品评论信息 近期学期需求,需要获取部分商品的评价信息。在此记录本次学习的过程。 找到URL 由于这是一个动态网页,因此需要找到评论实际的URL 首先进入你需要的商品的页面,按F12进入开发者工具 点击累计评价,在Preview中找到评价信息 源码 ...
调用淘宝API接口,获取商品类目
本教程将详细讲解如何调用淘宝API接口获取商品类目并将其展示在DataGridView控件中。首先,我们需要了解淘宝开放平台(Taobao Open Platform, TOP)的基本概念。
淘宝商品爬虫, selenium破解滑块验证(目前可用)
此外,为了提高爬虫的效率和成功率,我们还需要处理反爬机制,如设置合理的请求间隔、使用代理IP、随机User-Agent等。
使用python对淘宝商品信息数据进行爬取
对于淘宝商品数据的爬取,首先需要确定目标URL,通常是淘宝商品页面的URL。


