C#模拟HTTP请求,百度可以,当当可以,京东居然不行
当当就把 this.address改成 this.address = "http://search.dangdang.com/?key=" + keyword;
百度就把 this.address改成 this.address = "http://www.baidu.com/s?wd=" + keyword;
京东就把 this.address改成 this.address = "http://search.jd.com/Search?keyword=" + keyword;
百度和当当都很顺利的返回了搜索结果页面的源代码,但京东居然返回京东首页的源代码。
苦思多日不得其解,求解求解。
若有京东程序员看见,望你大发慈悲,解救我于苦海
public string getSeachResultByISBN(string keyword)
{
ISBN = isbn;
this.address = "http://search.dangdang.com/?key=" + keyword;
HttpWebRequest request =
(HttpWebRequest)HttpWebRequest.Create(address);
request.Method = "GET";
WebResponse response = request.GetResponse();
StreamReader myreader = new StreamReader(
response.GetResponseStream(), Encoding.UTF8);
string responseText = myreader.ReadToEnd();
return responseText;
}
相关推荐
selenium+phantomjs实现各大网站模拟登陆,已实现微博、知乎、QQ空间、CSDN、京东、163邮箱、CSDN、百度
selenium+phantomjs实现各大网站模拟登陆,已实现微博、知乎、QQ空间、CSDN、京东、163邮箱、CSDN、百度
2021-07-11 .NET高级班 109-爬虫专题(京东商城)
一:首先封装http请求类和日志类 public class HttpHelper { private static Logger logger = new Logger(typeof(HttpHelper)); /// <summary> /// 根据url下载内容 之前是GB2312 /// </summary> /// <param name="url"></param> /// <returns
易语言源码外挂海万能模块1.94
易语言源码外挂海万能模块1.94
JGTechVision项目架构[项目代码]
JGTechVision是一个基于C#/WPF (.NET Framework 4.7.2)的机器视觉平台解决方案,采用MVVM架构模式结合插件系统和事件驱动机制。项目包含可视化架构图、第三方库(如Halcon、ONNX Runtime、OpenCVSharp等)、基础设施层(如CommonHelper、DataAccess、EventMgrLib等)、硬件驱动层(相机和运动控制)、深度学习插件(如异常检测、分类、目标检测等)以及插件层(50+工具)。核心抽象层包括ModuleBase、CameraBase和MotionBase,业务层涵盖方案管理、项目执行引擎和插件服务。表现层采用WPF UI设计器实现拖拽式界面设计。项目支持多种扩展点,包括插件扩展、流程扩展、UI扩展、通信扩展和数据存储扩展等,具有高度的灵活性和可扩展性。
Selenium爬虫实战:破解动态网页数据抓取难题
在Web数据抓取领域,动态渲染页面是常见的技术挑战。其原理在于现代网站广泛采用前后端分离架构,核心数据通过JavaScript异步加载,传统HTTP请求只能获取初始HTML框架。为解决这一问题,浏览器自动化技术应运而生,它通过模拟真实用户操作,驱动浏览器执行JavaScript并渲染完整页面,从而实现对动态内容的精准抓取。这项技术的核心价值在于能够处理复杂交互场景,如点击、滚动触发的数据加载,是应对SPA(单页应用)和Ajax密集型网站的利器。在应用层面,Selenium作为成熟的浏览器自动化工具,结合智能



