C#频繁获取google搜索结果,被google限制怎么解决?

k_lyh 2014-06-11 04:57:38
用以下这段代码要频繁获取google的搜索页面,每次读取90次左右就被限制了,有什么办法解决?


/// <summary>
/// 搜索处理
/// </summary>
/// <param name="url">搜索网址</param>
/// <param name="Chareset">编码</param>
private string search(string url, string Chareset)
{
HttpState result = new HttpState();
Uri uri = new Uri(url);
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(url);
myHttpWebRequest.UseDefaultCredentials = true;
myHttpWebRequest.ContentType = "text/html";
myHttpWebRequest.UserAgent = "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)";
myHttpWebRequest.Method = "GET";
myHttpWebRequest.CookieContainer = new CookieContainer();

try
{
HttpWebResponse response = (HttpWebResponse)myHttpWebRequest.GetResponse();
// 从 ResponseStream 中读取HTML源码并格式化 add by cqp
result.Html = readResponseStream(response, Chareset);
result.CookieContainer = myHttpWebRequest.CookieContainer;
//清理Cookie
System.Net.CookieCollection cc = result.CookieContainer.GetCookies(uri);
foreach (System.Net.Cookie item in cc)
{
item.Expires = DateTime.Now.AddDays(-10);
}

return result.Html;
}
catch (Exception ex)
{
return ex.ToString();
}

}
...全文
215 8 打赏 收藏 转发到动态 举报
写回复
用AI写文章
8 条回复
切换为时间正序
请发表友善的回复…
发表回复
mwp 2014-06-12
  • 打赏
  • 举报
回复
找google谈谈
新旅程 2014-06-11
  • 打赏
  • 举报
回复
引用 6 楼 u011048876 的回复:
[quote=引用 5 楼 k_lyh 的回复:] 有没有办法获取GOOGLE的验证码,人工输入或是机器打码的方式跳过? 因为需要指定国家区域做搜索爬页面,用代理应该是会影响搜索结果的吧?
网上有识别二维码的API,付费的那种,号称可以做到90%的准确率。收费的。[/quote] 另外你用代理,也不一定要用国外的代理。
新旅程 2014-06-11
  • 打赏
  • 举报
回复
引用 5 楼 k_lyh 的回复:
有没有办法获取GOOGLE的验证码,人工输入或是机器打码的方式跳过? 因为需要指定国家区域做搜索爬页面,用代理应该是会影响搜索结果的吧?
网上有识别二维码的API,付费的那种,号称可以做到90%的准确率。收费的。
k_lyh 2014-06-11
  • 打赏
  • 举报
回复
有没有办法获取GOOGLE的验证码,人工输入或是机器打码的方式跳过? 因为需要指定国家区域做搜索爬页面,用代理应该是会影响搜索结果的吧?
MikeCheers 2014-06-11
  • 打赏
  • 举报
回复
必须代理 做个池子 每次取不同的 可用的代理越多越好
feiyun0112 2014-06-11
  • 打赏
  • 举报
回复
可以啊,myHttpWebRequest.Proxy
k_lyh 2014-06-11
  • 打赏
  • 举报
回复
引用 1 楼 feiyun0112 的回复:
只有用代理访问
可以在程序里动态代理吗?
feiyun0112 2014-06-11
  • 打赏
  • 举报
回复
只有用代理访问

110,500

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧