WebRequest 如何实现中文地址不编码

aofengdaxia 2011-11-19 12:18:12

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

在上面代码进行Create的时候url会自动编码。url中有汉字，会自动实现编码。
我现在遇到的问题是：不能让这个URL编码，请问如何实现。
不要告诉我去服务器端解码什么，因为我是要抓取别人服务器端的东西，编码后无法抓取。必须发送带有中文的URL,请教下如何实现呢？

...全文

152 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

aofengdaxia 2011-11-19

打赏
举报

回复

使用了GB2312和UTF-8，都不行的，抓包发现对方是直接发送中文可以，但是我不清楚如何直接发送中文

阿非 2011-11-19

打赏
举报

回复

http://topic.csdn.net/t/20030102/11/1319700.html

dalmeeme 2011-11-19

打赏
举报

回复

HttpUtility.UrlEncode("", Encoding.GetEncoding("gb2312"));
其中的gb2312也可用其他试试

dalmeeme 2011-11-19

打赏
举报

回复

以前有人碰到过类似的问题，最后发现不是中文编码解码的问题，是其他地方写错了。你编码后不行，可能是字符集的问题。换一种字符集试试。
先对url编码，utf-8不行就用gb2312试试。

迷迷520 2011-11-19

打赏
举报

回复

要知道别人网站是UTF-8 还是 GB2312的。然后对地址进行编码

简单C#信息采集工具实现 http://blog.csdn.net/xiaoxiao108/archive/2011/06/01/6458367.aspx 最近想整只爬虫玩玩，顺便熟悉下正则表达式。开发环境 vs2008 sql2000 实现方法如下 1.先抓取网页代码 2.通过正则匹配出你需要的内容比如http://www.soso.com/q?w=%C4%E3%BA%C3&pg=1 页面中搜索结果的标题跟连接地址。具体可以根据你的需要填写合适的地址跟正则。 3.把匹配出的内容保存到数据库中。对其中的数据可以根据需要自己进行处理具体实现代码 1.读取网页的代码 public static string GetDataFromUrl(string url) { string str = string.Empty; HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); //设置Http头； request.AllowAutoRedirect = true; request.AllowWriteStreamBuffering = true; request.Referer = ""; request.Timeout = 10 * 1000; //request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)"; HttpWebResponse response = null; try { response = (HttpWebResponse)request.GetResponse(); if (response.StatusCode == HttpStatusCode.OK) { //根据http应答头来判别编码 string Characterset = response.CharacterSet; Encoding encode; if (Characterset != "") { if (Characterset == "ISO-8859-1") { Characterset = "gb2312"; } encode = Encoding.GetEncoding(Characterset); } else { encode = Encoding.Default; } //声明一个内存流来贮存http应答流 Stream Receivestream = response.GetResponseStream(); MemoryStream mstream = new MemoryStream(); byte[] bf = new byte[255]; int count = Receivestream.Read(bf, 0, 255); while (count > 0) { mstream.Write(bf, 0, count); count = Receivestream.Read(bf, 0, 255); } Receivestream.Close(); mstream.Seek(0, SeekOrigin.Begin); //从内存流里读取字符串这里涉及到了编码方案 StreamReader reader = new StreamReader(mstream, encode); char[] buf = new char[1024]; count = reader.Read(buf, 0, 1024); while (count > 0) { str += new string(buf, 0, 1024); count = reader.Read(buf, 0, 1024); } reader.Close(); mstream.Close(); } } catch (Exception ex) { GetDataFromUrl(url); } finally { if (response != null) response.Close(); } return str; } 2.正则匹配的代码 public static ArrayList GetString(string reg, string content) { Regex r = new Regex(reg, RegexOptions.Compiled); MatchCollection matches = r.Matches(content); ArrayList a = new ArrayList(); foreach (Match m in matches) { string[] arr = new string[10]; arr[0] = m.Groups[1].Value; arr[1] = m.Groups[2].Value; arr[2] = m.Groups[3].Value; arr[3] = m.Groups[4].Value; arr[4] = m.Groups[5].Value; arr[5] = m.Groups[6].Value; arr[6] = m.Groups[7].Value; arr[7] = m.Groups[8].Value; arr[8] = m.Groups[9].Value; arr[9] = m.Groups[10].Value; a.Add(arr); } return a; } 3.如果抓取的页面很多，可以把多线程跟队列应用过来，提高抓取效率 Queue numbers = new Queue(); const int MaxCount = 5;//同时运行的最多线程数 private static object _lock = new object(); private void Test() { while (true) { int i = 0; lock (_lock) { if (numbers.Count == 0) { flag = false; return; } i = numbers.Dequeue(); } f(i); } } void Ssss() { for (int i = 1; i <= 100; i++)//处理的页面参数从http://www.soso.com/q?w=你好&pg=1 到http://www.soso.com/q?w=你好&pg=100 { numbers.Enqueue(i); } for (int i = 0; i < MaxCount; i++) { Thread thread = new Thread(new ThreadStart(Test)); thread.Name = "T" + i.ToString(); thread.Start(); } } private void f(int num) { string str = ClassLibrary1.Class1.GetDataFromUrl("http://www.soso.com/q?w=%C4%E3%BA%C3&pg="+num); string reg = "]+? target=\"_blank\">([\\s\\S]+?)"; ArrayList a = ClassLibrary1.Class1.GetString(reg, str); for (int i = 0; i ] 除了>以为的字符 [\u4e00-\u9fa5] 汉字 6.代码只是实现了信息采集的主要功能，根据你自己的需要更换采集页面，跟合适的正则表达式后，可以根据你的需要自动进行采集，对采集到的数据，再根据你的需要自己进行处理。 7.数据库操作部分用的3层代码生成器连接地址在 app.config中如果你发现有什么不合理的，需要改进的地方，联系328452421@qq.com 朱晓。相互交流谢谢顺便问下有家是新泰的没，搞软件开发地

110,533

社区成员

642,574

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章