中国银行外汇牌价抓取代码不再起作用了吗？

尔东主机 2008-12-18 03:22:15
我的代码是ASP.NET的，于2008年12月13日突然失效，不知为什么。
抓取到的html代码只有<head>部分。请高手指点！
代码如下：
string html = "";

try
{
DataSet1.WaiHuiDataTable whDT = new DataSet1.WaiHuiDataTable();
string url = "http://www.boc.cn/cn/common/whpj.html";
html = new MyResponse(url).Html;
string pattern = "<td width=\"86\" align=\"center\" valign=\"middle\" bgcolor=\"#FFFFFF\" class=\'nav\'>(.*?)</td>";
MatchCollection matches = Regex.Matches(html, pattern, RegexOptions.IgnoreCase);
string strResult;
i=matches.Count;
strResult = matches[18].Result("$1");
whDT.AddWaiHuiRow("美元", decimal.Parse(strResult) / 100, DateTime.Now);
strResult = matches[90].Result("$1");
whDT.AddWaiHuiRow("欧元", decimal.Parse(strResult) / 100, DateTime.Now);
return whDT;
}
catch (Exception ex)
{
return null;
}

问题补充：MyResponse.cs代码：
Public class MyResponse
{
...
public MyResponse(string url)
{
GetHtmlCode(url);
}

private void GetHtmlCode(string url)
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
DateTime begin = DateTime.Now;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();

result = response.StatusDescription;
lastModified = response.LastModified;
characterSet = response.CharacterSet;
size = response.ContentLength;

Stream stream = response.GetResponseStream();
DateTime end = DateTime.Now;
cost = end - begin;
StreamReader streamReader = new StreamReader(stream, Encoding.Default);
html = streamReader.ReadToEnd();
stream.Close();
streamReader.Close();
}
...
}
...全文
717 26 打赏 收藏 转发到动态 举报
写回复
用AI写文章
26 条回复
切换为时间正序
请发表友善的回复…
发表回复
-过客- 2008-12-23
  • 打赏
  • 举报
 回复
换网址了，用这个网址
http://www.boc.cn/sourcedb/whpj/
而且编码不能用 Encoding.Default，要与网站的一致，用Encoding.UTF8


private string GetHtmlCode(string url, Encoding encoding)

{

    System.Net.HttpWebRequest request = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);

    request.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1) Web-Sniffer/1.0.24";

    System.Net.WebResponse response = request.GetResponse();

    System.IO.Stream resStream = response.GetResponseStream();

    System.IO.StreamReader sr = new System.IO.StreamReader(resStream, encoding);

    string html = (sr.ReadToEnd());

    resStream.Close();

    sr.Close();

    return html;

}

//调用

string html = GetHtmlCode("http://www.boc.cn/sourcedb/whpj/", Encoding.UTF8);
尔东主机 2008-12-22
  • 打赏
  • 举报
 回复
应该是这样吧？但是返回如18楼所示错误。
 protected void Page_Load(object sender, EventArgs e)

        {

            string url = "http://www.boc.cn/cn/common/whpj.html";

            string encodeType = "gb2312";

            string err = "";

            string postData2 = "";

         

            Response.Write(WebClinetPost(url, postData2, encodeType,out err));

        }



        static string WebClinetPost(string url, string postData, string encodeType, out string err)

        {

            string uriString = url;

            byte[] byteArray;

            byte[] responseArray;            

            Encoding encoding = Encoding.GetEncoding(encodeType);

            try

            {

                WebClient myWebClient = new WebClient();

                WebHeaderCollection myWebHeaderCollection;

                myWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");                

                myWebHeaderCollection = myWebClient.Headers;

                    

                byteArray = encoding.GetBytes(postData);

                responseArray = myWebClient.UploadData(uriString, "POST", byteArray);

                err = string.Empty;

                return encoding.GetString(responseArray);

            }

            catch (Exception ex)

            {

                err = ex.Message;

                return err;

            }

        }

尔东主机 2008-12-22
  • 打赏
  • 举报
 回复
12楼中的postData2到底要怎么定义啊？
real_name 2008-12-22
  • 打赏
  • 举报
 回复
帮忙顶个~~~~
qshArcc 2008-12-20
  • 打赏
  • 举报
 回复
[Quote=引用 12 楼 ccb8888 的回复:]
[/Quote]
protected void Page_Load(object sender, EventArgs e)

        {

            string url = "http://www.boc.cn/cn/common/whpj.html";

            string encodeType = "gb2312";

            string err = "";

         

            Response.Write(WebClinetPost(url, postData2, encodeType, out err));

        }

static string WebClinetPost(string url, string postData, string encodeType, out string err)

        {

            string uriString = url;

            byte[] byteArray;

            byte[] responseArray;            

            Encoding encoding = Encoding.GetEncoding(encodeType);

            try

            {

                WebClient myWebClient = new WebClient();

                WebHeaderCollection myWebHeaderCollection;

                myWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");                

                myWebHeaderCollection = myWebClient.Headers;

                    

                byteArray = encoding.GetBytes(postData);

                responseArray = myWebClient.UploadData(uriString, "POST", byteArray);

                err = string.Empty;

                return encoding.GetString(responseArray);

            }

            catch (Exception ex)

            {

                err = ex.Message;

                return err;

            }

        }
尔东主机 2008-12-20
  • 打赏
  • 举报
 回复
但就是不行啊，请看18楼！
mark620 2008-12-20
  • 打赏
  • 举报
 回复
[Quote=引用 12 楼 ccb8888 的回复:]
C# code
protected void Page_Load(object sender, EventArgs e)
{
string url = "http://www.boc.cn/cn/common/whpj.html";
string encodeType = "gb2312";
string err = "";

Response.Write(WebClinetPost(url, postData2, encodeType, out err));
}
static string WebClinetPost(string url, string postData, string encodeType, out s…
[/Quote]

正解。
ximi82878 2008-12-20
  • 打赏
  • 举报
 回复
都是高手，帮忙顶个~~~~
尔东主机 2008-12-19
  • 打赏
  • 举报
 回复
编码已经改为
StreamReader streamReader = new StreamReader(stream, Encoding.UTF8);
还是不管用！
尔东主机 2008-12-19
  • 打赏
  • 举报
 回复
网址没错啊！还是 http://www.boc.cn/cn/common/whpj.html

正则表达式没错，只是采集到的HTML代码只有<HEAD>部分，没有<body>部分，看来中行做了防采集处理了。
尔东主机 2008-12-19
  • 打赏
  • 举报
 回复
我跟踪输出了采集到的html的值，如下：
<html>
<head>
<meta HTTP-EQUIV="Pragma" CONTENT="no-cache">
<meta http-equiv="refresh" content="0;url=/sourcedb/whpj/">
</head>
</html>

错误信息：
DataSet1.WaiHuiDataTable whDT = GetWaiHui();
whDT.WriteXml(System.AppDomain.CurrentDomain.BaseDirectory + "WaiHui.xml");
出现错误：未将对象引用设置到对象的实例。

strResult = matches[18].Result("$1");
出现错误：指定的参数已超出有效值的范围。
参数名: i - 0(我跟踪的i=matches.Count;)

尔东主机 2008-12-19
  • 打赏
  • 举报
 回复
12楼的代码可以运行了，
但是得到的结果是：


15楼的xocom：代码分享一下怎么样？帮人帮到底嘛！
gui0605 2008-12-19
  • 打赏
  • 举报
 回复
LS已经说改版了......
HDNGO 2008-12-19
  • 打赏
  • 举报
 回复
就怕改版~
尔东主机 2008-12-19
  • 打赏
  • 举报
 回复
12楼的postData2要怎么定义啊？
尔东主机 2008-12-19
  • 打赏
  • 举报
 回复
十分感谢，但是12楼的代码无法运行噢！
紫气东来_999 2008-12-19
  • 打赏
  • 举报
 回复
银行网页改版了，前几天我们也改了对应代码
ccb8888 2008-12-19
  • 打赏
  • 举报
 回复 


protected void Page_Load(object sender, EventArgs e)

        {

            string url = "http://www.boc.cn/cn/common/whpj.html";

            string encodeType = "gb2312";

            string err = "";

         

            Response.Write(WebClinetPost(url, postData2, encodeType, out err));

        }

static string WebClinetPost(string url, string postData, string encodeType, out string err)

        {

            string uriString = url;

            byte[] byteArray;

            byte[] responseArray;            

            Encoding encoding = Encoding.GetEncoding(encodeType);

            try

            {

                WebClient myWebClient = new WebClient();

                WebHeaderCollection myWebHeaderCollection;

                myWebClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded");                

                myWebHeaderCollection = myWebClient.Headers;

                    

                byteArray = encoding.GetBytes(postData);

                responseArray = myWebClient.UploadData(uriString, "POST", byteArray);

                err = string.Empty;

                return encoding.GetString(responseArray);

            }

            catch (Exception ex)

            {

                err = ex.Message;

                return err;

            }

        }


这个抓取方法没问题，一会再发个更简洁的。。
GTX280 2008-12-18
  • 打赏
  • 举报
 回复
up
zhu4139365 2008-12-18
  • 打赏
  • 举报
 回复
[Quote=引用 4 楼 tianhuo_soft 的回复:]
外汇 换网址了
[/Quote]
加载更多回复（6）
抓取中国银行汇率信息.txt
抓取中国银行汇率信息
优化C# WinForm从中国银行网站抓取汇率表
从中国银行网站抓取外汇牌价 根据lindy1986的程序做的优化。
财务+python+中国银行汇率爬虫下载
每当月初月末，财务小伙伴就会需要采集本月的汇率。这项工作虽然看似简单，但实际上却是一项繁琐且耗时的任务。为了提高工作效率，减少人为错误，我最近开发了一个针对中国银行汇率查询的自动化采集工具，并将其整合到了一个能够生成Excel文件的程序中。今天，我很高兴能够将这个代码贡献给大家，希望能够帮助更多的财务人员提高工作效率。 它具有友好的用户界面，使用者只需要简单地输入所需的日期范围，这个程序的主要功能是自动从中国银行的官方网站获取最新的汇率数据，然后将这些数据整理成一个易于阅读和使用的Excel表格。它不仅可以节省大量的手动输入时间，还能确保数据的准确性和及时性。使用这个工具，财务人员可以轻松地获取他们所需的所有货币汇率信息，包括美元、欧元、日元等主要货币对人民币的汇率。 在技术实现方面，这个程序主要使用了Python语言，并结合了网络爬虫技术和数据处理库。为了确保数据的可靠性，程序还包含了错误处理和数据验证的机制 网站地址：https://srh.bankofchina.com/search/whpj/search_cn.jsp。
C# WinForm从中国银行网站抓取汇率表-GetWebContent
直接从中国银行网站读取汇率。 货币名称 现汇买入价 现钞买入价 现汇卖出价 现钞卖出价 人民币汇率中间价 中行折算价 发布日期 发布时间 英镑 994.04 963.35 1002.02 1002.02 993.43 993.43 2011-12-02 09:42:14 港币 81.74 81.08 82.05 82.05 81.48 81.48 2011-12-02 09:42:14 美元 635.1 630.01 637.65 637.65 633.1 633.1 2011-12-02 09:42:14 瑞士法郎 691.83 670.47 697.38 697.38 695.03 2011-12-02 09:42:14 新加坡元 493.95 478.7 497.91 497.91 496.07 2011-12-02 09:42:14 瑞典克朗 93.64 90.74 94.39 94.39 94.05 2011-12-02 09:42:14 丹麦克朗 114.86 111.31 115.78 115.78 115.36 2011-12-02 09:42:14 挪威克朗 109.24 105.87 110.12 110.12 109.71 2011-12-02 09:42:14 英镑 989.39 958.84 997.33 997.33 993.43 993.43 2011-12-02 09:42:09 日元 8.1412 7.8898 8.2066 8.2066 8.1428 8.1428 2011-12-02 09:42:14 港币 81.35 80.7 81.66 81.66 81.48 81.48 2011-12-02 09:42:09 加拿大元 624.86 605.57 629.88 629.88 624.45 624.45 2011-12-02 09:42:14 美元 632.11 627.04 634.64 634.64 633.1 633.1 2011-12-02 09:42:09 澳大利亚元 647.87 627.87 653.07 653.07 648.23 648.23 2011-12-02 09:42:14 瑞士法郎 688.56 667.31 694.1 694.1 695.03 2011-12-02 09:42:09 欧元 853.84 827.48 860.7 860.7 853.64 853.64 2011-12-02 09:42:14 新加坡元 491.64 476.46 495.59 495.59 496.07 2011-12-02 09:42:09 澳门元 79.19 78.53 79.49 79.49 79.31 2011-12-02 09:42:14
C# WinForm从中国银行网站抓取汇率表
原创C#写的小程序 从中国银行网站抓取汇率表
C#

111,131

社区成员

642,542

社区内容

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Creator Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章