自动抓取别的彩票网站的数据并存入数据库

[i08kingdom]

我自己想做一个自动分析彩票数据的彩票软件，但是只会设计简单的网页，故向各位大侠请教一下，希望各位高手不吝赐教并希望越详细越好：
现在主要难题是我需要我的网站自动获取别的彩票网站的数据并自动更新到数据库，我不知道怎么来实现，望各位大侠详细指点。
我是这样想的：在page_load事件中来实现，这样打开网页就能实现把数据存入到数据库，但是不知道后台代码怎么写？

[thewitcher~]

"自动获取别的彩票网站的数据"
别的网站的彩票数据？？那个网站是你自己写的？
不是的话我想除了黑客攻击别人的网站得到后台数据库外，没有办法了。。

[huxiaowei09]

网页抓取，1：获取对方网站源码，2：匹配所需数据，3：入库

[星小野]

在page_load事件中来实现???!!!!
不是吧？先不说安全性，你想你的网页打开时要几分钟么？？？（有点夸张）

我觉得要很重视用户体验这方法的事情，比如，我买的是A股票，那我登陆以后只需要90%信息是关于A股的，当然还有更多的需求，比如某一股不同时期的比较，同时期之间的比较等等

[神棍]

应该有彩票的web服务接口,买一个就是了.

[lxh0129]

不对，最好不放在web画面的load事件处理，如果你的网站是为了显示彩票数据和一些指标或算法等信息，那么获取和分析彩票数据部分，应该作为一种“引擎”来处理，像福彩双色球玩法是周二、四、日三天开奖，那么你可以设定引擎在一、三、五自动启动去抓数据，或者干脆每个小时抓一次来的简单。

抓到数据后（一般数据来源于别人的网站，如：官网），先清洗出来数据个体，比如去掉html tag，然后过滤筛选出你要的数据，最后在做些数据的修正处理，比如去掉个位数的前导0,等等。

总之，这是个思路，很容易实现，希望对你有帮助！

[xuStanly]

没那么容易了,一般官方网站上提供的数据都是图片的,还加了水印,非官方的网站上的数据又不会那么可靠.
如果楼主有比较放心的使用纯html提供数据的网站,按5楼的办法就可以了.

[myhope88]

没这么容易呀，除非你有人家提供的数据接口

[kiss筱魔]

这个想法太好了！

[huayy]

看2楼！
程序相对还是很复杂的！呵呵！

[hwyqy]

不是很容易
除非模拟用户输入，然后抓取返回的网页分析

[以专业开发人员为伍]

例如这个网址http://www.bwlc.gov.cn/bulletin/search.jsp?id=1，其内容

                <table width="650" cellpadding="2" cellspacing="1" class="tableBack">
                    <tr class="titleBack">
                        <td>期号</td>
                        <td>红球</td>
                        <td>蓝球</td>
                        <td>开奖时间</td>
                        <td>开奖公告</td>
                    </tr>
                
                    <tr class="dataBack1">
                        <td><a href="index.jsp?id=1&infoId=6413">2011116</a></td>
                        <td style="color:#F00;">01 07 11 12 17 27</td>
                        <td style="color:#00F;">05</td>
                        <td>2011-10-04</td>
                        <td><a href="index.jsp?id=1&infoId=6413">开奖公告</a></td>
                    </tr>
                
                    <tr class="dataBack2">
                        <td><a href="index.jsp?id=1&infoId=6408">2011115</a></td>
                        <td style="color:#F00;">07 08 09 12 17 33</td>
                        <td style="color:#00F;">16</td>
                        <td>2011-10-02</td>
                        <td><a href="index.jsp?id=1&infoId=6408">开奖公告</a></td>
                    </tr>
                
                    <tr class="dataBack1">
                        <td><a href="index.jsp?id=1&infoId=6402">2011114</a></td>
                        <td style="color:#F00;">01 14 15 16 30 32</td>
                        <td style="color:#00F;">09</td>
                        <td>2011-09-29</td>
                        <td><a href="index.jsp?id=1&infoId=6402">开奖公告</a></td>
                    </tr>
......

至于说你要抄什么源代码，我觉得还是你自己思考一下最好。

[以专业开发人员为伍]

说实在的交流编程语句实在是太“低档”了。如果你可以提出一点关于你的所谓“自动分析”的机制，或许你就可以免费获得实现代码，把一个空想程度很高的事情变成一个很简单的只要忽悠一下就有IT民工给你编程的事情。

[i08kingdom]

其实3楼的思路也是我想要的思路
但是获取别的网站的源代码的代码是什么呀？
另外怎么去筛选数据呀？我查看了一下网页源代码？筛选起来太难了
不知那位高手能指点一下

[qq_17020279]

如何做成 QDA文件数据呢？