用HttpWebRequest采集数据，如何创建3、4个或N个线程 ，并同步把成功采集的返回数据更新到唯一的一张数据表？？

[m9644]

               Stream stream = null;
               HttpWebResponse response = null;
               HttpWebRequest request = null;
   
    
                
                request = WebRequest.Create(string.Format("http://xx.New") as HttpWebRequest;              
                string strPostData = "name=游客&SEX=0";
                byte[] wrBuffer = Encoding.GetEncoding("gb2312").GetBytes(string.Format(strPostData));

                request.Method = "POST";
                request.ContentType = "application/x-www-form-urlencoded";
                request.ContentLength = wrBuffer.Length;
               // request.Referer = string.Format("http://xx.cn/");
                request.UserAgent = "MSIE 6.0";
                request.Timeout = 8000;
                

               

                ////设置一个代理 
                  //System.Net.WebProxy myproxy = new System.Net.WebProxy("218.63.252.219", 80);
                //request.Proxy = myproxy;
               
                stream = request.GetRequestStream();
                stream.Write(wrBuffer, 0, wrBuffer.Length);
                stream.Close();

                response = request.GetResponse() as HttpWebResponse;
                stream = response.GetResponseStream();
                StreamReader sr = null;
                sr = new StreamReader(stream, big5);
                sr.Close();
                stream.Close();

用HttpWebRequest采集数据，如何创建3、4个或N个线程 ，并同步把成功采集的返回数据更新到唯一的一张数据表？？

[xjw163]

顶了

[adfffvvf]

第五频道 http://www.5g5c.cn
网页游戏 http://gm.sv06.cn
第六娱乐门户 http://www.sv06.cn
超级搜索网 http://www.sosuowang.com
QQ表情 http://www.qqjiajia.cn
哈哈娱乐吧 [url=http://www.hahayx.cn[/url]
在线电影网 [url=http://www.669b.com.cn[/url]
讯雷电影网 [url=http://www.688a.com.cn[/url]
QQ连号出售
圣诞祝福网

[m9644]

如果想设置时间先后顺序,建议使用Timer来控制线程.
返回结果集的时间设置在采集之后就可以了,自己想想如果灵活的使用Timer控制就可以了。
-------------
这里提醒你一下,使用多线程做资源采集一定要注意资源的释放,否则程序运行一定时间后,

*************************************************************************

谢谢楼上兄弟的精确指点。
Timer怎么设计线程池的时间先后顺序呢?倘若采集需要创建四五或十来个采集对象呢?? 如何实现线程池里的时间先后??
本人是新手，恳切请其它熟手耐心指点一二。急，谢谢。


至于much0726 兄弟提到资源的释放 ，是否指


stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress);
StreamReader sr = null;
sr = new StreamReader(stream, big5);
while ((count = sr.Read(buffer, 0, buffer.Length)) > 0)
{

}
sr.Close();
stream.Close();

finally
{
if (response != null) response.Close();
if (request != null) request.Abort();

}

还有其它资源的释放否??

[much0726]

//使用线程池
for (int i = 0; i < ThreadCount; i++)
{                       
     ThreadPool.QueueUserWorkItem(你的方法, 带的参数);
}

private static object objlock;
..............
response = request.GetResponse() as HttpWebResponse;
stream = response.GetResponseStream();
StreamReader sr = null;
sr = new StreamReader(stream, big5);
//从数据流中获得数据
string responseFromServer = reader.ReadToEnd();
sr.Close();
stream.Close();

lock(objlock)
{
   //写入数据表的操作   
}

[much0726]

这里写法不太好,需要修改下:

Stream stream = null;
try
{
  response = request.GetResponse() as HttpWebResponse;
  stream = response.GetResponseStream();
  StreamReader sr = null;
  sr = new StreamReader(stream, big5);
  //从数据流中获得数据
  string responseFromServer = reader.ReadToEnd();
finally
{
  sr.Close();
  stream.Close();
}

[m9644]

谢谢楼上的GG。
创建多个子线程后，如何在相对应的线程号，并暂停或结束子线程的操作呢??

[m9644]

//使用线程池
for (int i = 0; i < ThreadCount; i++)
{                       
     ThreadPool.QueueUserWorkItem(你的方法, 带的参数);
}

线程池如何设计出这样的效果??
我想灵活创建三或多个采集线程，并且按不同的时间顺序分开采集，并根据成功的返回再更新数据集合。

[m9644]

[much0726]

线程池都是后台线程,
相当于
Thread t=new Thread();
t.IsBackground=true;
不需要手动停止销毁,除非你自己的方法中停止了.
如果想设置时间先后顺序,建议使用Timer来控制线程.
返回结果集的时间设置在采集之后就可以了,自己想想如果灵活的使用Timer控制就可以了。
-------------
这里提醒你一下,使用多线程做资源采集一定要注意资源的释放,否则程序运行一定时间后,占的内存会越来越大.

[much0726]

线程采集应该是一个封装的对象，对象里有一个TIMER对象，并且可以提供外部属性设置它的interval，一般是每5秒一次，判断当前的时间是否为采集点的分钟，这样就可以使多个线程在不同的时刻被唤醒，其他时候一定要记得释放CPU:sleep(0),之前我以为在1分钟内应该可以采集完数据，其实，没有考虑到采集失败后的处理，最好要考虑，采集的时间跨度，比如，设置采集点为21:45-21:50，这样只要时间在这个范围内就会持续的进行判断是否采集了，如果已经采集成功也要有个标志，避免重复采集同样的数据。在异常判断方面还要有个全局时针来扫描所有的时钟是否正常，还有很多其他的因素，网络环境太复杂了，异常判断一定要靠调试积累，线程的调试大部分还是得靠日志来判断，建议在开发前选择一个比较好的日志模块，推荐企业库日志或则是log4日志，线程的异常也不是单靠日志模块可以捕捉到的，必须在每层都写好异常捕获，这很重要。如果遇到什么问题，再讨论吧。记得不要急于实现，先把采集类的因素尽可能的穷尽，可以给后期开发带来高效率和低错误率。

[m9644]

哈，原来这样，非常感
谢much0726 和 flyjimi 二位兄弟的耐心和及时的解答，顺祝二位新年愉快。。。

[m9644]

线程里中TIMER对象么？没有发现。。惭愧。。。

怎么控制呢，大哥可否再指点一下。

[flyjimi]

private void startThread(int threadCount)
        {

            for (int i = 0; i < threadCount; i++)
            {
                Thread t = new Thread(new ThreadStart(run));
                t.Name = "Thread " + i;
                t.IsBackground = true;
                t.Start();
                Thread.Sleep(100);
            }
        }
bool canceled = false;
int interval = 10000;
private void run()
        {
            while (!canceled)
            {
                //执行你的处理方法
                Thread.Sleep(interval);
            }
        }

[D__02]

不太懂..