关于WebRequest 循环请求的超时问题求解！

[狼烟辉]

代码如下：

                List<T> list = Repository.GetAll();//1K条数据
                WebRequest req;
                WebResponse response;
                Stream ReceiveStream;
                StreamReader readerOfStream;
                System.Net.ServicePointManager.DefaultConnectionLimit = 100;
                list .ForEach(data =>
                {
                    req = WebRequest.Create("http:*****/id=" + data.id);
                    req.Timeout = 100000;
                    response = req.GetResponse();
                    
                    using (ReceiveStream = response.GetResponseStream())
                    {
                        using (readerOfStream = new StreamReader(ReceiveStream))
                        {
                            string strjson = readerOfStream.ReadToEnd();
                            if (!string.IsNullOrEmpty(strjson))
                            {
                                data.pid= strjson.Substring(3, 7);
                            }
                        }
                    }
                    response.Close();
                });

如上，我获取的是某网站的json数据，大概有1000个网址，循环的匹配获取。
数据量在200左右很快，如果超过1K，则页面查询时出现一直加载的现象，怎么样处理能够解决或者缓解这样的情况，多线程？

[狼烟辉]

引用 3 楼 liuchaolin 的回复:

ajax调取

我的需求是，先从数据库获取对象，然后根据此对象中的ID,来组合http，最后获取链接下的json信息再界面上展示，我对ajax不太熟，刚接触不久，能否详细点。

[马老虎]

线程+代理 抓取

[wayu002]

貌似你这个是同一个网站下不同的资源吧，循环1000次访问肯定会卡，增加了人家后台服务器的压力，没把你的ip封掉就不错了，加个sleep试试？

[狼烟辉]

引用

貌似你这个是同一个网站下不同的资源吧，循环1000次访问肯定会卡，增加了人家后台服务器的压力，没把你的ip封掉就不错了，加个sleep试试？

的确是这样的，按照这个说法，如果我开10个线程，每个负责100条，这个应该会快很多。

[md5e]

ajax调取

[马老虎]

引用 7 楼 wolf_y 的回复:

[quote=引用 5 楼 mmm306306 的回复:] 线程+代理 抓取

问下，1000条数据，开10个线程，一个线程处理100条数据，这样大约需要1分多钟。[/quote] 数据量这么小 可以不使用多线程。加上代理就行了

[狼烟辉]

引用 1 楼 wayu002 的回复:

貌似你这个是同一个网站下不同的资源吧，循环1000次访问肯定会卡，增加了人家后台服务器的压力，没把你的ip封掉就不错了，加个sleep试试？

sleep一下确实可以，不过每次循环sleep（20），查询出来大约要2分钟，对于网络条件比较差的环境，估计要的时间更加长。

[狼烟辉]

引用 5 楼 mmm306306 的回复:

线程+代理 抓取

问下，1000条数据，开10个线程，一个线程处理100条数据，这样大约需要1分多钟。

[wayu002]

不太清楚你想达到什么效果？

[狼烟辉]

引用 8 楼 wayu002 的回复:

不太清楚你想达到什么效果？

因为是查询的时候抓取网上商城的商品信息，要抓取的链接大约有1000多个，如果一次循环抓取会导致假死。 功能就是循环1000次访问网站，获取json信息，填充grid。 通过sleep可以解决这个问题，2分钟查询抓取完成，我就是想看有没有更好的方法。

[lyx266]

慢是肯定的 你依次访问1000次网站 1次需要0.1秒 也要100秒 只能用多线程来处理了

[飞花猪肉]

后台线程处理信息收集，前台做个良好的用户体验界面