c# 模拟登录帐号登录网站得不到应该有的数据

2015-03-18 04:51:20 253 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

多个账户模拟登录---c#异步模拟登录网站并采集网页最近需要做一些数据分析，正好在做几个c#项目，于是直接用form程序实现模拟登录。初步分析：由于对模拟登录不是很理解，在网上查询后，热心朋友指出(http://bbs.csdn.net/topics/390352393?page=1#post-393522161) “所谓登录，就是第一次访问，服务器返回一个set-cookie指令（不保存到cookie存储中），客户端浏览器在之后的访阅读详情

c#模拟登录知乎：const string Url = @"http://www.zhihu.com/login";
处理的大概流程也知道，就是用程序模拟浏览器，发送request，然后得到response，继而得到相应的html数据进行分析。
网上看了好多，用起来感觉不是很适应，大多都是应用cookies获取，我想先不用太复杂，直接帐号密码登录获取页面就行了，最后获取的html保存为html后如下所示：

可实际上我想得到最终的html是这样的

我的代码

        public static string SendRequest()

        {

            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url);

            //CookieContainer cc = new CookieContainer();

            

            //---simulate account:

            request.Method = "POST";

            //request.ContentType = "";

            //request.CookieContainer = cc;

            string data = "_xsrf:aaaanumber&" +

            "email:my@mail.com&" +

            "password:password&" +

            "rememberme:y";

            data = HttpUtility.UrlEncode(data);

            byte[] postdata = Encoding.UTF8.GetBytes(data);

            request.Credentials = CredentialCache.DefaultCredentials;

            request.ContentLength = postdata.Length;

            request.AllowAutoRedirect = false;

            request.KeepAlive = true;



            using (Stream stream = request.GetRequestStream())

            {

                stream.Write(postdata, 0, postdata.Length);

                stream.Close();

            }



            HttpWebResponse res = (HttpWebResponse)request.GetResponse();

            //res.Cookies = cc.GetCookies(request.RequestUri);



            // return response;

            string htmlData = string.Empty;

            Stream datastream = res.GetResponseStream();

            if (datastream != null)

            {

                var reader = new StreamReader(datastream);

                htmlData = reader.ReadToEnd();

                reader.Close();

                datastream.Close();

            }

            res.Close();

            return htmlData;



        }