C#
如何抓取HTML页面数据
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区下面这是抓取HTMl内容的代码：
public string getinfo(string url)
{
string rl;
WebRequest myReq = WebRequest.Create(url);
WebResponse myRes = myReq.GetResponse();
Stream resStream = myRes.GetResponseStream();
//这里的编码根据自己的需要可以改改
StreamReader sr = new StreamReader(resStream, System.Text.Encoding.UTF8);
StringBuilder sb = new StringBuilder();
while ((rl = sr.ReadLine()) != null)
{
sb.Append(rl);
}
myRes.Close();
return sb.ToString();
}
相关推荐
curl配合simple_html_dom进行页面数据抓取
curl配合simple_html_dom进行页面数据抓取， 扩展是自己写的，在项目中已经实践过很好用，只需要传入简单的参数就可以，省去写大量正则的烦恼，案例是抓取百度搜索
Web抓取挑战：该Web应用程序可抓取各种网站以获取与“火星任务”相关的数据，并在单个HTML页面中显示信息
网络抓取挑战 该Web应用程序可刮擦各个网站以获取与火星任务有关的数据，并在单个HTML页面中显示该信息。
go_simple_grab_html:go抓取一个html 页面 分析内容数据 下载到本地
go_simple_grab_html go抓取一个html 页面 分析内容数据 下载到本地 go run main.php
web-scraping-challenge:一个Web应用程序，该应用程序会抓取各种网站以获取与“火星任务”相关的数据，并在单个HTML页面中显示信息
火星任务 一个Web应用程序，可在各个网站上抓取与“火星任务”相关的数据，并在单个HTML页面中显示该信息。
web-scraping-challenge:Web应用程序，它从各个网站抓取与火星任务有关的数据，并在单个HTML页面中显示信息
网络抓取挑战-火星任务 Web应用程序，它从各个网站抓取与火星任务有关的数据，并在单个HTML页面中显示该信息。 客体： 使用Jupyter Notebook，Splinter，BeautifulSoup和Pandas删除一些与NASA火星任务有关的网站。 使用MongoDB和Flask创建一个新HTML页面，以显示抓取的信息。 第1步-刮 并收集最新的新闻标题和描述。 并找到当前的特色火星图像。 最新的Mar天气推文。 并使用熊猫刮擦包含有关该星球的事实的桌子。 并获得Mar各个半球的高分辨率图像。 第2步-MongoDB和Flask应用程序 创建一个查询Mongo数据库的Flask应用程序。 创建一个HTML页面以显示Mongo数据库中的已抓取数据。
