微信扫一扫5.9w+
社区成员
使用.NET是否可读取远程网页的内容到变量中？
我想做一个信息收集系统，如想把SINA末一新闻自动收集到我的数据库中（当然需要经过特殊处理），不知道如何将一页网页内容放到变量中。
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
171717 2004-05-06
ASP.NET如何跨站抓取页面
在这里用到了好几个类：WebRequestFactory、HttpWebRequest、HTTPWEBRESPONSE 和 STREAMREADER。前三个用来建立一个HTTP连接，然后通过此连接建立一个STREAMREADER对象，最后将得到的数据赋值给一个字符变量，在页面上显示。
Loogoo.com.aspx
<%@ Assembly Name="System.Net" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<script language="VB" runat="server">
Sub Page_Load(Src As Object, E As EventArgs)
Dim HttpWResp as HTTPWebresponse
Dim sr As StreamReader
dim STRtemp as string
text1.text = ""
HttpWReq = WebRequestFactory.Create("http://www.Loogoo.com")
HttpWReq.KeepAlive = false
HttpWResp = HttpWReq.GetResponse()
sr = new StreamReader(HttpWResp.GetResponseStream(), Encoding.ASCII)
Try
line=sr.ReadLine()
do while line <> null
line = sr.ReadLine()
lineENC = server.HTMLencode(line) & vbcrlf & "
"
text1.text = text1.text & lineENC
loop
Catch ex As Exception
text1.text = "发生错误: " & ex.Message
End Try
End Sub
</script>
<html><head>
<title>乐购跨站抓取</title>
</head>
<body bgcolor="#FFFFFF">
<h3><font face="Verdana">抓来得数据</font></h3>
<asp:TextBox id="text1" Width="600px" Textmode="multiline" rows="40"
runat="server"/>
</body></html>
在这里用到了好几个类：WebRequestFactory、HttpWebRequest、HTTPWEBRESPONSE 和 STREAMREADER。前三个用来建立一个HTTP连接，然后通过此连接建立一个STREAMREADER对象，最后将得到的数据赋值给一个字符变量，在页面上显示。
Loogoo.com.aspx
<%@ Assembly Name="System.Net" %>
<%@ Import Namespace="System.Net" %>
<%@ Import Namespace="System.IO" %>
<script language="VB" runat="server">
Sub Page_Load(Src As Object, E As EventArgs)
Dim HttpWResp as HTTPWebresponse
Dim sr As StreamReader
dim STRtemp as string
text1.text = ""
HttpWReq = WebRequestFactory.Create("http://www.Loogoo.com")
HttpWReq.KeepAlive = false
HttpWResp = HttpWReq.GetResponse()
sr = new StreamReader(HttpWResp.GetResponseStream(), Encoding.ASCII)
Try
line=sr.ReadLine()
do while line <> null
line = sr.ReadLine()
lineENC = server.HTMLencode(line) & vbcrlf & "
"
text1.text = text1.text & lineENC
loop
Catch ex As Exception
text1.text = "发生错误: " & ex.Message
End Try
End Sub
</script>
<html><head>
<title>乐购跨站抓取</title>
</head>
<body bgcolor="#FFFFFF">
<h3><font face="Verdana">抓来得数据</font></h3>
<asp:TextBox id="text1" Width="600px" Textmode="multiline" rows="40"
runat="server"/>
</body></html>
- 打赏
- 举报
1979xt 2004-05-05
WebClient或WebRequest。
http://dotnet.aspx.cc/ShowDetail.aspx?id=0A6660CE-4138-41EF-B882-15DB65564709
http://dotnet.aspx.cc/ShowDetail.aspx?id=C2BCFA0A-D4E5-4791-87F3-C0B2AA2B7B5B
http://dotnet.aspx.cc/ShowDetail.aspx?id=0A6660CE-4138-41EF-B882-15DB65564709
http://dotnet.aspx.cc/ShowDetail.aspx?id=C2BCFA0A-D4E5-4791-87F3-C0B2AA2B7B5B
- 打赏
- 举报
jhxiaoma 2004-05-05
是否可以给段代码？
- 打赏
- 举报
mikespook 2004-05-05
XMLHTTP组件可以~~~~
- 打赏
- 举报
matlab分时代码-Sharer.NET:Arduino＆.NET串行通信库，用于使用Sharer协议读取/写入变量和远程调用函数。适用于W 它允许桌面应用程序使用串行通信中的Sharer协议在Arduino上读取/写入变量和远程调用函数。 Sharer最初是为Ballcuber项目（）开发的，但现在是一个独立的库;）。 概述 :face_with_monocle: 如何连线 // C# var ...
matlab分时代码-Sharer:Arduino＆.NET串行通信库，用于使用Sharer协议读取/写入变量和远程调用函数。适用于Windo 它允许桌面应用程序使用串行通信中的Sharer协议在Arduino上读取/写入变量和远程调用函数。 Sharer最初是为Ballcuber项目（）开发的，但现在是一个独立的库;）。 概述 :face_with_monocle: 如何连线 // C# var ...
.Net Core自定义配置源从配置中心读取配置的方法 .Net Framework时代我们使用App.config、Web.config，到了.Net Core的时代我们使用appsettings.json，这些我们再熟悉不过了。然而到了容器化、微服务的时代，这些本地文件配置有的时候就不太合适了。当你把本地部署...
树莓派 .net core3.1 读取S7 200 Smart 数据测试 使用.net core3.1 通过树莓派网关(armv7且具备以太网通讯，zero不行，处理器是armv6的)读取西门子PLC的数据。 测试工具 树莓派，具备以太网口； 西门子PLC，我用的是S7 200 Smart； 4口交换机，一个给plc，一个...
C# 利用Ssh.Net 远程登陆Linux 以及所遇到的坑 新建控制台，添加Nuget程序包SSH.NET，以及代码： static void Main(string[] args) { var stream = new FileStream("C:\\Users\\Administrator\\Desktop\\output.txt", FileMode.Open);//打开本地文件 ...
C#中使用S7.net与西门子PLC通讯 在使用过程中一直在思考上位机和PLC的通讯问题，后来上网查了一下，找到了一个专门针对S7开发的一个.net库–《S7netPlus》，PLC通讯方法比较多，所以也是在不断地学习中，以下内容如有不足之处，望大神予以指教。...
3万字通俗易懂告诉你什么是.NET?什么是.NET Framework？什么是.NET Core? 通俗易懂，什么是.NET?什么是.NET Framework？什么是.NET Core? 什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐...
通俗易懂，什么是.NET?什么是.NET Framework？什么是.NET Core? 什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐引入一系列.NET的相关概念，这主要包括：CLS、CTS(CLI)、FCL、...
RabbitMQ在.net中的使用 在企业应用系统领域，会面对不同系统之间的通信、集成与整合，尤其当面临异构系统时，这种分布式的调用与通信变得越发重要。其次，系统中一般会有很多对实时性要求不高的但是执行起来比较较耗时的...异构系统之间使用
通俗易懂：什么是.NET?.NET Framework？.NET Core?（比较全面） 什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐引入一系列.NET的相关概念，这主要包括：CLS、CTS(CLI)、FCL、...
3万字长文概述：通俗易懂告诉你什么是.NET?什么是.NET Framework？什么是.NET Core? 文章是原作者一字一字亲手码出来的，每天下班用休息时间写一点，持续了二十来天。且对于文章上下衔接、概念引入花了很多心思，致力让很多概念在本文中显得通俗。
【转载】通俗易懂，什么是.NET?什么是.NET Framework？什么是.NET Core? 什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐引入一系列.NET的相关概念，这主要包括：CLS、CTS(CLI)、FCL、...
什么是.NET?什么是.NET Framework？什么是.NET Core? 什么是.NET？什么是.NET Framework?本文将从上往下，循序渐进的介绍一系列相关.NET的概念，先从类型系统开始讲起，我将通过跨语言操作这个例子来逐渐引入一系列.NET的相关概念，这主要包括：CLS、CTS(CLI)、FCL、...
iis mysql 外部访问,连接到远程访问数据库的权限 - ASP.NET | Microsoft Docs 从客户端连接到远程访问数据库ASP.NET12/11/2020本文内容本文介绍连接到远程访问数据库的权限。原始产品版本： ASP.NET原始 KB 编号： 307901摘要本文列出了从以下位置连接到远程 Microsoft Access 数据库所需的最低...
asp.net知识库 在ASP.NET中使用WINDOWS验证方式连接SQL SERVER数据库 改进ADO.Net数据库访问方式 ASP.NET 2.0 绑定高级技巧 简单实用的DataSet更新数据库的类+总结 [ADO.NET]由数据库触发器引发的问题 为ASP.NET封装的SQL数据库...
不可或缺的ASP.NET内置对象 在ASP.NET中微软提供了多种内置对象提供开发人员使用，在实际开发中内置对象的使用不可或缺的，在Web网站的数据交互，网页服务器交互，网页跳转，服务器数据的传输等其着举足轻重的作用。在初学ASP.NET技术中也是...
