正则表达式从网页html代码里获取数据-CSDN论坛

正则表达式从网页html代码里获取数据

.NET技术 > ASP.NET

收藏回复

[问题点数：100分，结帖人gdk123]

⋅C# 如何判断一个字符串以400,800,1开头 ⋅正则表达式获取html代码里的数据 ⋅正则表达式从网页html代码里获取数据 更多帖子 关注私信空间博客 gdk123 等级 本版专家分：263 结帖率 100%: <div class="ry_box">
 <dl class="ry_boxleft">
 <a href="http://www.m1905.com/yx/film/c1f509553.html"><img src="http://image11.m1905.cn/uploadfile/2012/0406/thumb_1_98_137_20120406050041947.jpg" alt="我是中国人" title="我是中国人" /></a>
 </dl>
 <dl class="line-h24 ry_boxright">
 
 <a href="http://www.m1905.com/yx/film/c1f509553.html" title="我是中国人">我是中国人</a>
 5.8分
 
 主演：<a href="http://www.m1905.com/mdb/film/list/starring-2994182/" target="_blank" title="查看该演员参加的影片">李乾铭</a> / <a href="http://www.m1905.com/mdb/film/list/starring-1014/" target="_blank" title="查看该演员参加的影片">颜丹晨</a> / <a href="http://www.m1905.com/mdb/film/list/starring-2991308/" target="_blank" title="查看该演员参加的影片">张岩</a>
 类型：<a href="http://www.m1905.com/mdb/film/list/mtype-15/" target="_blank">剧情</a> <a href="http://www.m1905.com/mdb/film/list/mtype-30/" target="_blank">战争</a> 
 上映时间：2012-04-19
 <a href="http://www.m1905.com/yx/film/c1f509553.html">放映时间表</a>
 </dl>
 </div>

用正则表达式获取 <dl class="line-h24 ry_boxright">
里边a标签上 "http://www.m1905.com/yx/film/c1f509553.html" 以及title

请假各位大侠。。。。

2012-04-19 09:36:47

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅hey，我真的很想你。。。

⋅公交，---重上车---

⋅世界上最离谱的视觉错觉动态图，看完彻底瞎了

更多帖子

关注私信空间博客

EnForGrass

等级

本版专家分：92577

勋章

进士 2012年总版技术专家分年内排行榜第十

金牌 2012年3月总版技术专家分月排行榜第一

微软MVP 2013年7月荣获微软MVP称号

红花 2017年1月 .NET技术大版内专家分月排行榜第一
2016年11月 .NET技术大版内专家分月排行榜第一
2012年3月 .NET技术大版内专家分月排行榜第一

1.txt就是你贴的html文本



            string input = File.ReadAllText(@"C:\1.txt", Encoding.GetEncoding("gb2312"));

            Dictionary<string, string> dic = new Dictionary<string, string>();

            MatchCollection mc = Regex.Matches(input, @"(?is)<dl\s*class=""line-h24 ry_boxright"">\s*<p [^>]*>\s*<span[^>]*><a\s*href=""([^""]*)""\s*title=""([^""]*)"">.*?</a></span>.*?\s*</p>");

            foreach (Match mx in mc )

            {

                Console.WriteLine(mx.Groups[1].Value);//http://www.m1905.com/yx/film/c1f509553.html

                Console.WriteLine(mx.Groups[2].Value); //我是中国人

                dic.Add(mx.Groups[1].Value, mx.Groups[2].Value);

            }

2012-04-19 10:10:26

点赞只看TA 引用举报 #2得分 50

⋅C# 如何判断一个字符串以400,800,1开头 ⋅正则表达式获取html代码里的数据 ⋅正则表达式从网页html代码里获取数据 更多帖子 关注私信空间博客 gdk123 等级 本版专家分：263: 引用 2 楼 的回复:
1.txt就是你贴的html文本

C# code

 string input = File.ReadAllText(@"C:\1.txt", Encoding.GetEncoding("gb2312"));
 Dictionary<string, string> dic = new Dictionary<string, string>(……

贴出来的html文本是从网页上获取的即时变化的数据，不是固定的文本文件，这个需要怎么处理呢？

2012-04-19 10:47:00

点赞只看TA 引用举报 #3得分 0

⋅C# 如何判断一个字符串以400,800,1开头 ⋅正则表达式获取html代码里的数据 ⋅正则表达式从网页html代码里获取数据 更多帖子 关注私信空间博客 gdk123 等级 本版专家分：263: 引用 2 楼 的回复:
1.txt就是你贴的html文本

C# code

 string input = File.ReadAllText(@"C:\1.txt", Encoding.GetEncoding("gb2312"));
 Dictionary<string, string> dic = new Dictionary<string, string>(……

非常感谢这个正则表达式取出了我想要的数据。

问题补充：如果要获取所有的数据，即取到数据总数该怎么设置。完整代码如下：

 <div class="ry_box">
 <dl class="ry_boxleft">
 <a href="http://www.m1905.com/yx/film/c1f497330.html"><img src="http://image11.m1905.cn/uploadfile/2012/0323/thumb_1_98_137_20120323112327980.jpg" alt="关于爱情和那些魔鬼" title="关于爱情和那些魔鬼" /></a>
 </dl>
 <dl class="line-h24 ry_boxright">
 
 <a href="http://www.m1905.com/yx/film/c1f497330.html" title="关于爱情和那些魔鬼">关于爱情和那些魔鬼</a>
 6.8分
 
 主演：<a href="http://www.m1905.com/mdb/film/list/starring-2340/" target="_blank" title="查看该演员参加的影片">杨童舒</a> / <a href="http://www.m1905.com/mdb/film/list/starring-1567/" target="_blank" title="查看该演员参加的影片">莫少聪</a> / <a href="http://www.m1905.com/mdb/film/list/starring-15997/" target="_blank" title="查看该演员参加的影片">洪剑涛</a>
 类型：<a href="http://www.m1905.com/mdb/film/list/mtype-25/" target="_blank">喜剧</a> <a href="http://www.m1905.com/mdb/film/list/mtype-1/" target="_blank">爱情</a> <a href="http://www.m1905.com/mdb/film/list/mtype-15/" target="_blank">剧情</a> 
 上映时间：2012-04-01
 <a href="http://www.m1905.com/yx/film/c1f497330.html">放映时间表</a>
 </dl>
 </div>
<div class="blue14fontbold" id="new_page">
 <img height="11" width="6" src="http://www.m1905.com/m_images/images/pageleft.jpg">  总数：23  <a class="pre" href="http://www.m1905.com/yx/film/c1p0.html">上一页</a>1 <a href="http://www.m1905.com/yx/film/c1p2.html">2</a> <a href="http://www.m1905.com/yx/film/c1p3.html">3</a> <a class="next" href="http://www.m1905.com/yx/film/c1p2.html">下一页</a>  <img height="11" width="6" src="http://www.m1905.com/m_images/images/pageright.jpg">
 </div>

2012-04-19 11:00:19

点赞只看TA 引用举报 #4得分 0

⋅hey，我真的很想你。。。

⋅公交，---重上车---

⋅世界上最离谱的视觉错觉动态图，看完彻底瞎了

更多帖子

关注私信空间博客

EnForGrass

等级

本版专家分：92577

勋章

进士 2012年总版技术专家分年内排行榜第十

金牌 2012年3月总版技术专家分月排行榜第一

微软MVP 2013年7月荣获微软MVP称号

红花 2017年1月 .NET技术大版内专家分月排行榜第一
2016年11月 .NET技术大版内专家分月排行榜第一
2012年3月 .NET技术大版内专家分月排行榜第一: 引用 3 楼 的回复:
引用 2 楼 的回复:
1.txt就是你贴的html文本

C# code

string input = File.ReadAllText(@"C:\1.txt", Encoding.GetEncoding("gb2312"));
Dictionary<string, string> dic = new Dictionary<string, string>(……

……

你只要用个变量存储就行了 像这种string input存储到input中啊

2012-04-19 11:02:44

点赞只看TA 引用举报 #5得分 0

⋅C# 如何判断一个字符串以400,800,1开头 ⋅正则表达式获取html代码里的数据 ⋅正则表达式从网页html代码里获取数据 更多帖子 关注私信空间博客 gdk123 等级 本版专家分：263: 引用 4 楼的回复:
引用 2 楼的回复:
1.txt就是你贴的html文本

C# code

string input = File.ReadAllText(@"C:\1.txt", Encoding.GetEncoding("gb2312"));
Dictionary<string, string> dic = new Dictionary<string, string>(……

……

求解啊！！！

2012-04-19 11:54:43

点赞只看TA 引用举报 #6得分 0

⋅C# 如何判断一个字符串以400,800,1开头 ⋅正则表达式获取html代码里的数据 ⋅正则表达式从网页html代码里获取数据 更多帖子 关注私信空间博客 gdk123 等级 本版专家分：263: 如题：
如果只取a标签上 "http://www.m1905.com/yx/film/c1f509553.html" c1f509553以及title这个正则表达式@"(?is)<dl\s*class=""line-h24 ry_boxright"">\s*]*>\s*<span[^>]*><a\s*href=""([^""]*)""\s*title=""([^""]*)"">.*?</a>.*?\s*");
怎么修改一下。我对正则一片茫然啦！

2012-04-19 15:02:46

点赞只看TA 引用举报 #7得分 0

引用 7 楼的回复:

如题：
如果只取a标签上 "http://www.m1905.com/yx/film/c1f509553.html" c1f509553以及title这个正则表达式@"(?is)<dl\s*class=""line-h24 ry_boxright"">\s*]*>\s*<span[^>]*><a\s*href=""([^""]*)""\s*title=""([^""]*)……



            string input = File.ReadAllText(@"C:\1.txt", Encoding.GetEncoding("gb2312"));

            Dictionary<string, string> dic = new Dictionary<string, string>();

            MatchCollection mc = Regex.Matches(input, @"(?is)<dl\s*class=""line-h24 ry_boxright"">\s*<p [^>]*>\s*<span[^>]*><a\s*href="".*?/([^/]*).html""\s*title=""([^""]*)"">.*?</a></span>.*?\s*</p>");

            foreach (Match mx in mc )

            {

                Console.WriteLine(mx.Groups[1].Value);//c1f509553

                Console.WriteLine(mx.Groups[2].Value);//我是中国人

                dic.Add(mx.Groups[1].Value, mx.Groups[2].Value);

            }

2012-04-19 15:24:12

点赞只看TA 引用举报 #8得分 50

⋅C# 如何判断一个字符串以400,800,1开头 ⋅正则表达式获取html代码里的数据 ⋅正则表达式从网页html代码里获取数据 更多帖子 关注私信空间博客 gdk123 等级 本版专家分：263: <div class="blue14fontbold" id="new_page"><img height="11" width="6" src="http://www.m1905.com/m_images/images/pageleft.jpg">  总数：

23  <a class="pre" href="http://www.m1905.com/yx/film/c1p0.html">上一页</a>1 <a href="http://www.m1905.com/yx/film/c1p2.html">2</a>

<a href="http://www.m1905.com/yx/film/c1p3.html">3</a> <a class="next" href="http://www.m1905.com/yx/film/c1p2.html">下一页</a>  <img height="11" width="6"

src="http://www.m1905.com/m_images/images/pageright.jpg">
</div>

在以上取到“c1f509553”以及“我是中国人”之后在从这个div里获取a标签里href上的内容，即：http://www.m1905.com/yx/film/c1p3.html的正则怎么写，他们可以合并么？

2012-04-19 15:50:38

点赞只看TA 引用举报 #9得分 0

收起

收藏回复

gdk123

等级：

关注私信 TA的帖子

java根据 正则表达式解析html网页内容: 仅供参考： import java.io.DataInputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.net.MalformedURLException;...import java.util.Ar

[python] 常用正则表达式爬取网页信息及分析HTML标签总结: 这篇文章主要是介绍Python爬取网页信息时，经常使用的正则表达式及方法。它是一篇总结性文章，实用性比较大，主要解决自己遇到的爬虫问题，也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬虫、...

Python正则表达式提取网页数据（代码实例）: html = """ <div id="songs-list"> <h2 class="title">流行金曲</h2> 经典歌曲列表 <ul id="list" class="list-group"> ...

用正则表达式提取网页中的信息: 用正则表达式提取51job网页中的信息 import requests import re from pandas import DataFrame # 网址 url = "https://search.51job.com/list/000000,000000,0000,32,9,99,Java%25E5%25BC%2580%25E5%258F%2591,2,...

网页爬取常用正则表达式的介绍: 0 网页爬取准备1 正则表达式基础1.1 正则表达式模式及修饰符(flags)1.1.1 正则表达式模式1.1.2 正则表达式修饰符1.2 正则表达式匹配方法1.2.1 re.match()函数【单个】1.2.2 re.search()函数【单个】1.2.3 re.findall...

使用正则表达式，从网站上获取指定数据: 不过可以从网页上获取到最新的数据，每小时更新一次。所以经理安排我做一个实时从网页上抓取数据的功能。既然是网页，那么无用的数据肯定是非常多的，所以就需要用正则表达式来过滤出自己所需要的数据。 ...

Python小白爬虫(二) _使用正则表达式获取页面中我们想要的数据（案例）: Python使用正则表达式获取想要的数据上篇文章我们说了如果通过requests get 获取到我们的页面内容，不过页面的内容太多了，我们需要找到指定的内容就一定要通过其他的模块来获取，我们这篇文章主要就是写个正则...

正则表达式在网页文件中文本识别匹配的应用: 写在前面 2021年第一篇博客。博主在编程学习过程中，如果说有哪个问题学起来感觉最费劲，那就一定是正则表达式了，其灵活的表达式还有各种限定、扩展让人无比...博主的目标是从一个网页文档中提取一堆经纬度数据，先

Java正则表达式提取特定html标签内的内容: 使用正则表达式，怎么匹配特定html标签内的内容。比如，对于如下文本串： ... ignored content prefix content <html>inner content</html> postfix content ... ignored content 我们要提取出<...

Python笔记-使用requests获取网页数据及re中用正则表达式获取指定数据: 如下代码： import re import requests class HandleLaGou(object): def __init__(self): self.laGou_session = requests.session() self.header = { 'User-Agent': 'Mozilla/5.0 (M...

Java 正则表达式，正则表达式匹配a标签下的链接，正则表达式基础: 在一次Java程序设计课程中，在课堂上了解到了正则表达式，然后自己去百度了一番，发现正则表达式应用的范围还是比较广泛的，在Python爬虫爬取数据时候，也会用上正则表达式，所以决定花点心思去学习一下正则...

爬虫笔记1 requests获取网页源代码与正则表达式处理文本: @兰博怎么玩儿 ...本文介绍：利用BeautifulSoup解析库，爬取起点中文网（https://www.qidian.com/rank/yuepiao?style=2）中“原创风云榜”榜单数据。 1、准备 python版本 3.5.0 安装第三方库：re...

使用正则表达式获取两个特定词之间的数据（Python代码）: 使用正则表达式获取两个特定词之间的数据：（Python代码）当你想取得数据前面有约束条件，后面没有约束条件（也就是每行的最后一段数据时），最好使用\n作为后面的约束条件。如下例子所示： >>>pattern =...

VBA-正则表达式来获取网上数据: 2.不难看出，我们只需要通过观察网页源代码，然后进行整合提取关键信息，在用正则表达式来截取想要的信息就可以对应的获取相应的信息，具体的代码及解释如下 Option Explicit '获取猫眼电影榜单信息 Sub getdy() ...

python+正则表达式爬取京东商品数据信息: python原生爬虫我和我的小伙伴们大概从零基础到爬出来，并存入Excel里大概花了一个星期的时间。中途中也遇到了各种各样的问题，但是问题始终是用来解决的。把问题分为一个一个的去解决会好很多。那我们下面就开始吧...

js正则表达式获取后缀名_js获得文件扩展名的两种方法: 在Web应用中，我们使用tag保存用户输入，主要tag包含textbox、textarea和input file等等，然而输入数据的用户可以上传任何文件格式，所以我们需要在客户端和服务器端验证它。我们作为开发人员知道应该在相应的网页...

PHP 正则表达式抓取网页内容。: 首先我要非常熟悉正则表达式，关于正则表达式的学习，我会写一篇博客一直学习的。直接举例子：这是一个爱奇艺生活视频的界面的网址 $url="http://www.iqiyi.com/v_19rrb1wlpw.html"; php的file_get_...

Python爬虫之正则表达式——股票数据定向爬虫: 4、网页选取原则：股票信息静态存在于HTML页面中，非js代码生成，没有Robots协议限制 5、选取方法：浏览器F12，源代码查看等 6、步骤： ①从东方财富网获取股票列表 ②根据股票列表组个到百度股票获取个股信息 ③将...

正则表达式获取图片地址及超链接: 最近有这么个需求，要获取图片中的图片地址及超链接地址，有的图片有超链接，有的图片没有，如： <div id="main"> <ul> <li> <a href=...

Python爬虫学习（一）使用Requests和正则表达式爬取简单网页: 使用Requests库和正则表达式爬取猫眼电影TOP100中的电影信息，包括电影名称、主演、上映时间、评分、图片等信息。然后将获取的信息保存到文本文件。 2.网页分析要爬取的网页为猫眼电影TOP100...

C#使用正则表达式提取网页中的信息数据: 大家好，今天来分享一下在ASP.NET中如何通过正则表达式的使用来获取HTML的信息。如我们所知，网页中经常会包含一些非常有用的信息，比如网页标题（title），文本（text），图片（image），链接（link），表格...

【python学习笔记】用正则表达式从含中文的网页中提取数据（含编码转换）: 目标：用正则表达式从含中文的网页中提取数据 1、获得网页全部数据 1.1思考过程确定我们要操作的网页：url = 'http://q.stock.sohu.com/cn/603077/cwzb.shtml' 打开要操作的网页：req = urllib2.open(url) 读取网页...

[python爬虫] 正则表达式使用技巧及爬取个人博客实例: 这篇博客是自己《数据挖掘与分析》课程讲到正则表达式爬虫的相关内容，主要简单介绍Python正则表达式爬虫，同时讲述常见的正则表达式分析方法，最后通过实例爬取作者的个人博客网站。希望这篇基础文章对您有所帮助，...

正则表达式——抓取网页中的http及网络图片: **正则表达式——抓取网页中的http及网络图片** 最近网上有些朋友问我怎么用JAVA抓起网页中的image地址，我现在就给大家写一个实例，希望大家能通过这个实例学习到一点东西需要抓取网页中http链接地址首先还需准备...

python爬取图片(正则表达式): 代码如下 import requests import re import urllib3 import urllib.request def getHtml(url): try: r=requests.get(url) r.raise_for_status() r.encoding='utf-8' print(r.text) return r.text except:

Python正则表达式，这一篇就够了！: 之前我们讲解了 正则表达式 的起源、发展、流派、语法、引擎、优化等相关知识，今天我们主要来学习一下 正则表达式在 Python语言中的应用！大多数编程语言的正则表达式设计都师从Perl，所以语法基本相似，不同的是...

Python爬虫之使用正则表达式抓取数据: 目录匹配标签匹配title标签 ...相关文章：Linux中的正则表达式 Python中的正则表达式 实例：匹配标签匹配title标签匹配网页的 <title></title>标签，也就是网页的标题。 .*？就...

python爬虫：使用 BeautifulSoup+正则表达式 提取数据: 要获取的数据属于 script 标签中的内容，而且是部分内容，所以这里我们需要先获取指定的script标签中的内容，然后再从其中提取出我们需要的那部分数据，所以在这里我们使用 BeautifulSoup模块和 正则表达式 ...

xshell & xftp.zip: xshell6 和 xftp6个人版，直接安装即可使用。

Spring Boot实战入门篇视频课程: 通过大量的实战编码进行讲解，课程以Hello world为切入点。第一章：对spring boot的特性、优缺点、场景进行详细讲解。第二章：springboot核心功能第三章：热部署的几种模式第四章：Web开发的各种技术第五章：数据访问层：spring data jpa、jdbctemplate、mybatis、redis 第六章：异常相关的处理课程以实战为主，理论为辅相结合，学习完成后能实际参与spring boot的项目开发为目的。

相关热词 c# 系统托盘图标 c#结构体定义 c# 根据网络定位 c# 清除html标签 c# uwp最小化 c#和java的区别 64位转换 c# 十进制 c# 点击保存草稿的实现 c# 如何切换图片 c# 界面隐藏部分