python如何在解析HTML页面时，对里面的JS代码中的内容进行提取-CSDN论坛

python如何在解析HTML页面时，对里面的JS代码中的内容进行提取

其他开发语言 > 脚本语言(Perl/Python)

收藏回复

[问题点数：40分，结帖人dunkdeng]

⋅wxpython怎么通过拖拽方式做界面 ⋅mac下eclipse无法运行android命令 ⋅python如何在解析HTML页面时，对里面的JS代码中的内容进行提取 更多帖子 关注私信空间博客 坚强的豁着 等级 本版专家分：180 结帖率 95.83%

例如下面是网页中的JS代码，如何把代码中的URL提取出来，网页的URL是：guangzhou.wxcs.cn/nav/navCity?areaCode=440100

function LetterStorage(){

    this.letterJson = {



        "A" : [ {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://aba.wxcs.cn/&areacode=513200",name:"阿坝"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://akesu.wxcs.cn/&areacode=652900",name:"阿克苏"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://alashan.wxcs.cn/&areacode=152900",name:"阿拉善"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://aletai.wxcs.cn/&areacode=654300",name:"阿勒泰"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://ankang.wxcs.cn/&areacode=610900",name:"安康"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anqing.wxcs.cn/&areacode=340800",name:"安庆"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anshan.wxcs.cn/&areacode=210300",name:"鞍山"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anshun.wxcs.cn/&areacode=520400",name:"安顺"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anyang.wxcs.cn/&areacode=410500",name:"安阳"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://atushi.wxcs.cn/&areacode=653000",name:"阿图什"} ],"B" : [ {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baicheng.wxcs.cn/&areacode=220800",name:"白城"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baise.wxcs.cn/&areacode=451000",name:"百色"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baisha.wxcs.cn/&areacode=469025",name:"白沙"} ,

2015-03-09 15:56:31

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅此用户还没有发表过任何帖子 关注私信空间博客 zuxi 等级 本版专家分：594 勋章 黄花 2015年4月 Linux/Unix社区大版内专家分月排行榜第二: 正则匹配
.

2015-03-10 09:20:15

点赞只看TA 引用举报 #1得分 10

⋅wxpython怎么通过拖拽方式做界面 ⋅mac下eclipse无法运行android命令 ⋅python如何在解析HTML页面时，对里面的JS代码中的内容进行提取 更多帖子 关注私信空间博客 坚强的豁着 等级 本版专家分：180: 引用 1 楼 wangzuxi 的回复:
正则匹配
.

用哪个库都可以吗？

2015-03-10 11:22:31

点赞只看TA 引用举报 #2得分 0

⋅此用户还没有发表过任何帖子 关注私信空间博客 zuxi 等级 本版专家分：594 勋章 黄花 2015年4月 Linux/Unix社区大版内专家分月排行榜第二: 引用 2 楼 dunkdeng 的回复:
Quote: 引用 1 楼 wangzuxi 的回复:

正则匹配
.

用哪个库都可以吗？

正则用re库就可以啊。
获取html的话用request、urllib、urllib2这些库都行。

2015-03-10 11:48:32

点赞只看TA 引用举报 #3得分 10

⋅JS里如何像C或C++一样包含其他源文件 ⋅Don't get mad, get even!（感谢回复贴子“如果你行，请进！”的朋友）【送分贴】 ⋅如果你行，请进！ 更多帖子 关注私信空间博客 GhostFromHeaven 等级 本版专家分：149



import re

pattern = re.compile(r'link:"(http.*?)"', re.I | re.M)

js = """function LetterStorage(){

    this.letterJson = {

(

     )  "A" : [ {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://aba.wxcs.cn/&areacode=513200",name:"阿坝"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://akesu.wxcs.cn/&areacode=652900",name:"阿克苏"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://alashan.wxcs.cn/&areacode=152900",name:"阿拉善"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://aletai.wxcs.cn/&areacode=654300",name:"阿勒泰"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://ankang.wxcs.cn/&areacode=610900",name:"安康"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anqing.wxcs.cn/&areacode=340800",name:"安庆"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anshan.wxcs.cn/&areacode=210300",name:"鞍山"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anshun.wxcs.cn/&areacode=520400",name:"安顺"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anyang.wxcs.cn/&areacode=410500",name:"安阳"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://atushi.wxcs.cn/&areacode=653000",name:"阿图什"} ],"B" : [ {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baicheng.wxcs.cn/&areacode=220800",name:"白城"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baise.wxcs.cn/&areacode=451000",name:"百色"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baisha.wxcs.cn/&areacode=469025",name:"白沙"} , 

"""

urls = pattern.findall(js)

for url in urls:

    print url

http://guangzhou.wxcs.cn/nav/toCity?url=http://aba.wxcs.cn/&areacode=513200
http://guangzhou.wxcs.cn/nav/toCity?url=http://akesu.wxcs.cn/&areacode=652900
http://guangzhou.wxcs.cn/nav/toCity?url=http://alashan.wxcs.cn/&areacode=152900
http://guangzhou.wxcs.cn/nav/toCity?url=http://aletai.wxcs.cn/&areacode=654300
http://guangzhou.wxcs.cn/nav/toCity?url=http://ankang.wxcs.cn/&areacode=610900
http://guangzhou.wxcs.cn/nav/toCity?url=http://anqing.wxcs.cn/&areacode=340800
http://guangzhou.wxcs.cn/nav/toCity?url=http://anshan.wxcs.cn/&areacode=210300
http://guangzhou.wxcs.cn/nav/toCity?url=http://anshun.wxcs.cn/&areacode=520400
http://guangzhou.wxcs.cn/nav/toCity?url=http://anyang.wxcs.cn/&areacode=410500
http://guangzhou.wxcs.cn/nav/toCity?url=http://atushi.wxcs.cn/&areacode=653000
http://guangzhou.wxcs.cn/nav/toCity?url=http://baicheng.wxcs.cn/&areacode=220800
http://guangzhou.wxcs.cn/nav/toCity?url=http://baise.wxcs.cn/&areacode=451000
http://guangzhou.wxcs.cn/nav/toCity?url=http://baisha.wxcs.cn/&areacode=469025

2015-03-10 21:52:00

点赞 1 只看TA 引用举报 #4得分 10



import re

pattern = re.compile(r'url=(http.*?)"', re.I | re.M)

js = """function LetterStorage(){

    this.letterJson = {

(

     )  "A" : [ {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://aba.wxcs.cn/&areacode=513200",name:"阿坝"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://akesu.wxcs.cn/&areacode=652900",name:"阿克苏"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://alashan.wxcs.cn/&areacode=152900",name:"阿拉善"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://aletai.wxcs.cn/&areacode=654300",name:"阿勒泰"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://ankang.wxcs.cn/&areacode=610900",name:"安康"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anqing.wxcs.cn/&areacode=340800",name:"安庆"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anshan.wxcs.cn/&areacode=210300",name:"鞍山"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anshun.wxcs.cn/&areacode=520400",name:"安顺"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://anyang.wxcs.cn/&areacode=410500",name:"安阳"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://atushi.wxcs.cn/&areacode=653000",name:"阿图什"} ],"B" : [ {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baicheng.wxcs.cn/&areacode=220800",name:"白城"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baise.wxcs.cn/&areacode=451000",name:"百色"} , {link:"http://guangzhou.wxcs.cn/nav/toCity?url=http://baisha.wxcs.cn/&areacode=469025",name:"白沙"} , 

"""

urls = pattern.findall(js)

for url in urls:

    print url

http://aba.wxcs.cn/&areacode=513200
http://akesu.wxcs.cn/&areacode=652900
http://alashan.wxcs.cn/&areacode=152900
http://aletai.wxcs.cn/&areacode=654300
http://ankang.wxcs.cn/&areacode=610900
http://anqing.wxcs.cn/&areacode=340800
http://anshan.wxcs.cn/&areacode=210300
http://anshun.wxcs.cn/&areacode=520400
http://anyang.wxcs.cn/&areacode=410500
http://atushi.wxcs.cn/&areacode=653000
http://baicheng.wxcs.cn/&areacode=220800
http://baise.wxcs.cn/&areacode=451000
http://baisha.wxcs.cn/&areacode=469025

2015-03-10 21:54:14

点赞只看TA 引用举报 #5得分 10

收起

收藏回复

坚强的豁着

等级：

关注私信 TA的帖子

python 爬虫如何获取js里面的内容: 在编写爬虫软件时发现无法获取到新浪新闻评论的条数，最后发现因为它是存放在js中的，本文就讲述如何从js中获取页面需要的数据内容

20行Python代码爬取王者荣耀全英雄皮肤: 我们今天的重点是爬取王者荣耀所有英雄的所有皮肤，而且仅仅使用20行Python代码即可完成。准备工作爬取皮肤本身并不难，难点在于分析，我们首先得得到皮肤图片的url地址，话不多说，我们马上来到王者荣耀的官网： ...

python读取html指定内容_python 解析html<script>标签内变量内容: 最近在试用scrapy爬取网站数据发现部分图表是通过异步生成的，scrapy获取到的html页面内只有一个空标签。因此只能查找其原数据，还好通过翻查实例化表格的js文件就追溯到了。但是数据在原html页面内的script标签内以...

手把手教你利用爬虫爬网页（Python代码）: 本文主要分为两个部分：一部分是网络爬虫的概述，帮助大家详细了解网络爬虫；另一部分是HTTP请求的Python实现，帮助大家了解Python中实现HTTP请求的各种方式，以...

python如何解析html: 首先让我们来了解下，什么是网页解析器，简单的说就是用来解析html网页的工具，准确的说：它是一个HTML网页信息提取工具，就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。...

python获取js变量_Python和读取JavaScript变量valu: 试试这个。它使用...下面的示例将允许您通过javascript提示符将javascript全局变量消息的值更改为您想要的任何值，然后每当您单击Python打印消息链接时，它将执行Python代码，该代码将获取jav...

python获取js渲染后的源码_Phantomjs抓取渲染JS后的网页（Python代码）: 最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。Python调用Phantomjs貌似没有现成的第三方库(如果有，请告知小编)，漫步了一圈，发现只有pyspider提供了...

【Python爬虫5】提取JS动态网页数据: 对加载内容进行逆向工程 1通过开发者工具的逆向工程 2通过墨盒测试的逆向工程 21搜索条件为空时 22用号匹配时 22用号匹配时渲染动态网页 1使用WebKit渲染引擎 2使用Selenium自定义渲染现在大部分的主流...

python soup提取叶子标签_使用Python中的BeautifulSoup从HTML脚本标签中提取JSON: 您可以使用以下Python代码提取JavaScript代码.soup = BeautifulSoup(html)s=soup.find('script')js = 'window = {};\n'+s.text.strip()+';\nprocess.stdout.write(JSON.stringify(window.__INITIAL_STATE__));'with ...

150讲轻松搞定Python网络爬虫: 数据解析：将请求下来的数据进行过滤，提取我们想要的数据。数据存储：将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。那么本课程也是按照这几个步骤循序渐进的进行讲解...

完全获取python中javascript文件及其内容的所有名称: 扫描一些网站，并希望获得所有的...我一直在尝试很多方法来寻找，但我觉得在黑暗中磕磕绊绊。这是我正在尝试的代码导入请求来自bs4 进口 BeautifulSoup r =请求。得到（“http://www.marunadanmalayali.com/”） ...

python中json文件字典内容的提取: python中json文件内容的提取 import json with open('3_.json', mode='r', encoding='gbk') as f2: setting = json.load(f2) for i in setting: if setting[i]: print（setting[i]）大概的结构就是这样. ...

python解析html提取数据，并生成word文档: 今天试着用ptyhon抓取一下网页上的

Python beautiful soup解析html获得数据: 1. 用beautiful soup解析网页的HTML的信息 https://blog.csdn.net/i_chaoren/article/details/63282877 1.1 BeautifulSoup的安装及介绍官方给出的几点介绍： Beautiful Soup提供一些简单的、python式的函数用来...

python3爬虫系列11之xpath和css selector方式的内容提取介绍: python3爬虫系列04之网页解析器：re正则式，BeautifulSoup库的解释，这一篇里面讲了，网页解析器的，re正则式和对BeautifulSoup库以及的他一些解析器做了说明，但是，后面本人发现，属于长文啰嗦篇啊，估计没多人看...

Python3爬虫--页面数据寻找及解析: 四、页面数据源为js 五、页面数据源为xml 一、需求说明近期有一个项目是爬取多家银行汇率，我提取了几个相似的案例，本文主要讲解页面数据获取方法。二、页面数据源在内嵌Iframe 中银香港URL为： ...

python爬取网页中javascript动态添加的内容（一）: 这几天刚好在学Requests和BeautifulSoup结合做爬虫爬取网页内容，恰巧有个哥们在群里问select函数里应该怎么来填？我想也是我在学，不妨找他一起做做，如果能帮人那最好不过啦。好吧，进入正题本次爬取的网址是...

Python爬虫——用XPath解析网页源码: XPath是一个用路径表达式来提取XML文档中节点的工具，我们有很多像有界面的东西都是用xml语言写的，其中HTML就是xml的一种；下面举个栗子理解一下： <html> <body> <h1>title</h1> &...

python代码爬取html网页总结: 爬取网页的目的是为了通过机器来访问网页并高效地获取有效信息，然而通常网站服务器为了减少请求负担而拒绝非人类访问，所以爬取网页

python代码爬取html网页之scrapy框架: scrapy是个能够帮助用户实现专业网络爬虫的爬虫框架，不同于小编之前介绍的requests、Beautifulsoup、re这些函数功能库，可实现网站级爬虫，但对于处理js、提交表单、应对验证码等功能还有望扩展。安装 scrapy爬虫...

Python爬虫教程-00-写在前面: 鉴于好多人想学Python爬虫，缺没有简单易学的教程，我将在CSDN和大家分享Python爬虫的学习笔记，不定期更新基础要求 Python 基础知识 Python 的基础知识，大家可以去菜鸟教程进行学习菜鸟教程python基础 ...

Python解析JSON数据的基本方法: 一 JSON数据格式介绍 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 JSON建构于两种结构：json是...1 对象：对象在js中表示为”{}”括起来的内容，数据结构为{key:value, key:value…}...

python爬虫智能解析库详解: 文章很长请耐心阅读什么是爬虫爬虫是做什么的？...我们需要从页面中提取出标题、发布人、发布时间、发布内容、图片等内容。一般情况下我们需要怎么办？写规则。那么规则都有什么呢？怼正则，怼 CSS 选择器...

python爬虫动态HTML处理（Selenium + PhantomJS 快速入门）: HTML介绍、Selenium 简介、PhantomJS 简介、示例演示：百度（Selenium + PhantomJS 快速入门）........... Selenium相关操作.........

Python Get页面并执行js: import re # 字符串正则 ...from bs4 import BeautifulSoup # 提取html标签内容 import execjs # execjs库调用node底层执行js # 我们最终要执行的是js中的intervalFunc函数，这个函数用于过滤掉不含in

Python 中 xpath 语法与 lxml 库解析 HTML/XML 和 CSS Selector: From：...The lxml.etree Tutorial ：https://lxml.de/tutorial.htmlpython3 解析 xml：https://www.cnblogs.com/deadwood-2016/p/8116863.html 微软文档：XPath 语法和 XPath 函数 W3school Xpat...

[python] 常用正则表达式爬取网页信息及分析HTML标签总结: 这篇文章主要是介绍Python爬取网页信息时，经常使用的正则表达式及方法。它是一篇总结性文章，实用性比较大，主要解决自己遇到的爬虫问题，也希望对你有所帮助~ 当然如果会Selenium基于自动化测试爬虫、...

python提取网页的特定内容（正则表达式实现）: python可以很方便地抓取网页并过滤网页的内容，那么，如何从如下的网页中提取csdn文章的标题“《unix网络编程（卷1）源代码的使用方法》”。 window.quickReplyflag = true; 《unix网络编程（卷1...

python+selenium解析js的网页如何或得js变量的值: 各位大神好，我第一次接触python+selenium解析js的网页且非计算机专业，有个很小白的问题，希望各路大神能指点迷津：我在练习以下程序 from selenium import webdriver import time driver = webdriver.PhantomJS...

c语言项目开发实例: 十个c语言案例（1）贪吃蛇（2）五子棋游戏（3）电话薄管理系统（4）计算器（5）万年历（6）电子表（7）客户端和服务器通信（8）潜艇大战游戏（9）鼠标器程序（10）手机通讯录系统

相关热词 c#中post获取页面 c# 写一个文本编辑器 c# 相对路径./ c#变量查询数据库语句 c#winfrom打印 c#显示数据库信息 c# 多线程工具类 c# 判断字符串相等 c#线程池类 c#如何遍历容器