如何获取动态网页所显示的数据?

marklr 2012-08-31 04:54:19
例如网址 http://myeventmarket.com/offprice/companies/* ,我使用firefox 或者 ie 查看页面源代码的方式,都无法显示文本的超链接,当把鼠标移动到文本上面,就能在浏览器状态栏看到对应的超链接,我用httpWebResponse 结合 streamReader 去读取也是读取不到,请问这样形式的网页应该如何提取到所有的超链接呢?


示例网址:http://myeventmarket.com/offprice/companies/*

链接文本 “34 International ” 对应的超链接是 http://myeventmarket.com/offprice/company/132511/34-international



...全文
401 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
JS动态加载的数据可以看到吗?
marklr 2012-08-31
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 的回复:]

js动态生成的吧,用webbrowser控件试试,document加载完毕的事件里面去写,获得所有的超链接。
[/Quote]

我试过了,显示出来的东西和用IE的工具查看网页源码内容一样

string html = "";
WebClient myWebClient = new WebClient();
html = myWebClient.DownloadString(url);
marklr 2012-08-31
  • 打赏
  • 举报
回复
[Quote=引用 4 楼 的回复:]

能看到一点是你的幸运,或者你可以换浏览器。不用为了这些浏览器厂商而气坏了自己!
[/Quote]

我表达的意思可能不够清楚,我最的目的不是想看他们的网站源代码,我只是想提取里面的超链接等数据.
  • 打赏
  • 举报
回复
能看到一点是你的幸运,或者你可以换浏览器。不用为了这些浏览器厂商而气坏了自己!
  • 打赏
  • 举报
回复
开发这些浏览器的公司懒得给你提供这个功能。我表示无能为力。

如果是你自己的网站,你当然能够把握源码了。如果是别人的,别人凭什么给你看源码呢?
nada123456789 2012-08-31
  • 打赏
  • 举报
回复
js动态生成的吧,用webbrowser控件试试,document加载完毕的事件里面去写,获得所有的超链接。
marklr 2012-08-31
  • 打赏
  • 举报
回复
没有人会吗?
PowerBI系列之Power Query专题1.  获取数据 数据源种类介绍和获取Excel数据源输入数据和拷贝数据:创建辅助表解析Json/XML数据格式获取Web网页数据和URL添加动态参数连接数据的四种模式:Import、DirectQuery、Live Connection、Dual双 属于混合模式连接数据库:Sql server、 Mysql(直连但是必须先安装一个mysql插件)DirectQuery直连查询:Sql serverODBC方式获取数据表关联或多个Sql或调用存储过程获取数据SQL中动态传参和自定义函数: sql中使用参数或数据库名称使用参数连接Sharepoint和OneDrive数据源连接Dataset和Dataflow 替换本地数据源为Sharepoint数据源并保留数据处理操作 终止当前数据刷新Loading:Cancel Query数据源设置-重置数据连接凭证PBIDS连接数据源创建和使用报表模块(输入或值列表)利用报表模板和参数控制线下报表数据权限DirectQuery启用自动页面刷新和更改检测管理聚合表提高DirectQuery查询性能动态M查询参数提高DirectQuery查询性能添加数据刷新时间 DateTime.LocalNow()和Getdate()2.  数据清洗和M语言M语言和官方文档介绍PowerQuery中查阅M函数:=#shared, Ctrl+Space提示数据清洗之常用技能:提升标题、更改数据类型、保留删除错误或空行,删除重复项、选择列和删除列、填充单元格、合并列、拆分、提取、替换、条件替换、添加自定义列,添加条件列、添加索引列、分组、添加年月日列、追加和合并查询透视和逆透视以及转置合并单元格的Excel文件处理导入文件夹中多Excel文件并合并解决多文件合并中列顺序不一致使用参数和函数批量导入文件 文本中提取中文、英文、数字等处理双引号转义 列拆分详解解决列名改变错误解决列丢失错误动态显示、排序和重命名列为所有列名添加前缀列名字母大写和分隔符调整Trim标题列中的多余空格如何处理load数据错误为什么load的Excel数据有null空行为什么load的Excel数据标题在第二行灵活添加占位符规范同类相似数据数据按多列排序为分组添加Index序号分组内值合并诊断工具分析数据处理过程PowerQuery小技巧分享 新冠病例活动轨迹地图标识 

110,567

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧