抓取电视剧或者电影的信息

allen0118 2012-05-07 09:55:13

我想用C#做一个抓取电视剧或者电影信息的程序，比如输入电视剧名称，自动去网上找这个电视剧的简介，主演，产地等信息。

...全文

627 10 打赏收藏转发到动态举报

写回复

10 条回复

切换为时间正序

请发表友善的回复…

发表回复

avi9111 2012-05-08

打赏
举报

回复

要看准目标才放枪

一般就抓优酷，土豆

或者看看微博有没公布什么api出来，用用

曾经的我们是那么的年轻 2012-05-08

打赏
举报

回复

搜索引擎和核心还得有百度或者谷歌
这样你的功能就是WebBrowser嵌入这些搜索网页。
要是自己创建个维护网站，那费用太高（你维护这个网站的信息每天就要花费很多时间去查最新影讯），不如链接到你所在地的某个知名电影院的影讯网站。

EnForGrass 2012-05-08

打赏
举报

回复

你要抓取全部的可能不大现实。每个网站的电影电视剧也学都不完全，你先找个网站试试，抓取可以利用正则处理获取视频，比如优酷
给个简单的参考，也许对你有用
http://topic.csdn.net/u/20120328/17/f977bf9f-50c0-46c3-81f6-f12a9ab6fe01.html

allen0118 2012-05-08

打赏
举报

回复

哪位朋友帮我给个简单的例子，当然我会给一定的辛苦费的，我急着用。

Conmajia 2012-05-08

打赏
举报

回复

你抓百度的搜索结果不就 o 了。。或者抓 IMDB、FII、广电总局的网页

zhujiawei7 2012-05-08

打赏
举报

回复

WebRequest直接向网站发送个请求，WebResponse能获取返回的网页源码，从源码中提取你要的信息

allen0118 2012-05-08

打赏
举报

回复

[Quote=引用 2 楼的回复:]
关键是你要找到提供这些信息的网页，找到就好办了。
[/Quote]

如果有网址该怎么做呢？比如说去迅雷看看上面搜索，该怎么做呢？

allen0118 2012-05-08

打赏
举报

回复

[Quote=引用 2 楼的回复:]
关键是你要找到提供这些信息的网页，找到就好办了。
[/Quote]

关键是我也不知道具体去哪里找这个网页。

dalmeeme 2012-05-07

打赏
举报

回复

关键是你要找到提供这些信息的网页，找到就好办了。

crackdung 2012-05-07

打赏
举报

回复

程序做成瀏覽器形式不可以？

# 基于python3 scrapy框架抓取豆瓣影视资料 ## 思路 * * 资料分类策略：参考了：https://zhuanlan.zhihu.com/p/24771128?refer=pythoncrawl 添加了“电影”、“电视剧”标签以区分影视是电影还是电视剧 * * 代理、cookie等策略：参考了：https://zhuanlan.zhihu.com/p/24035574 但现在换bid的策略的好像不行了；用代理服务器又太慢（可在setting.py中取消HttpProxyMiddleware那行的注释以用代理服务器，会自动抓取代理）。因此本项目用的是： 1.单ip连续抓取，40次/分钟（超过的话很快会被封） 2.遇到302错误（ip被封）就等待3.5小时再抓取的策略（ip被豆瓣封后3-3.5小时解封）完整抓取64000条影视数据需时7-8天，可用多机分开抓取不同分类以提高速度 ## 所需软件 * * Anaconda + mysql，Windows和Linux皆可 ## 使用方法 * * 请先安装Anaconda，把其中的python3可执行文件设为系统默认的python可执行文件 * * 在setting.py补充db相关信息（MYSQWL_开头那几行） * * 在db执行init.sql * * 执行python run.py，爬虫就会启动，把抓取到的资料写进pz_douban_movie表中 -------- 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------

可以说是有史以来最好的书面喜剧电视节目的文本分析数据集。语境适合喜欢数据科学和Seinfeld的人们的数据集。内容有关所有剧集的详细信息。包括诸如导演，剧集名称，播出日期等属性。完成所有剧集的剧本。即将进行的更新将包括：舞台位置和演员数据源该数据是从粉丝网站上。可能的探索在语料库上训练语言模型。将词汇表与电视，电影或文学中的其他作品进行比较。查找语言复杂性和流行度之间的关联。训练模型以根据数据生成脚本。分析本系列词汇中所用的晦涩词汇。这些只是基本示例，天空是极限。致谢数据已从网站抓取。贡献欢迎提出更改和改进建议。随意评论您认为有用的新功能，或者在项目上放弃PR。想给我买咖啡

本人是爬虫初学者，想通过爬取电视剧信息来巩固自己所学的一些知识，但是在一些网站中并没有找到类似于page的参数，或者就是参数加密，自己的能力没法解开，导入无法使用下一页的功能。所以我就想到了selenium，找到"下一页所在的标签"，直接点击就好了。慢是慢了点，不过好在能使用下一页的功能了。

文章目录1、想要获取的信息2、所使用的方法：3、网页分析4、开始编写程序4.1 导入模块4.2 构造翻页4.3 获取热门电影的名称，评分，ID，网页链接4.3 获取每部电影的具体信息，如导演，演员，片长，上映日期等5、附完整代码 1、想要获取的信息 1.1 获取豆瓣电影中热门电影名称，评分，ID，网页链接； 1.2 获取每部电影的具体信息，如导演，演员，片长，上映日期等； 1.3 所获取的信息存放在csv文件中。 2、所使用的方法： requesets+bs4 3、网页分析通过网页翻页浏览，确认网

10 实战：手把手教你构建国产电视剧评分数据集在前面几讲，我们已经学习完了爬虫技术的三个基础环节：下载数据、提取数据以及保存数据。今天我们将通过一个综合的实战案例来将之前的内容都串联起来，帮你加深印象，更好地掌握 Python 爬虫技术。任务描述近期，电视剧《司藤》热播，阿普闪购决定策划一场围绕国产口碑电视剧的周边特卖活动。为了最大化提升活动的成功率，需要对目前已经有的电视剧名称、演员和评分进行分析，以预判一个电视剧的评分走向。在一切预测与分析之前，首先就需要收集目前国产电视剧的相关数据，或者换句

110,534

社区成员

642,575

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧

+ 用AI写文章