如何在别的网站上采集数据信息然后存到MySQL里面

Strive_MrL 2011-08-19 11:56:35

如何在别的网站上采集数据信息然后存到MySQL里面，面试时候的题目
请高手给详细的解答！！！

...全文

176 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

LMAOhuaNL 2011-08-20

打赏
举报

回复

1. 创建 HttpClient 的实例

2. 创建某种连接方法的实例，在这里是 GetMethod。在 GetMethod 的构造函数中传入待连接的地址

3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例

4. 读 response

5. 释放连接。无论执行方法是否成功，都必须释放连接

6. 对得到后的内容进行处理

去这里看看
http://blog.sina.com.cn/s/blog_49ea36420100c6x3.html

jnhcd 2011-08-20

打赏
举报

回复

其实这涉及到很多问题，数据如何采集，采集后的数据格式是否满足要求，
如不满足要求还要做数据做改变，然后再导入现在的数据库。

基于python爬虫技术的二手房数据信息采集系统的设计与实现(Django框架)，为用户提供便捷、全面的二手房信息查询和比较服务。因此，设计和实现一套基于Python爬虫技术的二手房数据信息采集系统，能够有效地获取并整合大量的二手房交易数据，对于广大用户进行房产市场分析、决策以及数据可视化具有重要的实际意义。因此，本研究的特色在于利用Python爬虫技术，自动获取各大二手房交易平台的数据，并通过Django框架实现数据的采集、整合和展示。

通过本篇实战，我们完成了从环境搭建、数据库设计，到Selenium爬虫开发、数据存储的全流程，你不仅可以采集招聘网站的数据，还可以通过采集到的数据交给大模型进行分析总结，帮助了我们更快的找到心仪的职位~~~

本文介绍了如何使用Python编写爬虫程序，抓取电商平台的商品信息、价格、评论等数据。通过本文的学习，您可以了解到Scrapy框架的基本使用方法，以及如何将抓取到的数据保存到MySQL数据库中。同时还可以学习到如何模拟浏览器的行为，抓取动态页面的数据。希望本文对您有所帮助。

数字化时代，大数据信息的采集和应用逐渐普及。这离不开网络网络爬虫的广泛应用。网络爬虫是比较简单且容易上手的项目。1个网络爬虫工程师就可以轻松完成1个简单的小网络爬虫。但是面对现在对数据信息要求如此之大的市场，必须有大规模...

在本文中，我们需要定义一个Item，用于保存商品信息、价格、评论等数据。在项目的items.py文件中，添加以下代码：这里定义了一个名为JingdongItem的Item，包括商品名称、商品编号、商品分类、商品品牌、商品型号、商品规格、商品产地、商品重量、商品包装、商品价格、商品促销价、商品折扣、商品评论、商品图片等字段。1. 商城的商品信息包括商品名称、商品编号、商品分类、商品品牌、商品型号、商品规格、商品产地、商品重量、商品包装等信息。在本文中，我们选择抓取京东商城的商品信息、价格、评论等数据。

81,108

社区成员

341,721

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章