抓取数据放入数据库。。。谢谢！！！

qq_42005699 2018-04-16 03:48:41

抓取一个网站的数据，然后存入数据库

...全文

1008 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

a546307927 2018-04-16

打赏
举报

回复

phpquery你可以去学习一下，用着也简单，作为爬虫相对而言会好一些

Zerolone 2018-04-16

打赏
举报

回复

抓数据还是用python吧，多线程多进程，

果酱很好吃 2018-04-16

打赏
举报

回复

file_get_contents 获得网页，用正则匹配出需要的内容，组织sql，存入数据库

excel表格类型数据采集的三种方式

【代码】java调用接口获取数据并存到数据库。

#-*-coding:utf-8-*- import urllib, pymysql, requests, re # 配置数据库 config = { 'host': '127.0.0.1', 'port': 3306, 'user': 'root', 'password': '******', 'db': 'weibo', 'charset': 'utf8', } # 链接数据库 conn = pymysql.connect(**config) cursor

python读取csv文件并将数据传到数据库 要点其一就是使用 csv.readercsv.readercsv.reader 进行数据读很方便，具体用法可参考https://docs.python.org/zh-cn/3.9/library/csv.html 其二我这里是将数据写到远程服务器上，所以connect里面写的是服务器IP，如果是本地数据库的话写上localhost就好了，connect的第二个参数是数据库名，第三个是密码，第四个是你要连接的表名代码 import csv impo

目标网址：http://webapi.cninfo.com.cn/#/marketDataZhishu 之前在这篇文章里面对巨潮的JS进行了一个逆向的解析：JS逆向解析-巨潮证券市场数据库（python）接下来我们来创建一个Scrapy项目来爬取巨潮的数据并保存在数据库中过程： 1、创建一个Scrapy项目 2、将之前用于解析的JS文件放入项目中 3、修改items.py文件，添加要爬取的数据表 4、配置参数，修改setting.py 5、补充spiders文件夹下的核心文件 6、进入

21,886

社区成员

140,364

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章