1.8w+
社区成员
- 全部
急！如何抓取一个网站中的数据库的内容并同时存入本地数据库？
假设有一个a网站，发布了一个数据库，通过其网页检索出数据，显示在页面中，我如何通过这个页面的地址（这个地址可以直接访问同样
的数据，不需要用户登录权限验证之类的），用我的程序直接把所需要的数据抓下来？
如果指定的内容中有连接，程序要自己链下去，抓取指定的内容，请高手指教，挺急的。
的数据，不需要用户登录权限验证之类的），用我的程序直接把所需要的数据抓下来？
如果指定的内容中有连接，程序要自己链下去，抓取指定的内容，请高手指教，挺急的。
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
马里亚纳海沟哈哈 2005-08-09
to netgm: 能不能说详细一点，拜托了
lbianxp 2005-08-09
得知道人家的数据源才行
netgm 2005-08-09
参考 xml
笨笨兔兔兔兔兔 2005-08-09
我做过一个从csdn上抓faq的小东西,是不是你要的就是这个,如果是的话我告诉你原理,顺便给你我的帖子吧,很多有参考价值的东西你可以去down的
http://community.csdn.net/Expert/TopicView1.asp?id=4191119
http://community.csdn.net/Expert/TopicView1.asp?id=4191119
马里亚纳海沟哈哈 2005-08-08
页面保证不需要验证的访问。
返回的数据是明文吗？可以对它象对字符串一样处理吗？
返回的数据是明文吗？可以对它象对字符串一样处理吗？
yexingren 2005-08-08
要读取 网站的数据，没有登录权限怎么行！ 有权限了，和访问数据库是一个道理的。
读取html 网页到是不要权限，winInet类可以实现的
读取html 网页到是不要权限，winInet类可以实现的
急！如何抓取一个网站中的数据库的内容并同时存入本地数据库？ 假设有一个a网站，发布了一个数据库，通过其网页检索出数据，显示在页面中，我如何通过这个页面的地址（这个地址可以直接访问同样的数据，不需要用户登录权限验证之类的），用我的程序直接把所需要的数据抓下来？...
Python基于多线程实现抓取数据存入数据库的方法 本文实例讲述了Python基于多线程实现抓取数据存入数据库的方法。分享给大家供大家参考，具体如下： 1. 数据库类 """ 使用须知： 代码中数据表名 aces ，需要更改该数据表名称的注意更改 """ import pymysql class ...
使用python获取天气网页上的内容，并存入数据库 使用python获取网页上的内容，并存入数据库 例如：获取 http://api.help.bj.cn/api/?id=53 中的城市，lever，quality，pm2.5 中的内容** 网站是这样的： 网站源码： python代码： import requests,ast,hashlib,os...
python网络爬虫抓取动态网页并将数据存入数据库MySQL 简述以下的代码是使用python实现的网络爬虫，抓取动态网页 http://hb.qq.com/baoliao/ 。...以下是完整的获取内容并存储到数据库中。 实现思路： 抓取实际访问的动态页面的url – 使用正则表达式获取
小程序-从api中获取数据批量存入云数据库中，并实现定时刷新 小程序-从api中获取数据批量存入云数据库中，并实现定时刷新 右键cloudfuctions,新建Node.js云函数 然后点开index.js 配置环境 在文件右键，并选择在外部终端打开 下载axios，支持在端口上获取数据，回车键下载 ...
R语言：抓取股票数据并存入数据库进行分析实例 MySQL R语言连接mySql 准备： R: https://cloud.r-project.org/b...R studio: https://download1.rstudio.org... RODBC R studio console下 > Install.packages(RODBC) 安装MySql http...
记一次使用php7抓取页面内容并解析和存入mongo数据库和相关数据导出 这条url后面跟上地区二字代码在浏览器打开就是所需要的数据库，如图以上每行是一条数据，需要将该地区US的每条数据加上字段US字段存入数据库。另外地区代码需要从html的option中获取，长这样（部分截图）：大概有两...
前端面试题 一、HTML和CSS 21 你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么? 21 每个HTML文件里开头都有个很重要的东西，Doctype，知道这是干什么的吗？ 21 Quirks模式是什么？它和Standards模式有什么区别 21 ...
从本地读取Excel文件的数据存入数据库 public String getEleValues() throws Exception{ // 获取文件夹 InputStream input = new FileInputStream(new File("D:/vue/基础数据fap_element_bm.xlsx")); XSSFWorkbook book = new XSSFWorkbook(input);...
【原创】python爬虫获取网站数据并存入本地数据库 #coding=utf-8 import urllib import re import MySQLdb ...dbnumber = MySQLdb.connect('localhost', 'root', '*******', 'dbname') #连接本地数据库 cursor = dbnumber.cursor() def getHtml(url): ...
Python ：selenium 爬取Ajax技术网页，并存入MySQL数据库 和 本地CSV文件 本次爬虫是对 天天基金网的 华泰柏瑞沪深300ETF基金 各年度各季度股票投资明细 爬取。 因为直接通过requests 爬取的网页源代码 所爬数据需js渲染，使用selenium的Webdriver，模拟真实浏览器，用来解决JavaScript...
【爬虫+数据库操作】用pandas将爬取的股票信息存入数据库！ 我是python练习时长一个半月的Yhen. 好久没有发博客啦！第一是因为最近学校方面的学习和部门工作比较多，时间少了。第二个是感觉爬虫方面的博客写的也比较多了，而且爬虫这东西，你做多了，就会感觉方法...
Python爬虫入门 Python爬虫介绍 聚焦爬虫和通用爬虫 ...通用爬虫是百度谷歌这样提供搜索服务的公司使用的，他们需要将网上所有的网页信息通过爬虫全部抓取并存储起来，并对这些信息进行分析处理，用户进行搜索时就把...
微信授权登录后，把获取的信息存储到本地数据库中（超详细有用）！ 微信授权登录后，把获取的信息存储到本地数据库中（超详细有用）！下面一起来看看吧！ <?php namespace Home\Controller; use Think\Controller; class YiMuDiController extends Controller { /** * ...
【详解】从b站抓取信息并存入数据库 av号、类型、作者名、视频名、点击量、弹幕数这些信息从网页上抓取，并存入数据库中进行简单分析。 整个步骤分两块---抓取和存数据 【抓取】 延续我们之前用Python写爬虫的经验，类似的抓取我们需要的信息就...
MySQL 怎么插入10天前的日期_Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储！... 现想利用Python爬取网页股票数据保存到本地csv数据文件中，同时想把股票数据保存到MySQL数据库中。需求有了，剩下的就是实现了。在开始之前，保证已经安装好了MySQL并需要启动本地MySQL数据库服务。提到安装MySQL...
Python爬虫数据并存入MySQL数据库，实现可视化。 接 上一篇： 代码部分： * coding=gbk * 导入需要使用到的模块 from urllib import request import re import pandas as pd import pymysql import os 爬虫抓取网页函数 def getHtml(url): ...
Java爬网页数据，并存储到本地数据库中 由于开发一个人工智能项目，需要强大的后台数据库加持，所以，没有办法，又是需要医疗数据，只能自己爬某医疗网站数据，进行分析，但是由于不同网站的结构不一样，所以这个程序只能爬该网站的，第一次爬网页数据，...
python多线程抓取数据存入数据库的方法 代码中数据表名 aces ，需要更改该数据表名称的注意更改 """ import pymysql class Database(): # 设置本地数据库用户名和密码 host = "localhost" user = "root" password = "" database = "test" port
Python实战—抓取58租房信息并存入Mysql数据库 Mysql的安装以及建库建表操作就不说了，我这里本地创建了一个数据库py，以及表tb_py_test： create table tb_py_test ( id int auto_increment primary key, url text null, content varchar(255) null, price ...
python多线程写入数据库_Python基于多线程实现抓取数据存入数据库的方法 本文实例讲述了Python基于多线程实现抓取数据存入数据库的方法。分享给大家供大家参考，具体如下：1. 数据库类"""使用须知：代码中数据表名 aces ，需要更改该数据表名称的注意更改"""import pymysqlclass Database...
Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储 现想利用Python爬取网页股票数据保存到本地csv数据文件中，同时想把股票数据保存到MySQL数据库中。需求有了，剩下的就是实现了。 在开始之前，保证已经安装好了MySQL并需要启动本地MySQL数据库服务。提到安装MySQL...
python爬虫：爬取动态网页并将信息存入MySQL数据库 目标网站 http://www.neeq.com.cn/disclosure/supervise.html 爬取网页该部分内容 网页分析 查看网页源代码发现没有表格部分内容，对网页请求进行分析 F12–>network---->xhr 接下来分析数据来源，切换到...
Python 爬取数据并存入SQL Server数据库 import requests import re import time from SQLServers import MSSQL import pymssql from pyquery import PyQuery as pq ...#抓取页面Html def GetHtml(url,page): time.sleep(3) print(...
Python的抓取图片保存到本地，Python连接MySQL操作数据库 Python的抓取图片保存到本地 import urllib.request #打开和读取url的模块 import re #python匹配的模块 import os #python与操作系统交互的模块(创建文件夹等) def gethtml(url): page = urllib.request....
