想了解关于数据采集的知识，请帮忙，谢谢

I_love 2002-03-01 04:59:04

我想了解一些关于数据采集的知识，
可是在网上只搜索到了数据采集项目及实施的东西。

那位朋友能帮忙发给我一些（如果可以的话），

因为以前没有接触过。也想请水友帮忙介绍一下。

谢谢

...全文

41 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据处理流程主要分为3步： 1.数据抽取和集成 2.数据分析 3.数据解释补充 1.数据抽取与集成由于大数据处理的数据来源类型丰富，利用多个数据库来接收来自客户端的数据，包括企业内部数据库、互联网数据和物联网数据，所以需要从数据中提取关系和实体，经过关联和聚合等操作，按照统一定义的格式对数据

一前言　　前段时间一直在了解关于Http相关的知识，然后园子里时不时有园友发关于采集网页信息的文章，然后自己也想试试如何做网页的数据采集，便开始在网找查找相关资料，方法有很多种，如用开源的框架忘了叫什么名了，或者用.net Framework自带的HttpwebRequest对象与HttpwebResponse对象，当然也还有其它对象也可以做到如 WebClient 等，而我选择用Ht...

面试题如何保证消息队列的高可用？面试官心理分析如果有人问到你 MQ 的知识，高可用是必问的。上一讲提到，MQ 会导致系统可用性降低。所以只要你用了 MQ，接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。要是你傻乎乎的就干用了一个 MQ，各种问题从来没考虑过，那你就杯具了，面试官对你的感觉就是，只会简单使用一些技术，没任何思考，马上对你的印象就不太好了。这样的同学招进 ...

Python新书上市，强烈推荐！《Python网络数据爬取及分析从入门到精通（爬取篇）》导读内容简介本书主要包括上下两册：《Python网络数据爬取及分析从入门到精通（爬取篇）》《Python网络数据爬取及分析从入门到精通（分析篇）》数据爬取篇: 详细讲解了正则表达式、BeautifulSoup、Selenium、Scrapy、数据库存储...

本人现就职于国内某地图导航公司，这篇文章是我前段时间在公司组织技术分享的一个PPT，文章内容也主要由这个PPT的内容为主，通过这篇文章可以很好的帮你了解地图导航这个行业的相关技术。PPT内容主要包括地图相关专业知识、百度和高德SDK整体框架、数据来源、行业概览等组成。其中关于地图引擎相关的技术知识，我向公司地图引擎开发同事求证过，这个PPT也给他们看过，也帮忙指出了其中的一些问题。这篇文章主要用于...

11,848

社区成员

33,670

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章