社区
Java SE
帖子详情
大数据存什么数据库比较好啊
zhaowei513
2019-09-05 03:42:39
key value类型,value有几百兆大的那种数据,应该选择什么存储方式比较好
...全文
658
3
打赏
收藏
大数据存什么数据库比较好啊
key value类型,value有几百兆大的那种数据,应该选择什么存储方式比较好
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
树成
2019-09-06
打赏
举报
回复
呃,看你这标题还以为你说的是大数据,进来才知道是体积大的数据而已,单个数据大存成一个文件即可。如果要做集群,可以使用存储或者磁盘共享。体积大的数据不要存数据库,不便于维护和查询。
DeH40
2019-09-05
打赏
举报
回复
MongoDB
weixin_43869905
2019-09-05
打赏
举报
回复
找收费的数据库 那种就好
socket
大数据
并列接收
存
数据库
小列子(带多线程模拟数据)
小例子
国外各大
数据库
有效资源.txt
各种有效的国外
数据库
资源,找数据利器啊!
大数据
时代的HTAP
数据库
大数据
时代,各种技术和应用蓬勃发展、百家争鸣,其中一个非常重要的基础技术就是数据
存
储,即
数据库
技术。无论是一个手机app,还是一个HR的办公系统,再到一个大型企业的数仓中心,都需要以
数据库
技术为核心进行驱动。一家企业的数据量很轻易就可以达到PB甚至ZB级别,如何对这么大量级的数据进行
存
储和查询使用?本期将会为你拆解这个谜题。
大数据
关键技术.doc
大数据
关键技术
大数据
技术,就是从各种类型的数据中快速获得有价值信息的技术。
大数据
领域已经涌 现出了大量新的技术,它们成为
大数据
采集、
存
储、处理和呈现的有力武器。
大数据
处理关键技术一般包括:
大数据
采集、
大数据
预处理、
大数据
存
储及管理、大数 据分析及挖掘、
大数据
展现和应用(
大数据
检索、
大数据
可视化、
大数据
应用、
大数据
安全等)。 一、
大数据
采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式 获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据,是
大数据
知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据 全映像等
大数据
收集技术;突破高速数据解析、转换与装载等
大数据
整合技术;设计质 量评估模型,开发数据质量技术。
大数据
采集一般分为
大数据
智能感知层:主要包括数据传感体系、网络通信体系、 传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结 构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理 和管理等。必须着重攻克针对
大数据
源的智能识别、感知、适配、传输、接入等技术。 基础支撑层:提供
大数据
服务平台所需的虚拟服务器,结构化、半结构化及非结构化数 据的
数据库
及物联网络资源等基础支撑环境。重点攻克分布式虚拟
存
储技术,
大数据
获 取、
存
储、组织、分析和决策操作的可视化接口技术,
大数据
的网络传输与压缩技术,
大数据
隐私保护技术等。 二、
大数据
预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。1)抽取:因获取的数据可能具 有多种结构和类型,数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便 于处理的构型,以达到快速分析处理的目的。2)清洗:对于
大数据
,并不全是有价值的 ,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对 数据通过过滤"去噪"从而提取出有效数据。 三、
大数据
存
储及管理技术
大数据
存
储与管理要用
存
储器把采集到的数据
存
储起来,建立相应的
数据库
,并进行管 理和调用。重点解决复杂结构化、半结构化和非结构化
大数据
管理与处理技术。主要解 决
大数据
的可
存
储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的 分布式文件系统(DFS)、能效优化的
存
储、计算融入
存
储、
大数据
的去冗余及高效低成 本的
大数据
存
储技术;突破分布式非关系型
大数据
管理与处理技术,异构数据的数据融 合技术,数据组织技术,研究
大数据
建模技术;突破
大数据
索引技术;突破
大数据
移动 、备份、复制等技术;开发
大数据
可视化技术。 开发新型
数据库
技术,
数据库
分为关系型
数据库
、非关系型
数据库
以及
数据库
缓
存
系统。其中,非关系型
数据库
主要指的是NoSQL
数据库
,分为:键值
数据库
、列
存
数据库
、图
存
数据库
以及文档
数据库
等类型。关系型
数据库
包含了传统关系
数据库
系统以及Ne wSQL
数据库
。 开发
大数据
安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等 技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。 四、
大数据
分析及挖掘技术
大数据
分析技术。改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖 掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等
大数据
融合 技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的
大数据
挖掘技术 。 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取 隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉 及的技术方法很多,有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总 结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现 等等;根据挖掘对象可分为关系
数据库
、面向对象
数据库
、空间
数据库
、时态
数据库
、 文本数据源、多媒体
数据库
、异质
数据库
、遗产
数据库
以及环球网Web;根据挖掘方法分 ,可粗分为:机器学习方法、统计方法、神经网络方法和
数据库
方法。机器学习中,可细 分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中, 可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参 数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法 等)等。神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织 特征映射、竞争学习等)等。
数据库
方法主要是多维数据分析或OLAP方法,另外还有面向 属性的归纳方法。 从挖掘任务和挖掘方法的角度,着重突破:1.可视化分析。数据可视化无论对于普通用 户或是数据分析专家,都是最基本的功能。数据图像化可以让数据自己说话,让用户直
云计算处理
大数据
深度、智能挖掘技术之地震数据挖掘分析(全套视频教程)
1.
大数据
深度挖掘 2.
大数据
存
储 3.
大数据
处理解决方案 4.纯分布式
数据库
:Cassandra 5.云计算与
数据库
相结合的技术 6.HDFS 7.GANGLIA 8.数据入库接口开发 9.深入HDFS项目开发 10.SQOOP命令 11.dfsadmin命令 12.Sgoop的常见问题及其解决方法 13.NameNode单点问题 14.SecondaryNameNode机制 15.Avatar元数据同步机制 16.数据立方 17.
存
储内
存
优化 18.性能测试 19.通过Java获取HDFS相关配置信息 20.地震数据实时
存
诸处理以及优化 21.
大数据
实战社交网络搜索引擎系统及性能优化
Java SE
62,614
社区成员
307,327
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章