欢迎讨论，nosql一般在什么情况下使用

joyhen 2014-08-29 03:11:09

RT，尽量描述下业务场景

...全文

220 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

joyhen 2014-09-03

打赏
举报

回复

自己顶一下

ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。 ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它与NoSQL和NewSQL是并存而非互斥的关系。NoSQL和NewSQL作为新技术探索的前沿，放眼未来，拥抱变化，是非常值得推荐的。反之，也可以用另一种思路看待问题，放眼未来，关注不变的东西，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆。 ShardingSphere已经在2020年4月16日从Apache孵化器毕业，成为Apache顶级项目。欢迎通过shardingsphere的dev邮件列表与我们讨论。

根据福雷斯特研究公司（ForresterResearch）的观点，SQL将成为Hadoop生态系统中最多产的应用方案之一。ApacheDrill是一个应用于大数据搜索的开源SQL查询引擎。REST服务和客户端已经成为互联网流行的技术。ApacheHBase则是一个广受欢迎的HadoopNoSQL数据库。在本文中，我将结合SQL、Hadoop、Drill、RESTwithJSON、NoSQL及HBase等技术，讨论并展示如何使用DrillRESTAPI来查询HBase和Hive。同时我也会分享一个使用DrillRESTAPI的简单jQuery客户端，利用J

NoSQL最常见的解释是“non-relational”， “Not Only SQL”也被很多人接受。NoSQL仅仅是一个概念，泛指非关系型的数据库，区别于关系数据库，它们不保证关系数据的ACID特性。NoSQL是一项全新的数据库革命性运动，其拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。 NoSQL有如下优点：易扩展，NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。无形之间也在架构的层面上带来了可扩展的能力。大数据量，高性能，NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。本门课程首先介绍了一下当今大数据时代遇到的数据瓶颈，之后介绍了什么是NOSQL，NOSQL的相关理论，最后演示了常见四种NOSQL产品的部署及基本操作。本课程会让你对NOSQL产品有一定的加深和理解，帮助你迅速通过求职面试！

⼤数据的存储和管理也欢迎⼤家转载本篇⽂章。分享知识，造福⼈民，实现我们中华民族伟⼤复兴！⼤数据的存储和管理任何机器都会有物理上的限制：内存容量、硬盘容量、处理器速度等等，我们需要在这些硬件的限制和性能之间做出取舍，⽐如内存的读取速度⽐硬盘快得多，因此内存数据库⽐硬盘数据库性能好，但是内存为2GB的机器不可能将⼤⼩为100GB的数据全部放⼊内存中，也许内存⼤⼩为128GB的机器能够做到，但是数据增加到200GB时就⽆能为⼒了。数据不断增长造成单机系统性能不断下降，即使不断提升硬件配置也难以跟上数据的增长速度。然⽽，当今主流的计算机硬件⽐较便宜⽽且可以扩展，现在购置⼋台8内核、128GB内存的机器⽐购置⼀台64内核、TB级别内存的服务器划算得多，⽽且还可以增加或减少机器来应对将来的变化。这种分布式架构策略对于海量数据来说是⽐较适合的，因此，许多海量数据系统选择将数据放在多个机器中，但也带来了许多单机系统不曾有的问题。下⾯我们介绍⼤数据存储和管理发展过程中出现的四类⼤数据存储和管理数据库系统。并⾏数据库并⾏数据库[1]是指那些在⽆共享的体系结构中进⾏数据操作的数据库系统。这些系统⼤部分采⽤了关系数据模型并且⽀持SQL语句查询，但为了能够并⾏执⾏SQL的查询操作，系统中采⽤了两个关键技术：关系表的⽔平划分和SQL查询的分区执⾏。⽔平划分的主要思想就是根据某种策略将关系表中的元组分布到集群中的不同节点上，这些节点上的表结构是⼀样的，这样就可以对元组并⾏处理。现有的分区策略有哈希分区、范围分区、循环分区等。例如，哈希分区策略是将表T中的元组分布到n个节点上，可以使⽤统⼀的哈希算法对元组中的某个或某⼏个属性进⾏哈希，如hash(T.attribute1) mod n，然后根据哈希值将元组放置到不同的节点上。在分区存储的表中处理SQL查询需要使⽤基于分区的执⾏策略，如获取表T中某⼀数值范围内的元组，系统⾸先为整个表T⽣成总的执⾏计划P，然后将P拆分成n个⼦计划{P1,…,Pn}，⼦计划Pi在节点ni上独⽴执⾏，最后每个节点将⽣成的中间结果发送到某⼀选定的节点上，该节点对中间结果进⾏聚集产⽣最终的结果。并⾏数据库系统的⽬标是⾼性能和⾼可⽤性，通过多个节点并⾏执⾏数据库任务，提⾼整个数据库系统的性能和可⽤性。最近⼀些年不断涌现⼀些提⾼系统性能的新技术，如索引、压缩、实体化视图、结果缓存、I/O共享等，这些技术都⽐较成熟且经得起时间的考验。与⼀些早期的系统如Teradata必须部署在专有硬件上不同，最近开发的系统如Aster、Vertica等可以部署在普通的商业机器上，这些数据库系统可以称得上准云系统。并⾏数据库系统的主要缺点就是没有较好的弹性，⽽这种特性对中⼩型企业和初创企业是有利的。⼈们在对并⾏数据库进⾏设计和优化的时候认为集群中节点的数量是固定的，若需要对集群进⾏扩展和收缩，则必须为数据转移过程制订周全的计划。这种数据转移的代价是昂贵的，并且会导致系统在某段时间内不可访问，⽽这种较差的灵活性直接影响到并⾏数据库的弹性以及现⽤现付商业模式的实⽤性。并⾏数据库的另⼀个问题就是系统的容错性较差，过去⼈们认为节点故障是个特例，并不经常出现，因此系统只提供事务级别的容错功能，如果在查询过程中节点发⽣故障，那么整个查询都要从头开始重新执⾏。这种重启任务的策略使得并⾏数据库难以在拥有数以千个节点的集群上处理较长的查询，因为在这类集群中节点的故障经常发⽣。基于这种分析，并⾏数据库只适合于资源需求相对固定的应⽤程序。不管怎样，并⾏数据库的许多设计原则为其他海量数据系统的设计和优化提供了⽐较好的借鉴。 NoSQL数据管理系统 NoSQL[5]⼀词最早出现于1998年，它是Carlo Strozzi开发的⼀个轻量、开源、不提供SQL功能的关系型数据库（他认为，由于NoSQL 悖离传统关系数据库模型，因此，它应该有⼀个全新的名字，⽐如"NoREL"或与之类似的名字[6]）。 2009年，Last.fm的Johan Oskarsson发起了⼀次关于分布式开源数据库的讨论[7]，来⾃Rackspace的Eric Evans再次提出了NoSQL 的概念，这时的NoSQL主要指⾮关系型、分布式、不提供ACID的数据库设计模式。 2009年在亚特兰⼤举⾏的"no:sql(east)"讨论会是⼀个⾥程碑，其⼝号是"select fun, profit from real_world whererelational=false;"。因此，对NoSQL最普遍的解释是"⾮关系型的"，强调键值存储和⽂档数据库的优点，⽽不是单纯地反对关系型数据库。传统关系型数据库在处理数据密集型应⽤⽅⾯显得⼒不从⼼，主要表现在灵活性差、扩展

一、前言　　最近开始学习非关系型数据库MongoDB，却在博客园上找不到比较系统的教程，很多资料都要去查阅英文网站，效率比较低下。本人不才，借着自学的机会把心得体会都记录下来，方便感兴趣的童鞋分享讨论。部分资源出自其他博客，旨将零散知识点集中到一起，如果有侵犯您的权利，请联系li-pan2@163.com。大部分内容均系原创，欢迎大家转载分享，但转载的同时别忘了注明作者和原文链接哦。二、MongoDB简介　　MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。Mongo使用C++开发。

27,579

社区成员

68,558

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章