十种NoSQL数据库以及对比

虽然NoSQL流行语火起来才短短一年的时间，但是不可否认，现在已经开始了第二代运动。尽管早期的堆栈代码只能算是一种实验，然而现在的系统已经更加的成熟、稳定。不过现在也面临着一个严酷的事实：技术越来越成熟——以至于原来很好的NoSQL数据存储不得不进行重写，也有少数人认为这就是所谓的2.0版本。这里列出一些比较知名的工具，可以为大数据建立快速、可扩展的存储库。

1. Casssandra

Cassandra最初由Facebook开发，后来成了Apache开源项目，它是一个网络社交云计算方面理想的数据库。它集成了其他的流行工具如Solr，现在已经成为一个完全成熟的大型数据存储工具。Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynomite（分布式的Key-Value存储系统）更丰富，但支持度却不如文档存储MongoDB。Cassandra的主要特点就是它不是一个数据库，而是由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra的一个写操作，会被复制到其他节点上去，而对Cassandra的读操作，也会被路由到某个节点上面去读取。在最近的一次测试中，Netflix建立了一个288个节点的集群。

2. Lucene/Solr

Lucene是Apache软件基金会4 jakarta项目组的一个子项目，这是一个开放源代码的全文检索引擎工具包，就是说它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构。不过大多数人并不认同Lucene是一个数据库，因为大多数人只是用它来检索大量的文本块，不过它的确采用了与其他NoSQL数据存储相似的模型。如果说查询并不是仅仅局限于精确的匹配，而是寻找出那些出现在块中的字或者字段的话，毫无疑问，Lucene/Solr是最好的查询方式。

3. Riak

Riak是由技术公司basho开发的一个类似Dynamo的分布式Key-Value系统。其以分布式，水平扩展性，高容错性等特点著称。从事Riak工作最有趣的部分是可以使用JavaScript或者Erlang来做Map/Reduce查询，它们会查询每个节点，收集结果，而且可以重复，如果需要使用的结果进行重新进行搜寻的话。该系统还为类似于Solr的搜索提供全文索引，同时还提供一个控制面板，可以查看集群的信息。

4. CouchDB

CouchDB是用Erlang开发的面向文档的数据库系统，不过它不是一个传统的关系数据库，而是面向文档的数据库，其数据存储方式有点类似lucene的index文件格式，CouchDB最大的意义在于它是一个面向web应用的新一代存储系统。作为一个分布式的数据库，CouchDB可以把存储系统分布到n台物理的节点上面，并且很好的协调和同步节点之间的数据读写一致性。CouchDB支持REST API，可以让用户使用JavaScript来操作CouchDB数据库，也可以用JavaScript编写查询语句，可以想像一下，用AJAX技术结合CouchDB开发出来的CMS系统会是多么的简单和方便。

CouchDB还有一个更加商业化的“表亲”——Couchbase，不过它提供缓存功能，更好的分片，增量查询，更好的索引和一些其他的功能。其实Couchbase与CouchDB也是紧密相关的，Couchbase产品包含了CouchDB的一个副本。

5. Neo4J

大多数的NoSQL数据库只是存储键和值的一个灵活的捆绑。不过Neo4J的存储的是对象之间的关系，或者说这种结构就是数学中的“图”。Neo4J是一个面向网络（“图”）的数据库，也就是说，它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络上而不是表中，当然也可以把Neo4J看作是一个高性能的图引擎，该引擎具有成熟和健壮的数据库的所有特性。该工具包括很多有关搜索和分析的关系的算法，它能够帮助寻找谁是我的朋友，或者寻找朋友的朋友。这些“图的遍历”算法，可以节省很多指针查询的麻烦。

6. Oracle的NoSQL

也许是NoSQL运动太红火的原因，Oracle决定开发一款产品，将键/值对拆分在整个节点集上，这样的优势在于提供了一个灵活的事务保护措施，进而可以确保从数据在节点上等待存储开始到通过网络被成功备份结束，都尽在掌握之中。

Oracle的NoSQL Database，是在10月4号的甲骨文全球大全上发布的Big Data Appliance的其中一个组件，Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。

7. MongoDB

MongoDB是一个基于分布式文件存储的数据库，介于关系数据库和非关系数据库之间，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。MongoDB支持RUBY，PYTHON，JAVA，C++，PHP,C#等多种语言。

MongoDB是高性能开源文档数据库，也是目前最受关注的NoSQL技术之一，以敏捷、可扩展和对企业应用友好（支持事务，一致性和数据完整性保证，有大企业应用案例）而著称。有人甚至认为LAMP中的M应该用MongoDB取代MySQL，其火热程度可见一斑。使用MongoDB的公司包括Foursquare, Craiglist, 迪士尼，SAP，Intuit，EA等，国内淘宝、大众点评、视觉中国等公司有应用。(最新版MongoDB 2.2下载)

8. Hadoop的HBase

HBase(Hadoop Database)，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据。

虽然大多数人都认为Hadoop及其所有的工具都是作为管理大规模集群的一种机制，其实不然，Hadoop也包括数据库，在HBase中也是通过节点来传播数据。Hadoop的Map /Reduce的架构是非常适合于复杂的计算任务或查询工作。领土在不断的扩张，新的数据库像Accumulo就是Hadoop平台的一个延伸。(Apache Accumulo是一个可靠的、可伸缩的、高性能的排序分布式的Key-Value存储解决方案，基于单元访问控制以及可定制的服务器端处理。使用Google BigTable设计思路，基于Apache Hadoop、Zookeeper和Thrift构建)

9. BigTable/ Accumulo/ Hypertable

BigTable是非关系的数据库,是一个稀疏的、分布式的、持久化存储的多维度排序Map。Bigtable的设计目的是可靠的处理PB级别的数据，并且能够部署到上千台机器上。Bigtable已经实现了下面的几个目标：适用性广泛、可扩展、高性能和高可用性。Bigtable已经在超过60个Google的产品和项目上得到了应用，包括Google Analytics、GoogleFinance、Orkut、Personalized Search、Writely和GoogleEarth。

谷歌的BigTable开启了NoSQL的热潮，现在很多公司都模仿谷歌的架构搭建了自己的平台。谷歌的AppEngine用户可以把键/值对存储在数据库中，而Hadoop的用户可以把它们放在Accumulo上，其他的可以使用Hypertable。所有的这些基本上都属于键/值存储，只不过添加了一些额外的功能，增加了搜索的速度而已。

10. DynamoDB

DynamoDB是亚马逊的key-value模式的存储平台，可用性和扩展性都很好，性能也不错：读写访问中99.9%的响应时间都在300ms内。DynamoDB的NoSQL解决方案，也是使用键/值对存储的模式，平且通过服务器把所有的数据存储在SSD上的三个不同的区域。如果有更高的传输需求，DynamoDB也可以在后台添加更多的服务器。

1. CouchDB

• 所用语言： Erlang
• 特点：DB一致性，易于使用
• 使用许可： Apache
• 协议： HTTP/REST
• 双向数据复制，
• 持续进行或临时处理，
• 处理时带冲突检查，
• 因此，采用的是master-master复制（见编注2）
• MVCC – 写操作不阻塞读操作
• 可保存文件之前的版本
• Crash-only（可靠的）设计
• 需要不时地进行数据压缩
• 视图：嵌入式 映射/减少
• 格式化视图：列表显示
• 支持进行服务器端文档验证
• 支持认证
• 根据变化实时更新
• 支持附件处理
• 因此， CouchApps（独立的 js应用程序）
• 需要 jQuery程序库

最佳应用场景：适用于数据变化较少，执行预定义查询，进行数据统计的应用程序。适用于需要提供数据版本支持的应用程序。

例如： CRM、CMS系统。 master-master复制对于多站点部署是非常有用的。

（编注2：master-master复制：是一种数据库同步方法，允许数据在一组计算机之间共享数据，并且可以通过小组中任意成员在组内进行数据更新。）

2. Redis

• 所用语言：C/C++
• 特点：运行异常快
• 使用许可： BSD
• 协议：类 Telnet
• 有硬盘存储支持的内存数据库，
• 但自2.0版本以后可以将数据交换到硬盘（注意， 2.4以后版本不支持该特性！）
• Master-slave复制（见编注3）
• 虽然采用简单数据或以键值索引的哈希表，但也支持复杂操作，例如 ZREVRANGEBYSCORE。
• INCR & co （适合计算极限值或统计数据）
• 支持 sets（同时也支持 union/diff/inter）
• 支持列表（同时也支持队列；阻塞式 pop操作）
• 支持哈希表（带有多个域的对象）
• 支持排序 sets（高得分表，适用于范围查询）
• Redis支持事务
• 支持将数据设置成过期数据（类似快速缓冲区设计）
• Pub/Sub允许用户实现消息机制

最佳应用场景：适用于数据变化快且数据库大小可遇见（适合内存容量）的应用程序。

例如：股票价格、数据分析、实时数据搜集、实时通讯。

（编注3：Master-slave复制：如果同一时刻只有一台服务器处理所有的复制请求，这被称为 Master-slave复制，通常应用在需要提供高可用性的服务器集群。）

3. MongoDB

• 所用语言：C++
• 特点：保留了SQL一些友好的特性（查询，索引）。
• 使用许可： AGPL（发起者： Apache）
• 协议： Custom, binary（ BSON）
• Master/slave复制（支持自动错误恢复，使用 sets 复制）
• 内建分片机制
• 支持 javascript表达式查询
• 可在服务器端执行任意的 javascript函数
• update-in-place支持比CouchDB更好
• 在数据存储时采用内存到文件映射
• 对性能的关注超过对功能的要求
• 建议最好打开日志功能（参数 –journal）
• 在32位操作系统上，数据库大小限制在约2.5Gb
• 空数据库大约占 192Mb
• 采用 GridFS存储大数据或元数据（不是真正的文件系统）

最佳应用场景：适用于需要动态查询支持；需要使用索引而不是 map/reduce功能；需要对大数据库有性能要求；需要使用 CouchDB但因为数据改变太频繁而占满内存的应用程序。

例如：你本打算采用 MySQL或 PostgreSQL，但因为它们本身自带的预定义栏让你望而却步。

4. Riak

• 所用语言：Erlang和C，以及一些Javascript
• 特点：具备容错能力
• 使用许可： Apache
• 协议： HTTP/REST或者 custom binary
• 可调节的分发及复制(N, R, W)
• 用 JavaScript or Erlang在操作前或操作后进行验证和安全支持。
• 使用JavaScript或Erlang进行 Map/reduce
• 连接及连接遍历：可作为图形数据库使用
• 索引：输入元数据进行搜索（1.0版本即将支持）
• 大数据对象支持（ Luwak）
• 提供“开源”和“企业”两个版本
• 全文本搜索，索引，通过 Riak搜索服务器查询（ beta版）
• 支持Masterless多站点复制及商业许可的 SNMP监控

最佳应用场景：适用于想使用类似 Cassandra（类似Dynamo）数据库但无法处理 bloat及复杂性的情况。适用于你打算做多站点复制，但又需要对单个站点的扩展性，可用性及出错处理有要求的情况。

例如：销售数据搜集，工厂控制系统；对宕机时间有严格要求；可以作为易于更新的 web服务器使用。

5. Membase

• 所用语言： Erlang和C
• 特点：兼容 Memcache，但同时兼具持久化和支持集群
• 使用许可： Apache 2.0
• 协议：分布式缓存及扩展
• 非常快速（200k+/秒），通过键值索引数据
• 可持久化存储到硬盘
• 所有节点都是唯一的（ master-master复制）
• 在内存中同样支持类似分布式缓存的缓存单元
• 写数据时通过去除重复数据来减少 IO
• 提供非常好的集群管理 web界面
• 更新软件时软无需停止数据库服务
• 支持连接池和多路复用的连接代理

最佳应用场景：适用于需要低延迟数据访问，高并发支持以及高可用性的应用程序

例如：低延迟数据访问比如以广告为目标的应用，高并发的 web 应用比如网络游戏（例如 Zynga）

6. Neo4j

• 所用语言： Java
• 特点：基于关系的图形数据库
• 使用许可： GPL，其中一些特性使用 AGPL/商业许可
• 协议： HTTP/REST（或嵌入在 Java中）
• 可独立使用或嵌入到 Java应用程序
• 图形的节点和边都可以带有元数据
• 很好的自带web管理功能
• 使用多种算法支持路径搜索
• 使用键值和关系进行索引
• 为读操作进行优化
• 支持事务（用 Java api）
• 使用 Gremlin图形遍历语言
• 支持 Groovy脚本
• 支持在线备份，高级监控及高可靠性支持使用 AGPL/商业许可

最佳应用场景：适用于图形一类数据。这是 Neo4j与其他nosql数据库的最显著区别

例如：社会关系，公共交通网络，地图及网络拓谱

7. Cassandra

• 所用语言： Java
• 特点：对大型表格和 Dynamo支持得最好
• 使用许可： Apache
• 协议： Custom, binary (节约型)
• 可调节的分发及复制(N, R, W)
• 支持以某个范围的键值通过列查询
• 类似大表格的功能：列，某个特性的列集合
• 写操作比读操作更快
• 基于 Apache分布式平台尽可能地 Map/reduce
• 我承认对 Cassandra有偏见，一部分是因为它本身的臃肿和复杂性，也因为 Java的问题（配置，出现异常，等等）

最佳应用场景：当使用写操作多过读操作（记录日志）如果每个系统组建都必须用 Java编写（没有人因为选用 Apache的软件被解雇）

例如：银行业，金融业（虽然对于金融交易不是必须的，但这些产业对数据库的要求会比它们更大）写比读更快，所以一个自然的特性就是实时数据分析

8. HBase

（配合 ghshephard使用）

• 所用语言： Java
• 特点：支持数十亿行X上百万列
• 使用许可： Apache
• 协议：HTTP/REST （支持 Thrift，见编注4）
• 在 BigTable之后建模
• 采用分布式架构 Map/reduce
• 对实时查询进行优化
• 高性能 Thrift网关
• 通过在server端扫描及过滤实现对查询操作预判
• 支持 XML, Protobuf, 和binary的HTTP
• Cascading, hive, and pig source and sink modules
• 基于 Jruby（ JIRB）的shell
• 对配置改变和较小的升级都会重新回滚
• 不会出现单点故障
• 堪比MySQL的随机访问性能

最佳应用场景：适用于偏好BigTable:)并且需要对大数据进行随机、实时访问的场合。

例如： Facebook消息数据库（更多通用的用例即将出现）

编注4：Thrift 是一种接口定义语言，为多种其他语言提供定义和创建服务，由Facebook开发并开源。

当然，所有的系统都不只具有上面列出的这些特性。这里我仅仅根据自己的观点列出一些我认为的重要特性。与此同时，技术进步是飞速的，所以上述的内容肯定需要不断更新。我会尽我所能地更新这个列表。

本文借鉴于http://www.csdn.net/article/2012-10-12/2810660-NoSQL-MongoDB-HBase

                 http://blog.jobbole.com/1344/