81个开源大数据处理工具汇总（上），包括查询引擎/流式计算/存储

HyperDex是一个分布式、可搜索的键值存储系统，特性如下：

• 分布式KV存储，系统性能能够随节点数目线性扩展
• 吞吐和延时都能秒杀现在风头正劲的MonogDB，吞吐甚至强于Redis
• 使用了hyperspace hashing技术，使得对存储的K-V的任意属性进行查询成为可能

官网：http://hyperdex.org/

四、TokyoCabinet

日本人Mikio?Hirabayashi（平林干雄）开发的一款DBM数据库。Tokyo Cabinet 是一个DBM的实现。这里的数据库由一系列key-value对的记录构成。key和value都可以是任意长度的字节序列,既可以是二进制也可以是字符串。这里没有数据类型和数据表的概念。

当 做为Hash表数据库使用时，每个key必须是不同的,因此无法存储两个key相同的值。提供了以下访问方法:提供key,value参数来存储，按 key删除记录，按key来读取记录，另外，遍历key也被支持，虽然顺序是任意的不能被保证。这些方法跟Unix标准的DBM,例如GDBM,NDBM 等等是相同的，但是比它们的性能要好得多（因此可以替代它们) 。下一代KV存储系统，支持strings、integers、floats、lists、maps和sets等丰富的数据类型。

TokyoCabinet官方网站>>>

五、Voldemort

Voldemort是一个分布式键值存储系统，是Amazon’s Dynamo的一个开源克隆。特性如下：

• 支持自动复制数据到多个服务器上。
• 支持数据自动分割所以每个服务器只包含总数据的一个子集。
• 提供服务器故障透明处理功能。
• 支持可拨插的序化支持，以实现复杂的键-值存储，它能够很好的5.集成常用的序化框架如：Protocol Buffers、Thrift、Avro和Java Serialization。
• 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
• 每个节点相互独立，互不影响。
• 支持可插拔的数据放置策略

官网：http://project-voldemort.com/

六、Amazon?Dynamo

贡献者：亚马逊

简介：Amazon Dynamo 是一个经典的分布式Key-Value 存储系统，具备去中心化，高可用性，高扩展性的特点，但是为了达到这个目标在很多场景中牺牲了一致性。Dynamo在Amazon中得到了成功的应用，能够跨数据中心部署于上万个结点上提供服务，它的设计思想也被后续的许多分布式系统借鉴。如近来火热的Cassandra，实际上就是基本照搬了Dynamo的P2P架构，同时融合了BigTable的数据模型及存储算法。

Amazon Dynamo官方网站>>>

七、Tair

贡献者：淘宝

简介：tair 是淘宝自己开发的一个分布式 key/value 存储引擎. tair 分为持久化和非持久化两种使用方式. 非持久化的 tair 可以看成是一个分布式缓存. 持久化的 tair 将数据存放于磁盘中. 为了解决磁盘损坏导致数据丢失,tair 可以配置数据的备份数目,tair 自动将一份数据的不同备份放到不同的主机上,当有主机发生异常,无法正常提供服务的时候,其于的备份会继续提供服务.tair 的总体结构

八、Apache?Accumulo

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!