大数据新起企业将容易

WibiData这家初创公司也许名不见经传，但是这家公司的联合创始人Christophe Bisciglia和Aaron Kimball同时也缔造了Cloudera，这家成立于2008年的公司在大数据领域绝对可以算得上大名鼎鼎了。在2012年，Cloudera还获得了6500万美元E轮融资，这也是 2012年大数据领域融资的No.1。

言归正传，现在Hadoop的市场也是炙手可热，很多公司也是雄心勃勃准备大干一场，但是昂贵的咨询费用，同时还要为特定目标开发不同应用的要求，阻挡了大多数创新企业的脚步。甚至导致了很多企业已经不能局限于从非结构化数据转向到了结构化数据（常常被称之为ETL）或者执行一些后端的分析工作。实际上，WibiData已经投入了18个月的时间在做这件事情。Bisciglia表示，Hadoop领域三大巨头（Cloudera、Hortonworks以及MapR基本上已经垄断了全部的市场份额。

WibiData的系统架构

WibiData已经构建了自己的核心技术架构，将后端的Hadoop环境与面向客户的预测性应用连接到一起，包括HBase数据集，数据格式化工具以及机器学习算法。WibiData还创建了一个开源的项目称之为 kiji。

kiji开源项目

WibiData创建 开源项目kiji是为了提供一个构建大数据应用的框架。kiji的核心模块是kijiSchema，它提供了一个简单的Java API，通过Avro存储系列化来存储和管理HBase中类型化的数据。就像是构建在HBase上的一层Wrapper，基本上目的是让应用程序的编写者能更容易的用HBase管理结构化的数据，而不是作为一个扁平的表使用。

机器视觉运动控制 kiji的基本操作包括kijiTable的创建修改，以及Entity数据的读写。其操作的流程步骤和HBase的比较相似，也有许多对应的概念对象如Configuration/Admin/Table等。

总体来说，kiji基本上就是对HBase应用模式的一个封装，用Avro来承载对象化的数据，方便Schema的演化。从数据的角度加强面向对象编程的概念（相对Hbase Table）。面对的是希望能使用HBase存储数据，快速上手开发应用的用户。

Bisciglia表示，WibiData近期将重点关注金融和零售这两个行业内的发展。他预期未来成型的产品将包括数据格式化的预定义模式以及预制的预测模型，这两个产品主要面向广义的行业客户，而不是专门针对个人用户。WibiData也将为不同类型的用户（像数据科学家，系统工程师以及商业用户）提供不同种类的接口，他们可以通过自己特有的方式来跟数据进行交互。

时间会告诉我们一切，如果WibiData可以真正实现其目标，可以把Hadoop专门封装成一个特定的软件集合数据包，这将会一个新的里程碑。即使是像Cloudera这样的行业巨头也看到了这些需求，但是它们满手的业务都是将Hadoop集成到现有环境中，以便尽早的进行使用和运行。Cloudera公司的CEO Mike Olson曾表示，如果谁有雄心来解决Hadoop与应用之间的衔接问题，给我打，我马上就给资金，这笔钱随时放在那里！