Hadoop生态系统在壮大：十大炫酷大数据项目

互联网IDC圈3月7日报道：在开发人员开发Hadoop以克服大数据带来的挑战之后的10年间，这些技术的生态系统在不断发展壮大。Apache软件基金会下面有众多的开源大数据技术项目。本文介绍一些重要项目，并顺便了解几个新兴项目。

管理和分析大数据已经变成了重大挑战，数量急剧增加的信息从社交媒体、连接到物联网中“物件”的传感器、结构化数据、非结构化数据以及可以收集的其他一切数据收集而来。为了应对这项任务，开发人员已开发了一系列新的开源技术。

旗舰软件Apache Hadoop是Apache软件基金会的一个项目，它在上个月迎来了十周年。这十年已发生了很大的变化。如今，另外许多技术也是大数据和Hadoop生态系统的一员，它们大多数都归属Apache软件基金会。

开发人员和企业组织在使用诸多项目，开发大数据技术，并将它们捐献给开源社区，以便进一步发展和采用，其中就包括Spark、Hive、HBase和Storm。

在网飞和领英等一些企业，其中一些技术已用于生产环境。它们让企业组织能够实时处理海量数据，并转换那些数据，为最终客户改善服务。

这些大数据技术常常脱胎于试图改善大数据技术的工作方式、加快处理速度的企业组织。它们代表了生态系统的演变之路和下一波开源技术，这证明明智的参与者组成的社区取得的发展胜过专有企业环境里面的发展。

当前的开源和大数据时代完全始于Hadoop，它常常被誉为是一种面向分布式存储的开源框架，用于在大众化硬件上处理庞大数据集。

Hadoop发行版公司Hortonworks的企业战略副总裁Shaun Connolly在接受采访时告诉《信息周刊》杂志：“作为一种新兴的数据架构，Hadoop成为备受瞩目的中心。Hadoop周围出现了这个生态系统，备受关注的项目围绕它壮大起来。”

而发展并未止步。新的项目一直被Apache软件基金会纳入到大数据生态系统。最近，Apache Arrow就成了一个顶级项目。其他项目可能会作为Apache软件基金会的孵化器计划(Incubator)的一员而进入生态系统。去年年底，IBM面向Spark的SystemML机器学习引擎就得到了接受，成为一个孵化器项目。

有许多项目是Apache软件基金会的大数据生态系统的一员。本文介绍了一些重要项目，还介绍了几个新兴项目。欢迎留言交流!

Hadoop

Hadoop其实是开源大数据领域的旗舰技术。它是由雅虎的一个编外项目发展起来的，当时开发人员需要一种方法来存储和处理他们使用新的搜索引擎收集而来的海量数据。这项技术最终捐献给了Apache软件基金会。如今有来自商用公司的三大发行版：Cloudera、Hortonworks和MapR。Hadoop的开发者之一Doug Cutting最近接受了《信息周刊》杂志的采访，畅谈了Hadoop的发展。

Hive

Apache Hive最初由Facebook开发，后来捐献给了Apache软件基金会。这项技术是一种建立在Hadoop基础上的数据仓库基础设施，提供了数据汇总、查询和分析。

使用Hive的公司包括CNET和eHarmony。

HBase

Apache HBase脱胎于一家名为Powerset的公司所搞的一个项目，2008年该公司被微软收购。其目的是，处理海量数据，便于自然语言搜索。这项技术是一种非关系型的开源分布式数据库，仿照了谷歌的BigTable，用Java编写而成。2010年，HBase成为Apache软件基金会的一个项目。

如今使用HBase的公司包括Adobe、Facebook、Meetup和趋势科技。

Spark

Apache Spark俨然就是大数据生态系统冉冉升起的明星。这项技术最初由加州大学伯克利分校的AMP实验室开发。它可以取代Hadoop的MapReduce，不过速度更快，因为Spark改而使用内存中处理技术，其性能最多高出100倍，这取决于具体应用。

Spark的开发人员现在供职于Databricks，该公司是支持Apache软件基金会内部这个项目的主力军，它还提供商用的Spark即服务( Spark-as-a-Service)。截至2015年年底，Spark是所有大数据项目中最活跃的开源项目，之前12个月有600多个代码捐献者。

如今许多公司使用Spark，包括亚马逊、Autodesk、电子港湾、Groupon、OpenTable和TripAdvisor。

Kafka

Apache Kafka起初只是领英公司内部的一个项目，作为一种消息传递系统，用于代理安排该公司面向消费者的职业网站及平台生成和处理的海量实时数据。

2011年，Kafka捐献给了开源社区，2012年从Apache孵化器计划出来。当初开发Kafka的领英开发人员成了从领英拆分出来的Confluent这家新公司的成员。

使用Kafka的公司包括领英、推特、网飞、Pinterest、高盛和Coursera。

Storm

Apache Storm在其项目页面上的描述是，这是一种分布式实时计算系统，让用户很容易可靠地处理无限制的数据流，正如Hadoop用于批量处理，Storm用于实时处理。

这项技术有时被称为是Spark的替代技术。2011年，开发Storm的公司BackType被推特收购。2014年，从孵化器计划出来后，Storm成为了Apache软件基金会的一个顶级项目。

此后，推特开发了自己的内部系统，用于处理最初分派给Storm的任务。使用Storm的公司包括雅虎和Spotify。

Nifi

Apache Nifi原先名叫Niagara Files，这个技术转让项目由美国国家安全局(NSA)开发，2014年11月，它作为一个孵化器项目，捐献给Apache软件基金会。2015年，它成了一个顶级项目。

Nifi旨在处理这个问题：如何让数据在系统之间的流动实现自动化。其在Apache软件基金会上的项目页面介绍，这项技术“支持功能强大、可扩展的有向图，这些有向图涉及数据路由、转换和系统中介逻辑。”

它提供了一种基于Web的用户界面。另外，与NSA开发的其他项目一样，它也提供了安全功能，包括SSL、SSH、HTTPS、加密内容，以及可插入式、基于角色的验证和授权机制。

Flink

2015年1月，Apache基金会接受Apache Flink成为一个顶级项目。这项技术是一种面向批量数据和流数据的分布式数据分析引擎，它提供了使用Java和Scala的编程API。

该项目脱胎于柏林的Stratosphere研究项目。使用Flink的企业组织包括第一资本(Capital One)和Data Artisans。

Arrow

这个月，Apache Arrow被Apache软件基金会接收为一个顶级项目。这项技术源自Dremio公司，这家公司还捐献了Apache Drill项目。Dremio的几位创始人是从MapR出来的，这是一家Apache Hadoop发行版公司。

据Apache软件基金会声称，Arrow最初是靠来自Apache Drill项目的代码起家的。据Dremio的联合创始人兼首席技术官Jacques Nadeau声称，Arrow提供了列式内存分析功能。

Apache软件基金会的更多大数据项目

这些是Apache软件基金会里面Hadoop生态系统中一些备受关注的大数据项目。另外许多是捐献而来的。所有这些项目的开发工作都在进行之中，Apache软件基金会的网站对它们都有全面记载。

Connolly告诉《信息周刊》杂志：“Apache之道就是社区比代码重要。虽然技术值得关注，但是Apache之道是把社区放在首位。”