简析关于大数据的几大流言

互联网IDC圈4月28日报道：据悉，IDC今年在数据存储上的增长速度将达到53.4%，无线数据的流量在过去的5年内增长200倍。如果你着眼自己通信渠道的话，将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长，这也是McKinsey、Facebook、Walmart都对大数据很重视的原因。

随着时代的发展，科技信息技术的发展也越来越成俗，而数据额体积和数据使用也在以惊人的速度增长，这一点从分析师的分析中不难获得。Hadoop，这一神奇的开源传奇，在它的身旁也出现了不少流言蜚语，而这言语可能会让IT高管们带着乐观的心态去制定策略。

Hadoop是公司为了解决大数据需求的主要投资领域之一，而类似Facebook这些在大体积数据处理上有所建树的公司都公开的吹捧过在Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼这些成功的典型。通过Hadoop的炒作，我们可以避免功能固着这种认知偏差。Hadoop是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就看一下在开始Hadoop项目之前必须了解的一些关于Hadoop和大数据的预先构想的错误理念：

传统SQL不可以在Hadoop上使用

当Facebook、Twitter、Yahoo！在Hadoop上豪赌时，他们同样知道HDFS和MapReduce受限于处理类似SQL语言的能力，这也是Hive、Pig和Sqoop最终得以孵化的原因。基于全球上大量的数据都是通过SQL来管理，一些公司和项目都在Hadoop和SQL的兼容上狠下功夫。

大数据只关系到体积

在体积之外，许多工业先锋还经常提到variety（多样）、variability（可变）、velocity（速度）和value（价值）。撇开所有单词都押头韵，关键点在于大数据并不是体积上的增长——它正在向着实时分析、结构化和非结构化来源方向发展，并被用于尝试和制定更好的决策。综上所述，不是只有分析大体积数据才会获得价值。

Hadoop只可以在数据中心运行

首先，存在SaaS云服务解决方案。许多云服务允许你云端运行Hadoop、SQL，这无疑可以帮助你省下数据中心建造投资的时间和金钱。对于一个公有云运行时，Java开发者可以从SpringDataforHadoop以及一些其它的GitHub中的用例获益。

取代大型机！Hadoop是唯一的新IT数据平台

在IT投资组合里有很多一直长期存在的投资，而大型机就是这么一个例子，与ERP、CRM和SCM这些系统一样演变至今。而如果大型机不想被公司或者架构遗弃，它就必须展示在现有投资环境中的价值。而VMware的许多客户在使用大型机上都遇到了速度、规模和开销的问题，但是并不是没有途径去解决这些问题，比如像vFabricSQLFire这样的内存大数据网络就可以被嵌入或者使用分布式缓存途径去解决类似队列的高速摄取、促进大型机的批处理或实时分析报告这些问题。

Hadoop不可以在SAN或NAS上运行

Hadoop在本地磁盘上运行，对于中小型集群它同样可以在一个共享的SAN环境下运行良好。而高带宽比如10GBEthernet、PoE以及iSCSI对性能同样有很好的支持。

虚拟化会导致性能下降

Hadoop最初的设计只是在实体服务器上运行，然而随着越来越多机构的采用，许多公司都希望它能作为数据中心服务在云中运行。为什么这么多的公司都希望虚拟化Hadoop？首先要考虑管理基础设施的扩展性，VMware快速的认识到扩展计算资源，比如虚拟Hadoop节点，当数据和计算分开时会对性能有所帮助，否则如果你关闭某个Hadoop节点将丢失上面的所有数据或者添加一个没有数据的空节点。

Hadoop对虚拟化毫无经济价值

Hadoop通常解释在一堆商用服务器上运行，这样就会有人认为添加一个虚拟层在带来额外支出的同时并不会有额外的价值收益。用这个观点看是存在缺陷的，你并没有考虑到数据和数据分析事实上都是动态的。想成为一个利用Hadoop能量去成长、创新及创造效率的公司，你必须改变数据的来源、分析的速度等等。虚拟化基础设施同样可以减少物理硬件的封装，让CAPEX直接等于纯粹的商用硬件，而通过自动以及更搞笑的利用共享基础设施同样可以减少OPEX.

那些肆意的宣传只能是作为接受新事物的一个参考，这并不代表着抉择，在你做决定之前进行一些必要的了解和分析是非常重要的。而如果你受了这些漂亮谎言的蛊惑的话，将会让你的投资陷入不符之地。