Hadoop基础入门学习笔记（基本概念）-创新互联

一、数据块(blck)

HDFS(Hadp Distributed File System)默认的最基本的存储单位是64M的数据块。

和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。

不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

二、元数据节点(Namende)和数据节点(datande)

元数据节点用来管理文件系统的命名空间

其将所有的文件和文件夹的元数据保存在一个文件系统树中。

这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace p_w_picpath)及修改日志(edit lg)

其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。

数据节点是文件系统中真正存储数据的地方。

客户端(client)或者元数据信息(namende)可以向数据节点请求写入或者读出数据块。

其周期性的向元数据节点回报其存储的数据块信息。

从元数据节点(secndary namende)

从元数据节点并不是元数据节点出现问题时候的备用节点，它和元数据节点负责不同的事情。

其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并，以防日志文件过大。这点在下面会详细叙述。

合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据节点失败的时候，可以恢复。

1、 元数据节点文件夹结构

VERSIN文件是java prperties文件，保存了HDFS的版本号。

layutVersin是一个负整数，保存了HDFS的持续化在硬盘上的数据结构的格式版本号。

namespaceID是文件系统的唯一标识符，是在文件系统初次格式化时生成的。

cTime此处为0

strageType表示此文件夹中保存的是元数据节点的数据结构。

namespaceID=1232737062
cTime=0
strageType=NAME_NDE
layutVersin=-18

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。