HDFS总结-创新互联

                                      HDFS最近学习总结

一. hdfs整体运行机制：

1. 客户把一个文件存入HDFS中，其实HDFS会把文件切成块进行存储，会分散存储到N台Linux系统中（存储文件块的角色是:datanode）(重要的是切块的行为是由客户端决定的)
2. 一旦文件被切块切块存储，HDFS一定要有个机制，需要记录每一个文件的切块信息和每个切块具体的存储机器。（记录块信息的是namenode）
3. 需要保证数据的安全性，HDFS将每一个块都在集群中存放多个副本（副本数是由存储时的客户端决定的）。
4. 总结 : 一个HDFS系统是由一台运行了namenode的服务器和N台运行了datanode的服务器组成。

二. 知识点：

1. 元数据由namenode管理
2. 元数据：HDFS的目录结构及每一个文件的块信息（块的id，副本数量，存放位置等）

三. namenode元数据记录位置 ：

1. namenode把实时的完整元数据存放到内存中
2. namenode还会在磁盘中存储内存元数据在某个时间上的镜像文件fsimage
3. namenode会把让元数据变化的客户端操作记录（类似添加）在edits日志文件中。

四. secondarynamenode 责任 ：

1. secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志，然后加载fsimage镜像到内存中，然后顺序解析edits文件，对内存中的元数据对象进行修改（整合）整合完成后，将内存元数据序列化成一个新的fsimage，并将这个fsimage镜像文件上传给namenode。这个过程叫checkpoint
2. secondary namenode每次做checkpoint操作时，第一次checkpoint需要下载fsimage，以后就不用下载了，因为自己的机器上就已经有了。
3. 总结：secondarynamenode 会把fsimage 和 edits 下载过到自己的机器上，进行序列化成元数据在传给namenode,可以记性单点故障处理。所以 secondarynamenode最好也配置下。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。