MFS分布式文件系统搭建与监控详解-创新互联

MFS介绍

官网地址：http://www.moosefs.com/

MooseFS是一个具有容错性的网络分布式文件系统。

它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用，通过附加新的计算机或者硬盘可以实现容量的动态扩展，体系架构可伸缩性极强，删除的文件可以根据配置的时间周期进行保留（一个文件系统级别的回收站），高可靠（数据的多个拷贝被存储在不同的计算机上），提供 web 监控接口，提高随机读或写的效率，提高海量小文件的读写效率。但是mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存。支持特殊文件（块和字符设备、管道以及套接字），符号连接和硬连接。

包括以下四种角色：

实验环境介绍

基本环境表

拓扑图

操作步骤

• 五台虚拟机模拟搭建MFS文件系统

• 关闭防火墙及selinux

  systemctl stop firewalld
  setenforce 0

  搭建Master Server

  安装软件

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

  配置文件解释

  cd /etc/mfs/

  -rw-r--r--. 1 root root 4057 9月 27 15:18 mfsexports.cfg        //输出目录配置文件
  -rw-r--r--. 1 root root 4057 7月 20 19:16 mfsexports.cfg.sample
  -rw-r--r--. 1 root root 9015 9月 27 15:18 mfsmaster.cfg        //Master配置文件
  -rw-r--r--. 1 root root 9015 7月 20 19:16 mfsmaster.cfg.sample
  -rw-r--r--. 1 root root 1052 9月 27 15:18 mfstopology.cfg     //元数据日志
  -rw-r--r--. 1 root root 1052 7月 20 19:16 mfstopology.cfg.sample

  启动服务

  systemctl start moosefs-master
  systemctl enable moosefs-master
  netstat -ntap | grep mfs

  tcp       0     0 0.0.0.0:9419           0.0.0.0:*               LISTEN     6217/mfsmaster     
  tcp       0     0 0.0.0.0:9420            0.0.0.0:*              LISTEN     6217/mfsmaster     
  tcp       0     0 0.0.0.0:9421           0.0.0.0:*              LISTEN     6217/mfsmaster

  搭建MetalLogger Server

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-metalogger –y

  修改配置文件

  vim /etc/mfs/mfsmetalogger.cfg

  MASTER_HOST = 192.168.137.10          //第52行，去除注释，改地址指向主服务器。

  启动服务

  systemctl start moosefs-metalogger
  systemctl enable moosefs-metalogger
  netstat -ntap | grep mfs

  tcp       0     0 192.168.137.11:36766   192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

  搭建Chunk Server

  这两台Chunk Server的搭建步骤是完全相同

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-chunkserver –y

  修改配置文件

  修改一

  vim /etc/mfs/mfschunkserver.cfg

  MASTER_HOST = 192.168.137.10    //第77行，将地址指向主服务器

  修改二

  vim /etc/mfs/mfshdd.cfg
  /gongxiang            //在末行添加共享目录

  mkdir /gongxiang     //创建共享目录

  chown -R mfs:mfs /gongxiang   //为共享目录授权

  启动服务

  systemctl start moosefs-chunkserver
  systemctl enable moosefs-chunkserver
  netstat -ntap | grep mfs

  tcp       0     0 0.0.0.0:9422           0.0.0.0:*               LISTEN     71921/mfschunkserve
  tcp       0     0 192.168.137.13:59006    192.168.137.10:9420    ESTABLISHED 71921/mfschunkserve

  Client的搭建

  安装

  curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
  curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
  yum install moosefs-client –y

  加载fuse模块至内核

  modprobe fuse

  挂载共享目录

  mkdir /opt/mfs   //创建挂载点
  mfsmount /opt/mfs/ -H 192.168.137.10  //挂载，地址为master地址

  df –h

  文件系统            容量 已用 可用 已用% 挂载点
  /dev/sda6            21G 4.1G   17G  20% /
  devtmpfs            896M    0 896M   0% /dev
  tmpfs               911M    0 911M   0% /dev/shm
  tmpfs               911M  11M 900M   2% /run
  tmpfs               911M    0 911M   0% /sys/fs/cgroup
  /dev/sda2           9.8G  33M 9.8G   1% /opt
  /dev/sda3           4.9G  89M 4.8G   2% /home
  /dev/sda1           1014M 165M 850M  17% /boot
  tmpfs               183M  64K 183M   1% /run/user/1000
  tmpfs               183M    0 183M   0% /run/user/0
  192.168.137.10:9421  58G 8.1G  50G  14% /opt/mfs

• MFS监控

• 主服务器上开启监控

• mfscgiserv
  lockfile created and locked
  starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

  访问192.168.137.10：9425     主机地址

  填写主服务器地址

  
  界面

  

  

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。