linux集群命令同步,同步 linux

如何实现linux负载均衡集群文件同步?

你可以使用rsync.他是基于文件同步的.但是如果是数据库类型的要求高的话你可以使用drdb来同步..drdb是基于块同步

创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都做网站、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的师宗网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

如何实现Linux多台服务器间的文件双向同步

Linux自带了ntp服务 -- /etc/init.d/ntpd，这个服务不仅可以设置让本机和某台/某些机器做时间同步，他本身还可以扮演一个time server的角色，让其他机器和他同步时间。

配置文件就是/etc/ntp.conf。

为了测试，设置让node2 -- 192.168.1.102和node1 -- 192.168.1.101做时间同步。第一步，node1做time server，node1本身不和其他机器时间同步，就是取本地时间。所以，先把node1机器的时间调准了：

[root@node1 ~]date -s 08/03/2011

[root@node1 ~]date -s 11:12:00

[root@node1 ~]clock -w[root@node1 ~]hwclock --systohc

后两个命令是把设置的时间写到硬件时间中去（也就是CMOS里面的时间）。

第二步，然后将node1配置成一个time server，修改/etc/ntp.conf，[root@node1 ~]vi /etc/ntp.conf其他的配置不怎么需要改，只需要关注restrict的配置：

1. 注释掉原来的restrict default ignore这一行，这一行本身是不响应任何的ntp更新请求，其实也就是禁用了本机的ntp server的功能，所以需要注释掉。

Linux集群常用指令

姓名：张昊楠   学号：21021210691

存储NAS 文件操作

df -h查看空间使用情况

警惕超大 nohup.out

ls   当前路径下的文件列表

pwd  查看当前路径

cd    进入某个文件夹

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e：错误信息

.o：标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装（占用内存较大）

Linux集群使用命令

存储NAS 文件操作

df -h查看空间使用情况

警惕超大 nohup.out

任务提交

任务提交前

qhost--查看集群负载状态

qsub / qsub-sge.pl--提交任务

qstat--查看任务状态

qdel / qmod--任务控制

任务查看

qhost -j---列出所有用户在每个节点上的任务

qhost -q---列出每个节点上每个队列的任务数

qhost -u username---列出某个用户在每个节点上的任务

提交命令

qsub -cwd -q queue.q test.sh

qsub-sge.pl --maxproc 50 --resource vf=5G --queue queue.q test.sh

任务查看2

qstat -u username---查看某个用户的任务

qstat -u *,---查看所有用户的任务

qstat –j jobs_ID---查看某个任务的详细信息

查看.e和.o文件

.e：错误信息

.o：标准输出

任务控制

qdel jobID---删除某个任务

qdel -u username---删除某个用户的所有任务

qmod -s jobID--挂起某个任务

qmod -us jobID---继续运行某个挂起的任务

按任务占用内存大小选择相应的队列

查看队列 qstat -g c

QUEUE

PE.q--并行

cloud.q--云平台

general.q--96G节点

middle.q--96G节点

great.q--大内存节点

plus.q--大内存节点

single.q--Trinity组装

single._p.q---Trinity组装（占用内存较大）

TOP监视

编辑于 2017-04-21

Linux集群系统时间同步

环境准备：

要做到服务器集群的时间同步，集群中各台机器的时区必须相同的，我们在国内就使用中国时区，如果你的机器的时区不是"Asia/Shanghai"，需要修改时区

CentOS 中时区是以文件形式存在，当前正在使用的时区文件位于

/etc/localtime ，其他时区文件则位于 /usr/share/zoneinfo 下，中国时区的文件全路径是 /usr/share/zoneinfo/Asia/Shanghai

要更改时区，直接使用如下命令就OK

需要使用 tzselect 命令去生成时区文件，生成好的时区文件就在/usr/share/zoneinfo 目录下，具体步骤去下：

使用 date -s 命令来修改系统时间

让集群所有的服务器的时间同步，就用远程连接工具连接所有服务器，然后在所有的服务器中同时执行 date -s 命令设置时间，然后在所有的服务器中执行 hwclock -w 命令即可

美国标准技术院时间服务器：time.nist.gov（192.43.244.18）

上海交通大学网络中心NTP服务器地址：ntp.sjtu.edu.cn（202.120.2.101）

中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）

若以上提供的网络时间服务器不可用，请自行上网寻找可用的网络时间服务器

1 使用命令： crontab -e

2 然后往里加入一行内容

上面的配置表示，每隔十分钟从 202.120.2.101 该时间服务器同步一次时间。

3 保存退出

以上两步操作可以让node01这个服务器每隔10分钟去指定的服务器同步时间，如果需要让集群中的所有服务器(hadoop01-hadoop04)时间同步，那么每台服务器都要做以上两步操作。

node01的IP为192.168.21.101，让它作为时间服务器，192.168.21.0局域网内的所有服务器都向它同步时间，而node01这台时间服务器本身，向外网时间服务器同步时间(比如中国国家授时中心服务器)

我用node01

我去掉了所有的默认注释，对其中的修改写了自己的注释，没有写注释的是默认配置

因为ntpd服务开启之后，就不能手动同步时间了，那么为什么要先手动同步时间呢？

当server(中国国家授时中心服务器)与client(node01)之间的时间误差过大时（可能是1000秒），node01去同步时间可能对系统和应用带来不可预知的问题，node01将停止时间同步！所以如果发现node01启动之后时间并不进行同步时，应该考虑到可能是时间差过大引起的，此时需要先手动进行时间同步！

看到红色框中的内容，表示连接和监听已正确

这里的前4行就是我们配置的4个中国国家授时中心的服务器的信息

最后一行就是本地时间服务的信息

下面对每个列的意义进行说明：

同样，服务启动后需要等待5-10分钟才能看到这个正常的信息

到这里，我们局域网内的时间服务器node01就已经配置完毕了

文件内容如下：

同样，没有写注释的都是默认的配置

原因同(5)

到这里，利用局域网内一台时间服务器来同步整个集群时间的全部配置就已经完成

说明：若以上提供的网络时间服务器不可用，请自行上网寻找可用的网络时间服务器，另外需要关闭各服务器的防火墙，才能进行时间同步

参考文章：

内网环境NTP服务及时间同步(CentOS6.x)配置和部署

配置NTP服务ntpd/ntp.conf（搭建Hadoop集群可参考）