ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Hadoop集群时间同步

2022-02-22 11:05:18  阅读:148  来源: 互联网

标签:同步 ntp 时间 sudo Hadoop 集群 服务器 ntpd


如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准;

如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。

1、需求

已有集群服务器,node01、node02、node03。

找一个机器(node01),作为时间服务器,所有的机器与这台集群时间进行定时的同步,生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果,采用1分钟同步一次。

2、时间服务器配置(node01)

#安装 ntpd和 ntpdate
$ sudo rpm -y install ntpd ntpdate

#启动ntpd并且设置为开机自启状态
$ sudo systemctl start ntpd
$ sudo systemctl is-enabled ntpd
#查看ntpd状态
$ sudo systemctl status ntpd

修改node01的ntp.conf配置文件

$ sudo vim /etc/ntp.conf

#修改内容如下:
#1、授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间
#将#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap改为

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

#2、集群在局域网中,不使用其他互联网上的时间
#将以下内容全部注释掉

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

#3、当该节点丢失网络连接,依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步,添加
server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改node01的/etc/sysconfig/ntpd 文件

$ sudo vim /etc/sysconfig/ntpd

#增加内容如下(让硬件时间与系统时间一起同步)
SYNC_HWCLOCK=yes

重启ntpd服务

$ sudo systemctl restart ntpd

3、其它服务器节点配置

关闭所有其它节点上ntpd服务和自启动

$ sudo systemctl stop ntpd
$ sudo systemctl disable ntpd

在其他机器配置1分钟与时间服务器同步一次

$ sudo crontab -e

#添加以下内容
#node02是节点名(即hostname)
*/1 * * * * /usr/sbin/ntpdate node02

修改任意机器时间,然后1分钟后查看机器是否与时间服务器同步

$ sudo date -s "2022-2-11 11:11:11"
$ sudo date

4、可能存在问题:(隔一分钟会发一次邮件,比较烦)

  “您在 /var/spool/mail/root 中有新邮件”问题

 

解决

  1. 使用root用户登录,进入/var/spool/mail目录下;
  2. 删除邮件:cat /dev/null > /var/spool/mail/root;
  3. 禁止系统启动邮件检查:echo "unset MAILCHECK" >> /etc/profile

 

标签:同步,ntp,时间,sudo,Hadoop,集群,服务器,ntpd
来源: https://www.cnblogs.com/Ao0216/p/15922083.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有