博主上篇的文章講的是偽分布式部署,那么接下來進(jìn)行分布時(shí)的教學(xué),先從搭建集群開始,為分布式開發(fā)環(huán)境做準(zhǔn)備。
?
目錄
?
1. 克隆虛擬機(jī)
在這里我們直接克隆[Centos版]Hadoop運(yùn)行環(huán)境的具體搭建過程(超詳細(xì))
這篇文章中的快照
快照很有必要,如果不知道怎樣打快照的同學(xué)在虛擬機(jī)關(guān)機(jī)后,右鍵虛擬機(jī)->快照->快照管理器
- 1. 選擇要克隆的快照
- 2. 選擇完整克隆
- 3. 克隆后
為什么要改mac地址呢?
因?yàn)槊總€(gè)機(jī)器的mac地址都是獨(dú)一無二的,但是克隆的機(jī)器會(huì)有兩個(gè),需要?jiǎng)h除掉原有的mac地址
[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules
[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
# 我自己的網(wǎng)卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2
怎樣判斷自己修改是否成功:ifconfig
[root@hadoop001 ~]# vim /etc/sysconfig/network
5. 添加別名
[root@hadoop001 ~]# vim /etc/hosts
# 下面為博主本人設(shè)的別名,別名設(shè)置盡量相似,這樣后面會(huì)很方便
192.168.2.112 hadoop002
192.168.2.113 hadoop003
192.168.2.114 hadoop004
6. 關(guān)閉防火墻
內(nèi)網(wǎng)環(huán)境安全性比較高,開啟防火墻會(huì)影響效率,所以需要關(guān)閉防火墻
# 查看防火墻的狀態(tài)
service iptables status
# 啟動(dòng)防火墻的服務(wù)
service iptables start
# 關(guān)閉防火墻服務(wù)
service iptables stop
# 徹底關(guān)閉防火墻
chkconfig iptables off
7. 關(guān)閉selinux
[root@hadoop001 桌面]# vim /etc/selinux/config
- 下面需要重啟,才能使以上的所有修改生效
scp(secure copy)安全拷貝
scp定義:scp可以實(shí)現(xiàn)服務(wù)器與服務(wù)器之間的數(shù)據(jù)拷貝。(from server1 to server2)
基本語法:
scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname
命令 遞歸 要拷貝的文件路徑/名稱 目的用戶@主機(jī):目的路徑/名稱
# 拷貝文件
# 將hadoop101中/etc/profile文件拷貝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile
# 拷貝文件夾
# 在hadoop101上,將hadoop101中/opt/module目錄下的軟件拷貝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module root@hadoop002:/opt/module
注意:拷貝過來的/opt/module目錄,別忘了在hadoop002、hadoop003、hadoop004上修改所有文件的,所有者和所有者組。sudo chown bigdata:bigdata -R /opt/module
9. SSH 遠(yuǎn)程登錄
1. 基于密碼的登錄
命令 | 含義 |
---|---|
ssh ip地址 | 遠(yuǎn)程登錄到指定服務(wù)器 |
首次遠(yuǎn)程登錄會(huì)詢問yes/on ,以后就不會(huì)出現(xiàn)了
2. 無密鑰配置(免密登錄)
- 1.
ssh-keygen -t rsa
+ 三個(gè)回車 在hadoop002,hadoop003,hadoop004上面分別執(zhí)行命令,產(chǎn)生公鑰和私鑰 - 2.
ssh-copy-id hadoop002
將公鑰拷貝到hadoop002上面去,以此類推,全部拷貝完畢
配置完成后,就可以免密登錄了
注意:
① 第一次拷貝的時(shí)候需要輸入密碼,另外在拷貝除了自身虛擬機(jī)公鑰的時(shí)候,需要在root賬號(hào)下進(jìn)行
②想要查看當(dāng)前虛擬機(jī)能夠被哪些虛擬機(jī)免密登錄,可以vim /root/.ssh/authorized_keys
搭建集群的過程很繁瑣,并且稍有不慎就不會(huì)出錯(cuò),所以各位小伙伴們需要多多練習(xí),熟能生巧。
各位路過的朋友,如果覺得可以學(xué)到些什么的話,點(diǎn)個(gè)贊再走吧,歡迎各位路過的大佬評(píng)論,指正錯(cuò)誤,也歡迎有問題的小伙伴評(píng)論留言,私信。每個(gè)小伙伴的關(guān)注都是本人更新博客的動(dòng)力?。?!
?
本文摘自 :https://blog.51cto.com/u