Hadoop2.7.2完全分布式環(huán)境搭建

服務(wù)器:

用戶:hadoop 

ip機(jī)器名系統(tǒng)
192.168.199.155master-hadoopubuntu desktop 15
192.168.199.157slave1-hadoopubuntu desktop 15
192.168.199.158slave2-hadoopubuntu desktop 15

 

java:

  • 版本:1.8.0_73

image

  • 路徑:/usr/local/jdk

hadoop:

  • 版本:2.7.2

  • 路徑:/usr/local/hadoop

 




開(kāi)始部署

以下部署動(dòng)作全部在master上執(zhí)行,slave1和slave2通過(guò)虛擬機(jī)克隆的方式生成。

設(shè)置系統(tǒng)環(huán)境變量,編輯/etc/profile,末尾添加:

image

修改hosts,編輯/etc/hosts,末尾添加:

image

配置ssh免密登陸

[hadoop@master-hadoop ~]$ ssh-keygen -t rsa

[hadoop@slave1-hadoop ~]$ cd/home/hadoop/.ssh/

[hadoop@slave1-hadoop .ssh]$ cat id_rsa.pub >> authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 600 authorized_keys

[hadoop@slave1-hadoop .ssh]$ chmod 700 ../.ssh

修改hadoop配置文件(core-site.xml和hdfs-site.xml文件中根據(jù)hadoop路徑修改節(jié)點(diǎn)內(nèi)容)

hadoop-env.sh

image

slaves

image

core-site.xml

image

hdfs-site.xml

image

yarn-site.xml

image

mapred-site.xml

image

 

克隆虛擬機(jī),生成slave節(jié)點(diǎn)(vmware克隆后網(wǎng)卡mac要重新生成,然后在ubuntu網(wǎng)絡(luò)設(shè)置里重新設(shè)置mac地址)

  1. 修改機(jī)器名,編輯/etc/hostname,文件內(nèi)容改為slave1|slave2后重啟系統(tǒng)。

  2. 在master上ssh連接slave1和slave2,測(cè)試免密碼登陸是否成功,執(zhí)行

    • ssh  slave1-hadoop

  3. 在master上啟動(dòng)hadoop,執(zhí)行

    • start-all.sh

注意事項(xiàng):

  1. hadoop用戶必須有/usr/local/hadoop文件夾讀寫(xiě)權(quán)限

  2. ssh登陸提示The authenticity of host can't be established,修改/etc/ssh/ssh_config文件的配置,最后面添加:

StrictHostKeyChecking no

UserKnownHostsFile /dev/null


測(cè)試

image


出處:http://www.cnblogs.com/wocaca/p/5187059.html  作者:一羽賜命


精品深夜AV无码一区二区老年,又湿又紧又大又爽a视频,久久亚洲精品无码观看不卡,香港三级日本三级a视频 广昌县| 瑞丽市| 宁晋县| 龙井市| 洛宁县| 永新县| 嘉鱼县| 乐至县| 镇宁| 西峡县| 双桥区| 黎平县| 永登县| 徐闻县| 鄢陵县| 青冈县| 平谷区| 禹州市| 祥云县| 鹿泉市| 邹平县| 新龙县| 乐陵市| 华蓥市| 米脂县| 满城县| 台中市| 札达县| 普兰县| 延津县| 交口县| 巴里| 巨野县| 温州市| 时尚| 罗山县| 广元市| 甘孜县| 波密县| 华宁县| 潢川县|