hadoop集群环境搭建(1)--单NameNode

hadoop 377 浏览

请输入图片描述

#环境 操作系统:Centos 6.4

jdk: 1.7.79

hadoop: 2.6.4

三台主机:mini01(namenode) +mini02(datanode) +mini03(datanode)


#部署 一、解压hadoop-2.6.4.tar.gz

tar -zxvf hadoop-2.6.4.tar.gz 

二、配置文件修改 修改5个文件:hadoop-env.sh、core-site.xml、hdfs.site.xml、mapred-site.xml、yarn-site.xml 1)打开etc/hadoop/hadoop-env.sh,配置jdk路径

export JAVA_HOME=/usr/local/jdk1.7.0_79/

2)打开etc/hadoop/core-site.xml,配置文件系统以及hadoop数据目录

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mini01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
</configuration>

3)打开etc/hadoop/hdfs.site.xml,配置副本个数(文件在hadoop中保存多少分)

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4)打开etc/hadoop/mapred-site.xml,配置资源调度框架类型,此处使用yarn

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
  1. 打开etc/hadoop/yarn-site.xml,配置resource manager所在节点
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mini01</value>
</property>
 
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

6)将以上文件全部拷贝到其他两台机器,保证三台机器(mini01,mini02,mini03)配置一致


#hadoop环境变量配置 1)vim /etc/profile 在文末加入

export HADOOP_HOME=/home/app/hadoop-2.6.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2)source /etc/profile
注:在三台机器上都执行以上操作


#hadoop格式化

hadoop namenode -format

验证:此时看到/home/hadoop/hdpdata目录则为格式化成功


#启动集群 1)启动namenode

hadoop-daemon.sh start namenode

2)启动datanode

hadoop-daemon.sh start datanode

3)验证 在网页上输入http://mini01:50070,看到如下界面即为成功(hadoop提供简单的web页面进行集群基本情况查看) hadoop

以上

关注微信公众号 "Kooola大数据" :) 聊人生 | 聊技术