Hadoop安装及配置

一、Hadoop安装及配置

服务器防火墙相关命令

#查看状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
checonfig iptables --list
#关闭防火墙开机启动
checonfig iptables off

安装jdk，安装教程参考Centos7安装配置Java环境

下载Hadoop安装包: http://hadoop.apache.org/#Download+Hadoop

安装：将tar包解压即可

tar -zxvf xxx

配置相关文件

进入解压包中的/etc/hadoop目录下

修改hadoop-env.sh文件中JAVA_HOME路径为安装jdk的绝对路径/usr/local/java/jdk1.8.0_181

修改core-site.xml文件如下

<configuration>
        <!--配置元节点-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.31.207:9000/</value>
        </property>
        <!--配置数据存储节点目录-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/root/soft/hadoop-2.9.1/tmp</value>
        </property>
</configuration>

修改hdfs-site.xml件如下:

<configuration>
        <property>
                <name>dfs.replication</name>
                <!--指定副本数 默认是3-->
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/root/soft/hadoop-2.9.1/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/soft/hadoop-2.9.1/tmp/dfs/data</value>
        </property>
</configuration>

修改mapred-site.xml件如下:

<configuration>
    <!--配置监控器-->
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml件如下:

<configuration>
        <!--指定YARN的老大：即配置主机地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.31.207</value>
        </property>
        <!--配置节点管理模式-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置Hadoop的环境变量，修改 /etc/profile文件

JAVA_HOME=/usr/local/java/jdk1.8.0_181
JRE_HOME=/usr/local/java/jdk1.8.0_181/jre
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export HADOOP_HOME=/root/soft/hadoop-2.9.1
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME CLASSPATH HADOOP_HOME

# 刷新配置文件
source /etc/profile

修改主机名,修改host配置文件(记得重启reboot)

vi /etc/sysconfig/network
# 添加主机名
HOSTNAME=hadoop

vi /etc/hosts
# 添加地址映射
172.30.82.61  hadoop
hostname hadoop

Hadoop初始化

hadoop namenode -format

进入sbin 启动hadoop

#启动dfs
start-dfs.sh 
#启动yarn
start-yarn.sh

测试是否成功

浏览器访问

request
http://hadoop:50070

hdfs的shell操作

添加文件

hadoop fs -put hadoop-2.9.1.tar.gz hdfs://hadoop:9000/

下载文件

hadoop fs -get hadoop-2.9.1.tar.gz hdfs://hadoop:9000/hadoop-2.9.1.tar.gz

执行mapreduce;进入share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.9.1.jar pi 5 5

创建文件夹

# 方式一：单机时可以直接/就表示根目录
hadoop fs -mkdir /filename
# 方式二：
hadoop fs -mkdir hdfs://hadoop:9000/filename

修改权限

hadoop fs -chown username:groupname filesrc
hadoop fs -chmod 777 filesrc

查看空间大小

hadoop fs -df /
hadoop fs -df -h /

查看文件夹或文件大小

hadoop fs -du /
hadoop fs -du -s -h /*

删除文件和文件夹

hadoop fs -rm -r /aa/bb

搭建Hadoop集群搭建无密码登陆配置

生成ssh密匙

ssh-keygen -t rsa
# 拷贝到另一台服务器上
scp id_rsa.pub server2:/home/hadoop
# 追加公匙,在另一台服务器的.ssh目录下执行
cat ../id_rsa.pub >> ./authorized_keys