linux服务器安装hdfs服务(hadoop3.2.1伪集群模式)

平凡
2020-03-05 11:42:03
214 阅读

1、 使用wget命令下载hadoop安装包(参考

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

找一个目录进行解压操作

 tar -xzvf hadoop-2.6.0-cdh5.7.0.tar.gz

2、创建新用户来管理hadoop,主要是因为部分服务器的root需要禁用登录来确保服务器安全,这对在配置无密码登录ssh时有影响

useradd hadoop

su hadoop

cd 入hadoop根目录,系统根目录为home/hadoop  或者使用c~

mkdir software

#将下载的安装包移动到software

3、配置无密码登录本机(否则启动需要多次输入密码)

cd ~

生成ssh key
ssh-keygen

cd 对应用户的.ssh目录下(如果是
新用户需要在根目录创建)
cat id_rsa.pub >> authorized_keys

#加date可以直接返回结果,而不做机器切换
ssh localhost date

4、配置hadoop

cd hadoop的解压目录
vim /etc/hadoop/hadoop-env.sh
#修改以下配置项
export JAVA_HOME=jdk目录
export HADOOP_CONF_DIR=/hadoop的解压目录/etc/hadoop
vim core-site.xml  
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
vim hdfs-site.xml 
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5、添加lib(参考

wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /hadoop安装目录/lib/native

6、启动hdfs

cd hadoop安装目录
bin/hdfs namenode -format
sbin/start-dfs.sh 

7、检查
访问ip:50070地址,出现页面则表示安装成功,注意防火墙是否把50070开放(3.0版本端口为9870)

1
4 评论
  • comment-avatar

    66666666

    • 回复
    comment-avatar

    🙃🙃🙃

    • 回复
  • comment-avatar

    老哥稳

    • 回复
  • comment-avatar

    ***

    • 回复
  • comment-avatar

    ***

    • 回复