hadoop集群部署超级详细

发布时间:2021-10-18 16:02:49

下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-3.2.2/
版本:3.2.2
文件名:hadoop-3.2.2.tar.gz


服务器信息


IP地址主机名
192.168.1.71hadoop1
192.168.1.72hadoop2
192.168.1.73hadoop3

备注:默认是在hadoop1服务器上操作


1. 解压文件

tar -zxvf hadoop-3.2.2.tar.gz


2. 配置文件

路径:etc/hadoop


    core-site.xml



fs.default.name
hdfs://hadoop1:8020


hadoop.tmp.dir
/export/service/hadoop-3.2.2/data/temp



io.file.buffer.size
4096



fs.trash.interval
10080



    hdfs-site.xml



dfs.namenode.secondary.http-address
hadoop1:50090



dfs.namenode.http-address
hadoop1:50070



dfs.namenode.name.dir
file:///export/service/hadoop-3.2.2/data/namenode




dfs.datanode.data.dir
file:///export/service/hadoop-3.2.2/data/datanode



dfs.datanode.edits.dir
file:///export/service/hadoop-3.2.2/data/edits



dfs.datanode.checkpoint.dir
file:///export/service/hadoop-3.2.2/data/checkpoint


dfs.datanode.checkpoint.edits.dir
file:///export/service/hadoop-3.2.2/data/cpedits



dfs.replication
3



dfs.permissions
false



dfs.blocksize
134217728



    hadoop-env.sh

# 配置jdk路径
export JAVA_HOME=/home/sjyy/software/jdk

    mapred-site.xml




mapreduce.job.ubertask.enable
true



mapreduce.jobhistory.address
hadoop1:10020



mapreduce.jobhistory.webapp.address
hadoop1:19888



    yarn-site.xml




mapreduce.job.ubertask.enable
true



mapreduce.jobhistory.address
hadoop1:10020



mapreduce.jobhistory.webapp.address
hadoop1:19888



    workers

hadoop1
hadoop2
hadoop2

3. 分发

scp hadoop-3.2.2/ hadoop2:$PWD
scp hadoop-3.2.2/ hadoop2:$PWD

4. 配置环境变量(三台都执行)

vim /etc/profile


export HADOOP_HOME=/home/sjyy/service/hadoop-3.2.2
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile


5. 启动和关闭

cd /home/sjyy/service/hadoop-3.2.2
# hdfs格式化 ,只执行一次,后续启动不在执行
bin/hdfs namenode -format
# 启动hdfs和yarn
sbin/start-all.sh
# 关闭
sbin/stop-all.sh
# 启动历史任务
sbin/mr-jobhistory-daemon.sh start historyserver
# 关闭历史任务
sbin/mr-jobhistory-daemon.sh stop historyserver

6. 查看

    hdfs:http://192.168.1.71:50070
    yarn:http://192.168.1.71:8088
    history:http://192.168.1.71:19888

相关文档

  • 如何写记叙文小升初作文写作指导
  • baby碎刘海怎么剪?baby碎刘海怎么弄?怎样剪出baby碎刘海?
  • 英雄联盟精美的原画作品图片
  • 王者荣耀历史战绩保存多久
  • 切面中获取request
  • 抑郁症的治疗措施
  • vim处理字符的大小写转换
  • 成为优秀工程师的五个方法
  • 专家解析2007新高考大纲语文科出现选考题型
  • Java 最常见的面试题:面试题目+标准答案
  • 用户登录使用java的IO流实现将数据保存到data目录下
  • torch7安装的坑
  • 开车驾驶上路需要带的证件有哪些
  • golang模拟post请求
  • MFS分布式存储部署
  • 哪些植物可镇静止痛?
  • 开源一个轻量进存销系统
  • 编写第一个lua程序
  • 虚拟机安装Linux(CentOS),并使用xshell 6远程连接虚拟机上的linux
  • 美丽的家乡作文600字3篇
  • Latex: 表格内换行
  • 三星s8拍照放大就模糊
  • 补气色的食物有哪些
  • OLTP 数据库特点
  • DCS (Display Command Set)
  • 一车abs线路怎么量_两线abs传感器怎么测量
  • 手机yy怎么静音
  • 搭建 vue 环境
  • NCL基本语法(二)
  • nb信号和4g信号_4G信号越来越差,网速越来越慢?改了这项设置,信号满格了
  • 猜你喜欢

    电脑版