大数据学习——搭建第一台Hadoop主机

  • A+
所属分类:linux技术
摘要

类型:学习笔记参考:尚硅谷大数据系列教程1、VMware2、CentOS 7 最小安装版3、远程工具推荐使用 FinalShell


类型:学习笔记

参考:尚硅谷大数据系列教程

工具准备

1、VMware

2、CentOS 7 最小安装版

3、远程工具推荐使用 FinalShell

安装系统

1、打开VMware,根据自己的情况配置好虚拟机,选择系统镜像就可以安装了,可自行百度“VMware如何安装CentOS”

2、打开虚拟机后,选中Test this media & install CentOS 7,回车进行安装

大数据学习——搭建第一台Hadoop主机

3、语言设置为中文:简体中文

4、时间日期:根据实际情况设置即可

5、配置磁盘,使用默认配置也行

大数据学习——搭建第一台Hadoop主机

选中我要配置分区,点击完成,进入手动分区

大数据学习——搭建第一台Hadoop主机

  • /boot:1G
  • swap:4G
  • /:剩下全部

6、学习用机,可以关闭KDUMP

7、设置完成后,可以点击开始安装,安装过程中记得设置root用户密码

配置网络

我们需要配置3处

1、配置VMware

右上角编辑->虚拟机网络编辑器,进入更改设置后,选中VMnet8进行设置

大数据学习——搭建第一台Hadoop主机

  • 子网IP:192.168.10.0
  • 子网掩码:255.255.255.0
  • 在NAT设置中将网关设置为:192.168.10.2

2、配置Windows网卡

我们打开网络连接界面:按“Win+R”,打开【运行】;输入“ncpa.cpl”,回车。

找到VMnet8,右键属性,找到“Internet 协议版本 4(TCP/IPv4)”,双击进入属性设置

大数据学习——搭建第一台Hadoop主机

根据步骤一,填入对应位置

3、配置CentOS 7

我们以root用户登录

vi /etc/sysconfig/network-scripts/ifcfg-ens33 

BOOTPROTO="dynamic"更改为BOOTPROTO="static"

在最后添加下面几句,注意不要拼写错误

IPADDR=192.168.10.100 GATEWAY=192.168.10.2 DNS1=192.168.10.2 

修改hostname,改为hadoop100(随意啦,你自己记得就行)

vi /etc/hostname 

添加主机名和IP的映射关系(方便用主机名代替IP)

vi /etc/hosts  #我就象征性写了几个,后面用到再添加也可以  192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 

重启

reboot 

4、测试网络

重启进入系统后,测试网络是否畅通

ping www.baidu.com 

如果网络不可达,注意检查拼写错误。网络畅通是必须的,解决完再进行下一步哦。

配置环境

1、最小系统需要安装下面的工具

net-tool工具包

yum install -y net-tools 

vim编辑器

yum install -y vim 

epel-release软件仓库

yum install -y epel-release 

rsync:数据同步工具

yum install -y rsync 

2、关闭防火墙,禁用开机自启(学习用途)

systemctl stop firewalld systemctl disable firewalld.service 

3、创建用户,并修改密码

useradd swcode passwd swcode 

4、配置用户的root权限,否则sudo无法执行

vim /etc/sudoers # 在 %wheel 下面添加,NOPASSWD无需密码 swcode  ALL=(ALL)       NOPASSWD:ALL 

:wq!强制保存即可

5、在/opt目录下创建文件夹,并修改所属主和所属组(root下执行)

mkdir /opt/module mkdir /opt/software  chown swcode:swcode /opt/module chown swcode:swcode /opt/software 

下面是成功的样子

drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 module drwxr-xr-x. 2 swcode swcode 6 11月 14 11:34 software 

6、卸载虚拟机自带JDK(最小版是没有的,可以忽略这一步)

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 
  • rpm -qa:查询所安装的所用rpm软件包
  • grep -i:忽略大小写
  • xargs -n1:每次只传递一个参数
  • rpm -e --nodeps:强制卸载软件

7、重启虚拟机

reboot