hadoop安装方法详解|hadoop部署

  • 原创
  • |
  • 浏览:20596
  • |
  • 更新:

上一期我们讲了什么是hadoop,这一期我们讲hadoop的安装部署。hadoop安装并不难,一共有三种部署方式,分别是本地部署、伪分布部署、集群部署。由于hadoop伪分布模式的工作原理和集群模式的工作原理一样,这里我们以伪分布模式为例进行讲解。

工具/原料

  • rhel6.4操作系统、jdk-6u20-linux-i586.bin、hadoop-1.2.1.tar.gz

方法/步骤

  1. 1

    首先讲讲安装思路。一、搭建系统环境,配置ip,主机名,设置ssh无密码登录;二、配置jdk环境;三、安装部署hadoop。

  2. 2

    一、我们首先讲系统环境的配置。<1>为系统配置一个ip地址,由于较简单,这里不做赘述。我这里做了双网卡绑定,IP地址为192.168.142.10。(注:双网卡绑定可参考小编之前的文章:http://jingyan.baidu.com/article/25648fc1a2cbc99190fd007a.html)

    hadoop安装方法详解|hadoop部署
  3. 3

    <2>为系统配置主机名。命令:vi /etc/sysconfig/network。(注:主机名修改完成后需要重启主机)

    hadoop安装方法详解|hadoop部署
  4. 4

    <3>添加hosts解析记录,命令:vi /etc/hosts,具体内容如图片中所示。

    hadoop安装方法详解|hadoop部署
  5. 5

    <4>配置ssh无密码认证。执行如下命令:ssh-keygen。此处如果不会可以一直敲回车。执行完之后,将密钥拷贝到认证文件中,命令:ssh-copy-id 192.168.142.10,然后根据提示进行操作。

  6. 6

    二、接下来配置jdk。<1>首先将下载下来的jdk-6u20-linux-i586.bin拷贝至rhel6.4系统中的/usr/local目录中。注:可以通过winscp这个工具进行拷贝,也可以通过xftp进行拷贝。

    hadoop安装方法详解|hadoop部署
  7. 7

    <2>解压缩jdk,首先赋予jkd文件执行权限。命令:chmod a+x /usr/local/jdk-6u20-linux-i586.bin;解压缩命令:./jdk-6u20-linux-i586.bin;然后依据提示进行操作。解压后会生成一个目录:jdk1.6.0_20,为了便于后期配置java环境变量,我们把这个目录重命名为jdk,命令:mv /usr/local/jdk1.6.0_20 /usr/local/jdk;

    hadoop安装方法详解|hadoop部署
  8. 8

    <3>接着配置jdk环境变量,编辑/etc/profile文件,添加图片中标红的内容。命令:vi /etc/profile

    hadoop安装方法详解|hadoop部署
  9. 9

    三、安装部署hadoop。<1>首先从官网下载hadoop软件包,这里我们下载的是hadoop-1.2.1.tar.gz版本。然后拷贝rhel6.4的/usr/local目录下,并解压缩。命令:tar zxvf hadoop-1.2.1.tar.gz;解压后会生成一个名为 hadoop-1.2.1的目录,我们接着把这个目录重命名为hadoop。命令:mv /usr/local/hadoop-1.2.1 /usr/loca/hadoop;

    hadoop安装方法详解|hadoop部署
  10. 10

    <2>接着配置hadoop家目录环境变量。vi /etc/profile,添加图片所示内容。

    hadoop安装方法详解|hadoop部署
  11. 11

    <3>接下来我们需要改四个配置文件hadoop-env.sh;core-site.xml;hdfs-site.xml;mapred-site.xml;

    hadoop安装方法详解|hadoop部署
  12. 12

    <4>首先修改hadoop-env.sh文件,配置如图所示。

    hadoop安装方法详解|hadoop部署
  13. 13

    <5>接下来我们修改core-site.xml配置文件,具体如图所示。

    hadoop安装方法详解|hadoop部署
  14. 14

    <6>接下来修改hdfs-site.xml文件,具体如图所示。

    hadoop安装方法详解|hadoop部署
  15. 15

    <7>然后修改mapred-site.xml文件具体内容如图所示。

    hadoop安装方法详解|hadoop部署
  16. 16

    <8>接下来在启动hadoop之前需要格式化hdfs。命令:hadoop namenode -format;

    hadoop安装方法详解|hadoop部署
  17. 17

    <9>启动hadoop并验证。启动命令:start-all.sh;验证命令:jps

    hadoop安装方法详解|hadoop部署
  18. 18

    至此,hadoop伪分布模式就已经安装完成,不知对您是否有所启发。

    END

注意事项

  • 后期我们会继续深入讲解。
  • 注:如果您还有什么问题可在下边留言。
经验内容仅供参考,如果您需解决具体问题(尤其法律、医学等领域),建议您详细咨询相关领域专业人士。
作者声明:本篇经验系本人依照真实经历原创,未经许可,谢绝转载。
展开阅读全部