博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop入门-Hadoop安装(单机)
阅读量:5240 次
发布时间:2019-06-14

本文共 1596 字,大约阅读时间需要 5 分钟。

1、安装基础工具

ssh
2、安装JDK
将下载源码包jdk-7u4-linux-x64.tar.gz
放到目录:/usr/lib/jvm下(这里位置目录可以自己定义,JDK环境变量需要对应)
直接解压:tar zxvf jdk-7u4-linux-x64.tar.gz 

3、安装hadoop-1.0.3.tar.gz

3.1、将下载包解压到根目录tar xzvf hadoop-1.0.3.tar.gz

3.2、修改hadoop-env.sh配置

  • vi conf/hadoop-env.sh 
  • # 找到JAVA_HOME设置:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04 
  • # 在文件末尾加以下内容, 取消环境变量$HADOOP_HOME过时的警告:export HADOOP_HOME_WARN_SUPPRESS=1

4、配置环境变量(集群节点都要配置环境变量)

vi /etc/profile
在文件中末尾加入以下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop-1.0.3
export PATH=$PATH:$HADOOP_HOME/bin
让环境变量生效
source /etc/profile

5、使用ssh公钥密钥自动登陆linux服务器

实现原理

使用一种被称为"公私钥"认证的方式来进行ssh登录. "公私钥"认证方式简单的解释是

首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)

然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥

当ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了

这里nameNode服务器需要ssh无密码访问所有dataNode服务器。
第一步,用ssh-keygen -t rsa 生成一个rsa公钥,不带密码,也就是你ssh到某一个地方的凭证
第二步,就是分发你的公钥到其他的机子上,作为authorized_keys

这一步比较关键,远程拷贝你的ssh公钥到其他的主机上,scp id_rsa.pub user@ip:path,拷贝之后,再把这个公钥添加到当前主机的authorized_keys,注意是添加,不是覆盖,因此你需要用的是 cat id_rsa.pub >> authorized_keys

第三步,测试

现在假如你用hadoop1机器可以无密码ssh到hadoop2,那么同样的你要在hadoop2中按照前两步那样 生成一个公钥id_rsa.pub,并且你会在最后一行看到****== hadoop@hadoop2, 此时你需要把这个.pub添加到你的authorized_keys中,同样需要的是cat id_rsa.pub >> authorized_keys,然后按照同样的方式 分发你的id_rsa.pub到其他的主机上,并且把它添加到对应主机的authorized_keys中,至此你就可以在各个主机之前无限制穿梭了。

另外可通过浏览器访问:

NameNode:http://192.168.181.221:50070/

JobTracker:
http://192.168.181.221:50030/

转载于:https://www.cnblogs.com/llinzuxin/archive/2012/06/10/2950526.html

你可能感兴趣的文章
codeforces 315 308
查看>>
BZOJ3998 [TJOI2015]弦论 【后缀自动机】
查看>>
CF E2 - Array and Segments (Hard version) (线段树)
查看>>
svn 架设
查看>>
k8s部署rocketmq 双主
查看>>
Linux SPI总线和设备驱动架构之四:SPI数据传输的队列化
查看>>
SIGPIPE并产生一个信号处理
查看>>
CentOS
查看>>
Explicit keyword
查看>>
Linux pipe函数
查看>>
java equals 小记
查看>>
Erdaicms旅游网站程序,微信扫码登录演示和示例程序
查看>>
15第十五章UDF用户自定义函数(转载)
查看>>
爬虫-通用代码框架
查看>>
2019春 软件工程实践 助教总结
查看>>
Remove '@Override' annotation错误
查看>>
mybatis笔记<一> Demo
查看>>
YUV 格式的视频呈现
查看>>
开通了blog写一些技术blog及感悟
查看>>
Android弹出框的学习
查看>>