1、安装基础工具
ssh
2、安装JDK
将下载源码包jdk-7u4-linux-x64.tar.gz
放到目录:/usr/lib/jvm下(这里位置目录可以自己定义,JDK环境变量需要对应)
直接解压:tar zxvf jdk-7u4-linux-x64.tar.gz
放到目录:/usr/lib/jvm下(这里位置目录可以自己定义,JDK环境变量需要对应)
直接解压:tar zxvf jdk-7u4-linux-x64.tar.gz
3、安装hadoop-1.0.3.tar.gz
3.1、将下载包解压到根目录tar xzvf hadoop-1.0.3.tar.gz
3.2、修改hadoop-env.sh配置
- vi conf/hadoop-env.sh
- # 找到JAVA_HOME设置:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
- # 在文件末尾加以下内容, 取消环境变量$HADOOP_HOME过时的警告:export HADOOP_HOME_WARN_SUPPRESS=1
4、配置环境变量(集群节点都要配置环境变量)
vi /etc/profile
在文件中末尾加入以下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/hadoop-1.0.3 export PATH=$PATH:$HADOOP_HOME/bin
让环境变量生效
source /etc/profile
5、使用ssh公钥密钥自动登陆linux服务器
实现原理使用一种被称为"公私钥"认证的方式来进行ssh登录. "公私钥"认证方式简单的解释是
首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)
然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥
当ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了
这里nameNode服务器需要ssh无密码访问所有dataNode服务器。
第一步,用ssh-keygen -t rsa 生成一个rsa公钥,不带密码,也就是你ssh到某一个地方的凭证
第二步,就是分发你的公钥到其他的机子上,作为authorized_keys
这一步比较关键,远程拷贝你的ssh公钥到其他的主机上,scp id_rsa.pub user@ip:path,拷贝之后,再把这个公钥添加到当前主机的authorized_keys,注意是添加,不是覆盖,因此你需要用的是 cat id_rsa.pub >> authorized_keys
第三步,测试
现在假如你用hadoop1机器可以无密码ssh到hadoop2,那么同样的你要在hadoop2中按照前两步那样 生成一个公钥id_rsa.pub,并且你会在最后一行看到****== hadoop@hadoop2, 此时你需要把这个.pub添加到你的authorized_keys中,同样需要的是cat id_rsa.pub >> authorized_keys,然后按照同样的方式 分发你的id_rsa.pub到其他的主机上,并且把它添加到对应主机的authorized_keys中,至此你就可以在各个主机之前无限制穿梭了。
另外可通过浏览器访问:
NameNode:http://192.168.181.221:50070/
JobTracker: http://192.168.181.221:50030/