虚拟机(rhel-1.41.1.10.4.el6-i386)
1.lrzsz 安装
cd /tmp--以不安全方式登录(否则报错)wget http://www.ohse.de/uwe/releases/lrzsz-0.12.20.tar.gz --no-check-certificatetar zxvf lrzsz-0.12.20.tar.gz --解压 cd lrzsz-0.12.20./configure && make && make install安装过程默认把lsz和lrz安装到了/usr/local/bin/目录下, 现在并不能直接使用,下面创建软链接,并命名为rz/sz:
cd /usr/binln -s /usr/local/bin/lrz rzln -s /usr/local/bin/lsz sz2.jdk 安装 下载jdk-7-linux-i586.tar.gz 一般默认情况下Linux自带 (本人虚拟机) /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0
配置环境变量
vim ~/.bashrc --或者 ~/.bash_PRofile添加:(环境变量修改见hadoop配置)export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0export JRE_HOME=${JAVA_HOME}/jre #export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 保存退出,输入以下命令使之立即生效。source ~/.bashrc -- source令通常用于重新执行刚修改的初始化文件,-- 使之立即生效,而不必注销并重新登录。java -version --检查3.hadoop安装 hadoop-1.2.1-bin.tar.gz 包下载
tar xzf hadoop-1.2.1-bin.tar.gz --配置环境变量 hadoop安装目录/tmp/hadoop-1.2.1vim ~/.bashrc #export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:${HADOOP_INSTALL}/sbinexport HADOOP_HOME=/tmp/hadoop-1.2.1#export HADOOP_INSTALL=/tmp/hadoop-1.2.1export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHsource ~/.bashrc --更新hadoop version --查看版本4.修改hadoop配置文件 (./conf)
--独立模式(默认 )--伪分布模式 修改配置文件 --core-site.xml<configuration> <property> <name>fs.default.name</name> <value>hdfs:/localhost/</value> </property></configuration> --hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>--mapred-site.xml<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property></configuration>--如果是YARN 需要配置 yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.address</name> <value>localhost:8032</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce:shuffle</value> </property></configuration>5.实现无密码登录
root@localhost$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa root@localhost$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keysssh localhost --测试6.使用hadoop前
--1.需要格式化HDFS文件系统hadoop namenode -format--2.启动和终止守护进程(MapReduce 1 没有YARN)/hadoop/bin/$>start-dfs.sh$>start-mapred.sh--浏览器中输入地址查看(通过本机访问虚拟机192.168.1.63 替换localhost)http://localhost:50030/jobtracker.jsp --50070--3.终止$>stop-dfs.sh$>stop-mapred.sh注:最后的hadoop及java环境配置
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib #export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:${HADOOP_INSTALL}/sbin#export HADOOP_INSTALL=/tmp/hadoop-1.2.1export HADOOP_HOME=/tmp/hadoop-1.2.1export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH新闻热点
疑难解答