fedora20安装hadoop-2.5.1

（博客园-番茄酱原创）

首先感谢作者lxdhdgss，他的博文直接帮助了我如何安装hadoop，下面是他的博文修改版，用于安装在fedora20上面的，jdk1.8版本。

到hadoop官网去copy一下链接地址（hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz），在终端wget url(下载链接地址)，会直接下载到当前目录下。然后解压，tar xvf apache-hadoop-2.5.1.tar.gz，解压下载的tar.gz。会看到一个名为hadoop-2.5.1的文件夹，把它拷贝到自己平时安装软件的地方，比如我是/opt/lib64/下面，命令是mv hadoop-2.5.1 /opt/lib64/。

注意：下面修改的时候，大家不会用vi，就用gedit来代替吧，可视化操作，简洁明了。如vi xxx可以换成gedit xxx

下面就需要对Hadoop进行设置了。

首先vi /etc/PRofile,增加

bash代码

1     #设置jdk的安装路径2     export java_HOME=/opt/lib64/jdk1.8.0_203     #指定CLASSPATH和PATH4     export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib5     export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin6     #设置的hadoop的环境变量7     export HADOOP_HOME=/opt/lib64/hadoop-2.5.18     export PATH=$HADOOP_HOME/bin:$PATH9     export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存退出(按下ESC，然后再按下这三个:wq)

哦，别忘了在终端执行命令下source /etc/profile,让修改过的profile马上生效。

然后进入hadoop下面的etc/hadoop/（不是系统的etc，是hadoop下面的etc，这是一个配置文件夹），用ls命令，可以看到有很多配置文件。

先vi hadoop-env.shbash代码export JAVA_HOME=/opt/lib64/jdk1.8.0_20vi yarn-env.sh bash代码export JAVA_HOME=/opt/lib64/jdk1.8.0_20

vi core-site.xml

 <configuration>     <property>     <name>fs.default.name</name>    <value>hdfs://localhost:9000</value>   </property>  <property>   <name>hadoop.tmp.dir</name>   <value>/home/hadoop/xxx/tmp </value></property> </configuration> 

保存退出(按下ESC，然后再按下这三个:wq)

vi hdfs-site.xml

Xml代码

 1 <configuration>   2   <property>   3      <name>dfs.namenode.name.dir</name>   4     <value>file:/home/hadoop/dfs/name</value>   5   </property>   6   <property>   7      <name>dfs.namenode.data.dir</name>   8      <value>file:/home/hadoop/dfs/data</value>   9   </property>  10   <property>  11      <name>dfs.replication</name>  12      <value>1</value>  13   </property>  14 </configuration>

保存退出(按下ESC，然后再按下这三个:wq)

----------------------------按照hadoop官网上面的配置-----------------------

vi mapred-site.xml

Xml代码

<configuration>     <property>          <name>mapreduce.jobtracker.address</name>          <value>localhost:9001</value>     </property>     <property>         <name>mapreduce.framework.name</name>         <value>yarn</value>     </property></configuration>

保存退出(按下ESC，然后再按下这三个:wq)

vi yarn-site.xml:

Xml代码

1 <configuration>2     <property>3         <name>yarn.nodemanager.aux-services</name>4         <value>mapreduce_shuffle</value>5     </property>6 </configuration>

保存退出(按下ESC，然后再按下这三个:wq)

-------------------------------------------------------------------------------

-------------------------补充---------------ssh免登陆设置

还有就是：由于原文没有设置如何面验证登陆ssh，这边给与补充。

由于fedora已经默认安装了openssh，所以不用再此安装ssh了。直接直接配置以下就可以了

配置 SSH 免密码登陆 ，下面是bash命令，直接在终端输入（最好是root身份，如何root？只要终端输入su，然后root的密码就可以登陆root账户了）

1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod 600 ~/.ssh/authorized_keys
4. sudo service sshd restart

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了，现在可以启动看看了

先格式化，这个很重要。

1. hadoopnamenode-format

这句话基本上就是把目前你的hadoop系统确定一下结构，我们的hadoop系统中，一般是一个namenode+多个datanode。

namenode相当于顾客房间表，datanode相当于具体的房间。

然后启动hadoop吧。

到hadoop的根目录，

1. sbin/start-dfs.sh

然后再启动yarn，因为2.5.0的版本，早就已经是以yarn这种更好的架构来运行了。

1. sbin/start-yarn.sh

然后查看一下开启的进程

1. jps

说明hadoop已经启动成功。

打开hdfs管理页面，查看hdfs系统：

在浏览器打开http://localhost:50070,可看到hadoop的管理界面，导航栏的最后一项还可以查看hadoop里面的文件。

我们来试着传个文件，到/home下面，新建一个文件，vim test.txt,随便写些东西。保存。

然后把这个文件上传。

打开job管理页面，查看job的运行情况：

由于这个是hadoop2.5.1版本，貌似以前的http://localhost:50030换成了现在的http://localhost:8088,所以需要查看jod的运行情况，需要在浏览器打开localhost:8088

现在的ResourceManager和NodeManager代替了原来的JobTracker和TaskTracker

1. hadoopfs-puttest.txt/test.first (表示将本地的text放置在dfs根目录下，并且名为test.first可以随意命名)

在浏览器的后台刷新看看有没有test.first(打开http://localhost:50070，选择utilties在点击browse the file system)。

你也可以先给hadoop建立目录

1. hadoopfs-mkdir/xxx

上面的上传文件也可以变成这样：

1. hadoopfs-puttest.txt/xxx/test.txt

其他的操作，大家自己去试吧。

特别感谢lxdhdgss，他的博文地址是：http://www.CUOxin.com/topic/1135085

(官网有英文版的配置说明，大家可以参照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)