Hadoop单机版和全分布式(集群)安装

Hadoop，分布式的大数据存储和计算, 免费开源！有Linux基础的同学安装起来比较顺风顺水，写几个配置文件就可以启动了，本人菜鸟，所以写的比较详细。为了方便，本人使用三台的虚拟机系统是Ubuntu-12。设置虚拟机的网络连接使用桥接方式，这样在一个局域网方便调试。单机和集群安装相差不多，先说单机然后补充集群的几点配置。

第一步，先安装工具软件
编辑器：vim
代码如下:
sudo apt-get install vim

ssh服务器: openssh，先安装ssh是为了使用远程终端工具（putty或xshell等），这样管理虚拟机就方便多了。
代码如下:
sudo apt-get install openssh-server

第二步，一些基本设置
最好给虚拟机设置固定IP
代码如下:
sudo vim /etc/network/interfaces
加入以下内容：
iface eth0 inet static
address 192.168.0.211
gateway 192.168.0.222
netmask 255.255.255.0

修改机器名，我这里指定的名字是：hadoopmaster ，以后用它做namenode
代码如下:
sudo vim /etc/hostname

修改hosts，方便应对IP变更，也方便记忆和识别
代码如下:
sudo vim /etc/hosts
加入内容：
192.168.0.211   hadoopmaster

第三步，添加一个专门为hadoop使用的用户
代码如下:
sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop

设置hadoop用户的sudo权限
代码如下:
sudo vim /etc/sudoers

在 root ALL=(ALL:ALL)
下面加一行 hadoop ALL=(ALL:ALL)
切换到hadoop用户 su hadoop

第四步，解压安装JDK，HADOOP，PIG(顺便把PIG也安装了)
代码如下:
sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/local/jvm/
sudo tar zxvf ./hadoop-1.0.4.tar.gz -C /usr/local/hadoop
sudo tar zxvf ./pig-0.11.1.tar.gz -C /usr/local/pig

修改解压后的目录名并且最终路径为：
代码如下:
jvm: /usr/local/jvm/jdk7
hadoop: /usr/local/hadoop/hadoop （注意：hadoop所有节点的安装路径必须相同）
pig: /usr/local/pig

设置目录所属用户
代码如下:
sudo chown -R hadoop:hadoop jdk7
sudo chown -R hadoop:hadoop hadoop
sudo chown -R hadoop:hadoop pig

设置环境变量, 编辑~/.bashrc 或 ~/.profile 文件加入
代码如下:
export JAVA_HOME=/usr/local/jvm/jdk7
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_INSTALL=/usr/local/hadoop/hadoop
export PATH=${HADOOP_INSTALL}/bin:$PATH
source ~/.profile 生效

第五步，.ssh无密码登录本机，也就是说ssh到本机不需要密码
代码如下:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

如果不起作用请修改权限：
代码如下:
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys 

authorized_keys相当于白名单，id_rsa.pub是公钥，凡是在authorized_keys有请求者机器的公钥时ssh服务器直接放行，无需密码！