Hadoop single Node cluster

时间：2014-07-22 23:14:55 收藏：0 阅读：435

目的：

本文描述怎么安装和配置一个单结点的Hadoop，以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);

先决条件：

支持的平台

GNU/Linux 可用作开发和生产平台. Hadoop 在2000台GNU/Linux 的集群上做过演示.
Windows 平台也是支持的，下面的步骤仅对linux适用. 要在Windows上安装hadoop, 查看 wiki page.

所需软件：

在linux下，所需的软件如下:

必须安装JAVA. 推荐的JAVA版本请看 HadoopJavaVersions.
必须安装SSH，并且sshd必须启动，Hadoop脚本用sshd来管理远程的Hadoop守护进程(daemons);

安装所需软件

如果你的集群上没有这些所需的软件，那就需要先安装。

例如在Ubuntu linux上 :

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

下载

在 Apache Download Mirrors下载最新稳定的发布Hadoop版本

准备启动 Hadoop Cluster

解压下载的Hadoop包. 编辑文件 etc/hadoop/hadoop-env.sh 像如下一样修改配置:

  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest

  # Assuming your installation directory is /usr/local/hadoop
  export HADOOP_PREFIX=/usr/local/hadoop

执行下面命令:

  $ bin/hadoop

显示Hadoop脚本的使用文档.

Now you are ready to start your Hadoop cluster in one of the three supported modes:

Hadoop single Node cluster,码迷,mamicode.com