在Ubuntu15.10下安装Storm集群(一个机器上运行Nimbus和Supervisor 适合初学者)

时间:2016-01-15 20:06:58   收藏:0   阅读:1510

 

1. 下载所需的资源

jdk-8u65-linux-x64.tar.gz

zeromq-4.1.4.tar.gz

jzmq-master.zip

zookeeper-3.5.1-alpha.tar.gz

apache-storm-0.10.0.tar.gz

 

2. 安装jdk

我们打算把jdk安装在/usr/lib/jvm中;首先把Windows上下载好的jdk包复制到Ubuntu系统的用户文件夹(/home/<你的用户名>)中(如果无法复制可能是你的VMTools没有正确安装,需要重新安装VMTools);打开终端(Ctrl+Alt+T)并输入:sudo mkdir /usr/lib/jvm 输入用户密码即可创建该文件夹;接下来使用:sudo mv jdk-8u65-linux-x64.tar.gz /usr/lib/jvm 把jdk包移动一下;使用:cd /usr/lib/jvm 转到当前目录;解压Jdk:sudo tar -zxvf dk-8u65-linux-x64.tar.gz;完成后配置环境变量:sudo gedit /etc/profile;在打开的文档里面加入:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_65

export CLASSPATH=usr/lib/jvm/jdk1.8.0_65/lib

export PATH=${HAVA_HOME}/bin:$PATH

保存后关闭并运行:source /etc/profile使之生效。

 

3. 安装依赖的库文件

Storm及其组件需要依赖一些库文件才可以启动。Ubuntu15.10已经安装了python,无需再安装python。接下来安装以下库文件:

sudo apt-get install libtool

sudo apt-get install autoconf

sudo apt-get install g++

sudo apt-get install uuid-dev

sudo apt-get install uuid

4. 安装zeromq(ZMQ)

进入解压后的zeromq-4.1.4文件夹,依次执行:

./configure

make

sudo make install

sudo ldconfig

如果中途出现没有发现uuid、g++等错误,说明你遗漏了第三步的某一项,如果出现没有发现libsodium库的错误,则使用:

./configure --prefix=/usr/local/zeromq  --without-libsodium  略过这个库。接着执行上面的后三条命令。

5. 安装jzmq

由于ZMQ是C/C++的库文件,Storm是基于JVM的。jzmq是用JNI封装的ZMQ的Java库。

进入解压的jzmq-master文件夹中,运行下列命令:

./autogen.sh

./configure

Make

Sudo make install

若在此过程中出来找不到zmq.h的错误,则配置一下环境变量,把刚才编译完的zmq的文件夹加入到PATH中;若出现需要org.zeromq/ZMQ.class的错误,那么首先执行:

touch src/classdist_noinst.stamp

接着进入src/org/zeromq文件夹中执行javac*.java,然后回退到jzmq-master中执行:

make

sudo make install

6. 配置Zookeeper

进入解压后的zookeeper文件夹中,将文件./conf/zoo_sample.cfg重命名为./conf/zoo.cfg,添加如下内容到里面:

clientPort=2181

dataDir=/usr/local/zookeeper/data

syncLimit=5

initLimit=10

tickTime=2000

dynamicConfigFile=/usr/local/zookeeper/conf/zoo.cfg.dynamic.100000000

在conf目录下新建zoo.cfg.dynamic.100000000文件并添加如下内容:

server.1=weekend01:2888:3888

其中weekend01是主机名,根据自己的主机名改变它。

后来新建一个目录/usr/local/zookeeper/data并把它设置为当前登录的用户所有权:

sudo chown -R username /usr/local/zookeeper/data

在该目录下新建一个名为myid的文件,把1写入此文件。这个文件里面保存的是这台机器在zookeeper集群上的pid,刚才写的server.1与这个文件里的1是对应的。

运行下列命令启动Zookeeper :

bin/zkServer.sh start

过一小段时间后(如果开启后立马检查,它会检测不到)执行下列命令检查是否启动成功:

Bin/zkServer.sh status

若出现错误则检查防火墙是否已关闭:

service iptables status

如果正在运行则关掉它:

Service iptables stop

关掉防火墙后重新启动zookeeper。

7. 配置Storm

进入解压后的storm文件夹的conf文件夹中,修改storm.yaml文件,插入以下内容:

 storm.zookeeper.servers:

     - "weekend01"

#     - "weekend02"

#     - "weekend03"

 

 nimbus.host: "weekend01"

 storm.local.dir: "/usr/lian_storm"

 ui.port: 8383

 supervisor.slots.ports:

     - 6700

     - 6702

     - 6703

其中storm.zookeeper.servers设置zookeeper所在的机器,这里只有一个weekend01;nimbus.host设置storm主节点nimbus所在的机器;ui.port设置storm界面所占用的端口,建立使用两位以上的,两位的会提示你没有权限使用。

接下来就可以启动Storm了,首先要启动zookeeper,再执行如下命令:

./bin/storm nimbus &

./bin/storm supervisor &

./bin/storm ui &

启动起来Nimbus、Supervisor和UI。

是否启动成功可在浏览器输入weekend01:8383查看。

评论(0
© 2014 mamicode.com 版权所有 京ICP备13008772号-2  联系我们:gaon5@hotmail.com
迷上了代码!