Hadoop HBase单机版自然环境简易配备实例教程

Hadoop是Apache的1个新项目,它是1个完成了MapReduce测算实体模型的能够应用于大中型群集并行处理测算的遍布式并行处理测算程序编写架构,自然遍布式测算离不开遍布式储存,Hadoop架构包括了遍布式储存系统软件HDFS(Hadoop Distributed File System),其储存和数据信息构造很相近Google的GFS。

HBase是Hadoop的子新项目,它是根据Hadoop HDFS遍布储存系统软件的1个Google BigTable开源系统完成(近期看了BigTable的Paper,很受鼓励和启迪),它在储存数据信息构造上并不是关联型,而是松散遍布式的,长久并按多维度排列并数据库索引的map型,下一次我把详细介绍BigTable和HBase的文章内容转载过来。

Google BigTable的paper: labs.google/papers/bigtable-osdi06.pdf

在初触碰Hadoop和Hbase的情况下,大多数数技术性人员只期待根据简易的方式基本搭起架构自然环境,但我找了许多安裝手册全是上来就布署群集遍布自然环境(虽然做Hadoop便是以便这个目地),构建群集自然环境的情况下要设定ssh协议书浏览管理权限,要转化成浏览公匙,而且slaves配备上的小不正确也会致使全部布署难题重重,因此我在布署取得成功续篇录下最简易运作的standalone方式的安裝配备全过程,期待初学者在必须的情况下能寻找这个小小的的guide,之后有時间我会再把群集配备的方式写出来。

刚开始:

1.在Apache/Hadoop新项目的网站(hadoop.apache/)免费下载hadoop和hbase的发售包,此处两个发售包的大版本号号1定要1致,例如全是0.18版本号:

hadoop-0.18.2.tar.gz,hbase-0.18.1.tar.gz

2.应用root身份登陆总体目标服务器系统软件(Suse10 Linux),最先安裝java虚似机,这个较为简易,随意找个翠绿色的解压便可以了,在这个事例里边我应用IBM WAS6.1附带的jdk,它的home文件目录是/opt/IBM/WebSphere/AppServer/java,大家只必须配备系统软件的自然环境自变量便可以了。

编写全局性自然环境自变量文档/etc/profile,在文档后边加上

export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

export PATH=$JAVA_HOME:$PATH

储存profile文档后应用$source /etc/profile指令再次载入profile,随后随意在1个文件目录下面运作$java -version查询javahome自然环境自变量和path自变量是不是被正确载入。

此外到/etc/hosts文档中查询主机投射是不是存在,比如 127.0.0.1 localhost 或甚么别的的姓名,在这里默认设置配备本机为localhost,假如必须做遍布式的话,本机要做namenode,因此要把全部的datanode的host加上到这里边。

3.建立hadoop客户, $useradd hadoop能够用$passwd hadoop改动hadoop客户的登陆登陆密码。

4.建立hadoop客户的home文件目录,假如准备在别处安裝hadoop/hbase的话能够不这样做,这里大家默认设置将hadoop/hbase安裝在/home/${username}文件目录下。

$cd /home

$mkdir hadoop

将文件目录客户分派给hadoop

$chown hadoop hadoop

更改文件目录管理权限,这里大家配大1些,实际上要是644就充足了:

$chmod 755 hadoop

5.应用hadoop客户登陆系统软件,将免费下载的两个发售包文档传到/home/hadoop文件目录下面,随后给它们再加实行管理权限:

$chmod a+x hadoop-0.18.2.tar.gz

$chmod a+x hbase-0.18.1.tar.gz

6.解压hadoop:

$tar zxvf hadoop-0.18.2.tar.gz

这样做会在/home/hadoop文件目录下解压hadoop发售包并建立到/home/hadoop/hadoop-0.18.2文件目录中,这里能够详尽设计方案文件目录构造并建立link文档来便捷往后升級等工作中,这里大家先简易放在这里.

7.改动hadoop自然环境脚本制作:

改动文档/home/hadoop/hadoop-0.18.2/conf/hadoop-env.sh,在这其中添加JAVA_HOME自变量: export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

HADOOP_HOME自变量大家能够不设定,默认设置的状况是特定HADOOP_HOME为运作起动脚本制作当今文件目录的父文件目录。

8.改动hadoop起动配备:

参考默认设置配备文档/home/hadoop/hadoop-0.18.2/conf/hadoop-default.xml改动客户配备文档/home/hadoop/hadoop-0.18.2/conf/hadoop-site.xml,hadoop起动的情况下会载入默认设置配备文档,随后载入客户配备文档并应用客户配备文档中的特性更换默认设置配备文档中的值,这里最简易的状况大家只必须改动以下几项便可,假如必须做遍布的话也是要在这个文档里边开展配备。即将改动的配备项简易的放到hadoop-site.xml文档的 configuration/ 中去:

configuration

  property

  name fs.default.name /name

  value hdfslocalhost:9000/ /value

  /property

  property

  name mapred.job.tracker /name

  value localhost:9001 /value

  /property

/configuration

9.文件格式化nodename及起动hdfs守卫过程:

$/home/hadoop/hadoop-0.18.2/bin/hadoop namenode -format

$/home/hadoop/hadoop-0.18.2/bin/start-all.sh

应用shart-all.sh能够便捷的起动全部的hdfs守卫过程,假如想关掉这些守卫过程可使用stop-all.sh脚本制作。

起动全过程中必须键入登陆登陆密码。

起动取得成功后能够用下列简易方式检测hdfs:

$/home/hadoop/hadoop-0.18.2/bin/hadoop dfs -mkdir dir4test

$/home/hadoop/hadoop-0.18.2/bin/hadoop dfs -ls

$/home/hadoop/hadoop-0.18.2/bin/hadoop dfs -put /home/hadoop/file4test.zip file4test_temp.zip

非常于linux系统软件下的mkdir ls cp指令。

用访问器浏览localhost:50030/和localhost:50070/能够查询hdfs拓扑构造和job过程也有hdfs文档系统软件构造。

10.解压hbase发售包:

$tar zxvf hbase-0.18.1.tar.gz

11.改动hbase自然环境脚本制作:

改动文档/home/hadoop/hbase-0.18.1/conf/hbase-env.sh,在这其中添加JAVA_HOME自变量: export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java

简易起动临时不必须在客户配备文档/home/hadoop/hbase-0.18.1/conf/hbase-site.xml加上任何取代特性。

12.起动hbase:

$/home/hadoop/hbase-0.18.1/bin/start-hbase.sh

取得成功起动hbase的守卫过程。

起动hbase hql shell:

$/home/hadoop/hbase-0.18.1/bin/hbase shell

在hql shell中能够开展hbase数据信息实际操作,假如必须协助信息内容能够输入:

hbase help

简易检测hbase:

在hbase shell下:

hbase create 't1','f1','f3'

hbase list

应用访问器浏览localhost:60010/能够查询当今hbase信息内容。

起动hbase REST服务:

$/home/hadoop/hbase-0.18.1/bin/hbase rest start

取得成功起动hbase REST服务后便可以根据对uri: localhost:60050/api/ 的通用性REST实际操作(GET/POST/PUT/DELETE)完成对hbase的REST方式数据信息实际操作。

本文转载自:blog.sina/s/blog_5a70c9910100bmni.html

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://xcxyxmbh.cn/ganhuo/4097.html