Chefを使ってCDHをインストールしてみた


最近世間でビッグデータと言う単語をちらほら聞くようになった(もう最近ではないかもだど。。。)せっかくなので波にのってちょっとビッグデータとやらに触れてみようと思う。

まずは、ビッグデータ分析によく使われるhadoopをインストールしてみようと思う。

hadoopにはいろいろディストリビューションがあるらしいが、今回はCDH(Cloudera’s Distribution including Apache Hadoop)を使用する。また、簡単に再構築できるようにインストールにはChefを利用する。

インストールにあたって次のページを参考にした。

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.0/CDH4-Installation-Guide/cdh4ig_topic_4_4.html

[前準備]

まずはhadoop実行のための前段階としてJDKをインストールする。JDKインストールのChefレシピは下記のように書いてみた。

#
# Cookbook Name:: java
# Recipe:: default
#

bash "apt-get-update" do
	code "apt-get update"
end

package "openjdk-7-jdk" do
	action :install
end

[CDHインストール]

CDHインストールのためのChefレシピは下記のようにした。やってることは参照ページの内容をただ、Chefレシピに起こしただけ。まずは1台で試そうと思うのでとりあえず全部突っ込んでみる。 なお、OSはUbuntu 64bit 版を使用しているので、それでしか使えない。たぶんちょっと変えればほかのOSでも動くかも。

#
# Cookbook Name:: cdh
# Recipe:: default
#

template "cloudera.list" do
 path "/etc/apt/sources.list.d/cloudera.list"
 source "cloudera.list.erb"
 owner "root"
 group "root"
 mode 00744
end

bash "apt-get-update" do
 code "apt-get update"
end

bash "add-cdh-repository" do
 code "curl -s http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh/archive.key | apt-key add -"
end

package 'hadoop-yarn-resourcemanager' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-hdfs-namenode' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-yarn-nodemanager' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-hdfs-datanode' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-mapreduce' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-mapreduce-historyserver' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-yarn-proxyserver' do
 options "-f --force-yes"
 action :install
end

package 'hadoop-client' do
 options "-f --force-yes"
 action :install
end

cloudera.list.erbの内容は下記

deb [arch=amd64] http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh precise-cdh4 contrib
deb-src http://archive.cloudera.com/cdh4/ubuntu/precise/amd64/cdh precise-cdh4 contrib

さてさて、準備できたのでさっそくknife-solo実行してインストールしてみる。(画像はJDKインストール後からのもの)


hadoopインストールHC

成功しましたね。

実際にログインして確認してみます。

hadoopインストール後確認


これで入ったんじゃないかな。

次はもう少し動かして見ようと思う。

コメントはまだありません

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

AWS
Docker
ECS+ALBの動的ポートマッピングでダウンタイムのないデプロイを試してみた

はじめに 少し前に個人で作成しているWebサービスのインフラにDockerを使い始めました。 複数台 …

スクリーンショット 2016-01-09 20.02.08
Ruby on Rails
Capistrano3を利用してBitbucketプライベートリポジトリにあるRailsアプリをデプロイしてみた

Railsアプリを配置する際、毎回手作業で頑張って配置してきたが、そろそろ自動デプロイを・・・ とい …

MarketTreeViewのイメージ
Ruby on Rails
[Eve Online 3rd party app] Market Tree Viewの実装 [EOPES制作記]

Eve Online 3rd party app のEOPES を作り始めてから約3ヶ月が経ちました …