Miauhaus

Cloudera CDHの​手動インストールと​VMクラスタ構築方​法

2016-09-14
4 min read
obsolete spark hadoop setup
Table of Contents

Configuration

  • master (namenode, service): cdh-vm1.local
  • slave (datanode, worker): cdh-vm2.local, cdh-vm3.local
  • VM: CentOS 7.2 VirtualBox 4Cores 8GB RAM

Prerequisites

  • 固定 IP の設定（VB の Bridge Network を利用）
  • /etc/hosts の編集
<ipaddr 1>    cdh-vm1.local    cdh-vm1
<ipaddr 2>    cdh-vm2.local    cdh-vm2
<ipaddr 3>    cdh-vm3.local    cdh-vm3

  • /etc/yum.conf 内での プロキシサーバーの設定

  • SELinux の停止（※安全だといえる環境なら…）

    • sed -i -e 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
    • reboot

  • Firewalld の停止（※安全だといえる環境なら…）

    • systemctl stop firewalld
    • systemctl disable firewalld

  • セットアップ用ユーザーの作成

    • パスワードを同一のものを使う場合: Superuser もしくは，パスワードレスで sudo が利用できるユーザーを作成
      • /etc/ssh/ssh_config
        • StrictHostKeyChecking no
    • 公開鍵認証を使う場合: ssh-keygen enter x 2 cp .ssh/id_rsa.pub .ssh/authorized_keys
      • /etc/ssh/sshd_config
        • PubkeyAuthentication yes

  • VM のリンククローンを行う．

    • MAC アドレスはリセットしておく．

… ここまでを Vagrant + Ansible で構築すると楽．

Cloudera CDH の入手

Download CDH 5.8.0 をよく読む

特に，一番簡単なのは， Installation Path A - Automated Installation by Cloudera Manager (Non-Production Mode) 以下の流れとなる．

  • master への Cloudera Manager のインストール
  • master の Cloudera Manager から，slave への CDH5.8 インストール

master への Cloudera Manager のインストール

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
sudo ./cloudera-manager-installer.bin

slave への CDH インストール

  • VM を全機立ち上げる
  • master 上で，ブラウザから cdh-vm1:7180/cmf/login へアクセスする
  • ライセンス条項を読み，同意
  • 無償版（Express），有償版（Enterprise）トライアルなどの選択肢が表示されるが，今回は無償版の Express を選択
  • クラスタのセットアップのために，クラスタに含まれる全ノード（master も含む）を選択する
  • インストール方法は以下の２つ．後者がおすすめ，とあるが，頻繁にアップデートしない環境の場合，前者でもよい．今回は，色々な都合で前者を選択．
    • Package manager 経由 （RPM, DEB）
    • Cloudera Percel での配布
  • Oracle JDK のインストールに ☑ を入れる．
  • インストールに使用するユーザーの設定
    • root もしくは NOPASSWD 設定の sudoer ユーザー
    • 共通パスワードもしくは公開鍵を指定する
  • 全ノードで Manager および CDH のインストールが行われる
  • どの Service を利用するか選択する
  • どのノードをどの役割（Role）に割り当てるか選択する
    • 今回は初期設定のまま
  • 各種 Service の詳細設定
    • 今回は初期設定のまま
  • セットアップ状況の検証
  • 完了
Next Post Disk partition manipulation on OSX 10.11
Previous Post Cloudera CDH 5.8 Quickstart VMで予備の開発環境を作ったときのメモ