ダウンロード
http://www.cloudera.com/downloads/quickstart_vms/5-8.html
現在は各種仮想環境用にイメージが用意されている.
- Virtual Box
- VMWare
- KVM
- Docker Container (Clusterdock)
今回は単一ノードでの検証用かつ Spark コード開発用に,VirtualBox の VM をダウンロードした. CDH5.8 の場合は,CentOS6.7 だった.
セットアップ
特になし.
Caveats
Static IP
Quickstart VM はデフォルトでは NAT インターフェースしか持たない.
また,マシンの IP は固定されている.(10.0.2.15)
仮に NetworkManager で固定 IP を設定しても, /etc/hosts は上記のものに書き換えられてしまう.
Static IP を設定したかったので,以下のことを試した.
- 
どこで設定されているのか - /etc/init.d/cloudera-quickstart-init内で- cloudera-quickstart-ipコマンドが実行されている
- which cloudera-quickstart-ip->- /usr/bin/cloudera-quickstart-ip
- /usr/bin/cloudera-quickstart-ip- 第一引数に与えられた IP があればそれを使用する.
- 引数なしの場合,eth0, eth1, eth2 の順に IP が付与されているものがあればそれを使う.
- IP が決まれば,/etc/hosts を編集する.上記で IP が定まらなかった場合,127.0.0.1 を使う.
- 単一ノードクラスタとするために,manager と worker は同一ノードである.上記で決定した IP を /var/lib/cloudera-quickstart/tutorial/js/config.jsに反映する.
 
 
- 
どうすればよいか - VirtualBox で Bridge Network を追加し,VM 上で利用できるようにする.
- CentOS6 なので,service NetworkManager stopchkconfig NetworkManager offをして,手動で設定してもいいかもしれない.
 
- CentOS6 なので,
- /etc/init.d/cloudera-quickstart-init内で- cloudera-quickstart-ipコマンドに引数として 設定した Static IP を与える.
- reboot
- 起動後,Cloudera Manager の Management Service の Status が “Reconfiguration Required” みたいな状態になっている場合は,反映して,(web コンソールからクラスタを)再起動
 
- VirtualBox で Bridge Network を追加し,VM 上で利用できるようにする.