ニュースレター

Hortonworks から最新情報をメールで受け取る

月に一度、ビッグデータに関する最新のインサイト、トレンド、分析情報、ナレッジをお届けします。

AVAILABLE NEWSLETTERS:

Sign up for the Developers Newsletter

月に一度、ビッグデータに関する最新のインサイト、トレンド、分析情報、ナレッジをお届けします。

行動喚起

始める

クラウド

スタートのご用意はできましたか?

Sandbox をダウンロード

ご質問はありませんか?

*いつでも登録を解除できることを理解しています。Hortonworks プライバシーポリシーのその他の情報も確認しています。
クローズクローズボタン
HDP > Hadoop アドミニストレーション > Hortonworks Sandbox

Sandbox Deployment and Install Guide

DockerにHortonworks Sandboxを配置する

クラウド スタートのご用意はできましたか?

SANDBOX をダウンロード

はじめに

このチュートリアルでは、Hortonworks Sandbox (HDPまたはHDF) をお客様のコンピュータにあるDockerにインストールするための一般的な方法を説明します。

前提条件

  • Dockerインストール済み、バージョン 17.09またはそれ以降
  • A computer with minimum 10 GB RAM dedicated to the virtual machine
  • Microsoft Windowsユーザーはbashシェルをインストールしてください。インストラクションはGit Bashを使用してテストされています。

概要

メモリ構成

Linux用メモリ

Linuxに特別な構成は必要ありません。

Windows用メモリ

Windows用のDockerをインストールした後、アプリケーションを開き、メニューバーのDockerアイコンをクリックします。設定を選択します。

Docker設定

Select the Advanced tab and adjust the dedicated memory to at least 10GB of RAM.

Docker RAMを構成する

Mac用メモリ

Mac用Dockerをインストールした後、アプリケーションを開き、メニューバーのDockerアイコンをクリックします。設定を選択します。

docker-mac-preferences

Select the Advanced tab and adjust the dedicated memory to at least 12GB of RAM.

docker-mac-configure

HDP配置

HDP Sandboxを展開する

HDP Sandboxをインストール/配置/起動する

docker-download-hdp

解凍されたフォルダの中に、シェルスクリプト docker-deploy-{version}.sh があります。コマンドライン、Linux / Mac / Windows(Git Bash) からスクリプトを実行します:

cd /path/to/script
sh docker-deploy-{HDPversion}.sh

注記:スクリプトの実行は1回のみ必要です。設定が行われSandboxが開始し、必要に応じsandbox dockerコンテナ―を作成します。

注記: 解凍されたフォルダには他のスクリプトやフォルダが含まれています。現時点ではそれらは無視してください。上級のチュートリアルで後ほど使用します。

スクリプト出力は次のようなものになります:

docker-start-hdp-output

HDP Sandboxを確認する

コマンドを発行し、HDP Sandboxが配置されたかを確認します:

docker ps

次のような画面が表示されます:

docker-ps-hdp-output

HDP Sandbowを停止する

HDP Sandboxを停止/シャットダウンしたい場合は、次のコマンドを実行してください:

docker stop sandbox-hdp
docker stop sandbox-proxy

HDP Sandbox を再起動する

Sandboxを再起動させたい場合、次のコマンドを実行してください:

docker start sandbox-hdp
docker start sandbox-proxy

HDP Sandboxを削除する

コンテナはSandboxイメージのインスタンスです。削除する前にコンテナの依存性を停止してください。次のコマンドを発行します:

docker stop sandbox-hdp
docker stop sandbox-proxy
docker rm sandbox-hdp
docker rm sandbox-proxy

HDP Sandboxイメージを削除したい場合、コンテナを停止・削除した後に次のコマンドを発行してください:

docker rmi hortonworks/sandbox-hdp:{release}

HDFデプロイメント

HDF Sandboxを配置する

HDF Sandboxのインストール/配置/起動

docker-download-hdf

解凍されたフォルダの中に、シェルスクリプト docker-deploy-{version}.sh があります。コマンドライン、Linux / Mac / Windows(Git Bash) からスクリプトを実行します:

cd /path/to/script
sh docker-deploy-{HDFversion}.sh

注記:スクリプトの実行は1回のみ必要です。設定が行われSandboxが開始し、必要に応じsandbox dockerコンテナ―を作成します。

注記: 解凍されたフォルダには他のスクリプトやフォルダが含まれています。現時点ではそれらは無視してください。上級のチュートリアルで後ほど使用します。

スクリプト出力は次のようなものになります:

docker-start-hdf-output

HDF Sandboxを確認する

コマンドを発行して、HDF Sandboxが配置されたかを確認します:

docker ps

次のような画面が表示されます:

docker-ps-hdf-output

HDF Sandbowを停止する

HDF Sandboxを停止/シャットダウンしたい場合は、次のコマンドを実行してください:

docker stop sandbox-hdf
docker stop sandbox-proxy

HDF Sandbox を再起動する

HDF sandboxを再起動させたい場合、次のコマンドを実行してください:

docker start sandbox-hdf
docker start sandbox-proxy

HDF Sandboxを削除する

A container is an instance of the Sandbox image. You must stop container dependencies before removing it. Issue the following commands:

docker stop sandbox-hdf
docker stop sandbox-proxy
docker rm sandbox-hdf
docker rm sandbox-proxy

HDF Sandboxイメージを削除したい場合、コンテナを停止・削除した後に次のコマンドを発行してください:

docker rmi hortonworks/sandbox-hdf:{release}

つながるデータアーキテクチャ (CDA) を有効にする – 高度な話題

前提条件:

  • A computer with minimum 22 GB of RAM dedicated to the virtual machine
  • 最新版のHDP/HDF sandboxを配置済み
  • Update Docker settings to use minimum 16 GB (16384 MB)

Hortonworks Connected Data Architecture (CDA) は、data-in-motion (HDF) と保存されたデータ (HDP) Sandboxの両方を同時に再生することを可能にします。

HDF (data-in-motion)

data-in-motionは、データがあらゆる種類の異なるデバイスからフローまたはストリームに取り込まれるというアイデアです。このフロー、構成、またはNiFiが“プロセッサー”と呼ぶものは、データを変更、変換、集計そしてルートするためにアクションを実行します。data-in-motionは、ビッグデータアプリケーション構築の前処理をする段階の多くを取り扱います。例えば、データ処理はデータエンジニアが生データを使いより良いスキーマにフォーマットするので、データサイエンティストはデータの分析と視覚化に焦点を置くことができます。

HDP (保存されたデータ)

保存されたデータとは、データが移動せず、データベースまたはHadoop分散ファイルシステム (HDFS) などの分散データストレージ全体の堅牢なデータストレージに保存されるというアイデアです。データをクエリに送信する代わりに、クエリがデータに送信され有意義な洞察を探します。この段階ではビッグデータアプリケーションの構築にデータ、データ処理および分析が発生します。

Dockerメモリの更新

Docerk -> 設定…-> 詳細を選択しメモリを設定してください。Dockerを再起動させます。

docker-memory-settings

スクリプトを実行してCDAを有効にする

Sandboxを初めて配置した場合、一連の配置スクリプトがダウンロードされます – HDP Sandboxを配置するを例に参照してください。

解凍されたフォルダの中に、シェルスクリプト enable-native-cda.sh が含まれています。コマンドライン、Linux / Mac / Windows(Git Bash) からスクリプトを実行します:

cd /path/to/script
sh enable-native-cda.sh

スクリプト出力は次のようなものになります:

docker-enable-cda-output

参考文献

付録 A: トラブルシューティング

ドライブが共有されていません

docker-drive-not-shared

  • DockerにDocker-deploy-{version}.shが実行されるドライブへの書込みアクセスが必要です。

  • 最も簡単な解決策はダウンロードフォルダからスクリプトを実行することです。

  • それ以外では、配置スクリプトが存在する Docker設定 -> ファイル共有/共有ドライブ -> パス/ドライブ 追加/選択 に移動し、もう一度やり直してください。

デバイスの容量不足

ポートの不一致

配置スクリプトが実行される間、下記のようなポート競合の問題が生じる場合があります。

docker-conflicting-port

この画面では、ポート6001に競合が生じています。

Docker配置スクリプトを保存しているロケーションに移動します – HDP Sandboxの配置を例として参照してください。新しいディレクトリ Sandbox が作成されたのを確認できます。

  • ファイルsandbox/proxy/proxy-deploy.shを編集します
  • 競合するポート (最初のキーペア) の変更例: 6001:6001 から 16001:6001
  • ファイルを保存/終了します
  • bashスクリプトを実行します: bash sandbox/proxy/proxy-deploy.sh
  • 継続的なポート競合に対して同じ手順を繰り返します

コマンドを発行し、Sandboxが配置されたかを確認します:

docker ps

次のような画面が表示されます:

docker-ps-hdf-output

ユーザーの評価

ユーザーの評価
4 3.5 out of 5 stars
5 Star 25%
4 Star 50%
3 Star 0%
2 Star 0%
1 Star 25%
チュートリアル名
Sandbox Deployment and Install Guide

質問する回答を探す場合は、Hortonworks Community Connectionをご参照ください。

4 Reviews
評価する

登録

登録して評価をご記入ください

ご自身の体験を共有してください

例: 最高のチュートリアル

この欄に最低50文字で記入してください。

成功

ご意見を共有していただきありがとうございます!

Abnormal significant outbound data
by CAD DCM on February 11, 2019 at 9:13 pm

After deploying this version HDP from Azure Market, data usage consumed $280 free credit in one week. Azure Technical support did not find any abnormal and Hortonworks did not help.

After deploying this version HDP from Azure Market, data usage consumed $280 free credit in one week. Azure Technical support did not find any abnormal and Hortonworks did not help.

表示件数を減らす
Cancel

Review updated successfully.

some tricks on windows
by kun wei on January 30, 2019 at 12:39 am

* in windows docker settings, use default Linux containers, set C: as shared * change port in script if there is conflict, for example, 8091 is used by McAfee.

* in windows docker settings, use default Linux containers, set C: as shared
* change port in script if there is conflict, for example, 8091 is used by McAfee.

表示件数を減らす
Cancel

Review updated successfully.

Straight forward process
by christian Lopez on January 14, 2019 at 1:19 pm

Everyone should be able to do this, the instructions and deploy scripts have made this sandbox extremely easy to deploy.

Everyone should be able to do this, the instructions and deploy scripts have made this sandbox extremely easy to deploy.

表示件数を減らす
Cancel

Review updated successfully.

Sandbox Deployment and Install Guide
by Patrick Hagan on August 9, 2018 at 3:13 am

The instructions were written well, except at the end where you have to put in the URL. It would have been better with a screen prints of the browser before and after initial URL is entered and the result. Right now it is not clear, which browser - outside VM or inside VM and which URL - the ones on the top screen or the ones on the bottom. My guess is the URL on the bottom on a browser outside the VM. Thank you.

The instructions were written well, except at the end where you have to put in the URL. It would have been better with a screen prints of the browser before and after initial URL is entered and the result. Right now it is not clear, which browser – outside VM or inside VM and which URL – the ones on the top screen or the ones on the bottom. My guess is the URL on the bottom on a browser outside the VM. Thank you.

表示件数を減らす
Cancel

Review updated successfully.