Hortonworks から最新情報をメールで受け取る

月に一度、ビッグデータに関する最新のインサイト、トレンド、分析情報、ナレッジをお届けします。

Sign up for the Developers Newsletter

月に一度、ビッグデータに関する最新のインサイト、トレンド、分析情報、ナレッジをお届けします。

行動喚起

始める

クラウド

スタートのご用意はできましたか?

Sandbox をダウンロード

ご質問はありませんか?

クローズクローズボタン
行動喚起

モノのインターネット( IoT )のビッグデータで、移動中のデータの価値を最大化

動画を動画ボタン再生

Get Started with Hortonworks DataFlow

Download Now
Hortonworks DataFlow (HDF)

Hortonworks DataFlow (HDF)

Hortonworks DataFlow( HDF )は、データの収集、キュレーション、分析、およびデータに作用する唯一のエンドツーエンドプラットフォームを、リアルタイム、オンプレミス、またはクラウドで、ドラッグ アンド ドロップで利用できるビジュアル インターフェースと共に提供します。HDF は、Apache Nifi / MiNifi、Apache Kafka、Apache Storm、Druid との統合ソリューションです。

The HDF streaming real-time data analytics platform includes data flow management systems, stream processing, and enterprise services.

Powering the Future of Data

HDF 3.1 Platform
Kafka Storm NiFi minifi Ranger Ambari

Hortonworks DataFlow の 3 つの主要コンポーネント

アドミニストレーター

簡単、安全、信頼性の高いデータフローの管理方法 

モノのインターネットのビッグデータフローを安全かつ効率的に収集、操作すると同時に、操作のリアルタイムな可視性、制御、管理を実現します。

アドミニストレーター

即時的かつ連続した洞察  

鮮度の落ちやすい洞察をリアルタイムで捉えるため、コードを 1 行も記述する必要なく、ストリーミング解析アプリケーションを数分で作成します。

詳細はこちら
アドミニストレーター

コーポレートガバナンス、セキュリティ、操作 

プロビジョニング、監視、ガバナンスのための包括的な管理パネルを用いて、HDF と HDP のエコシステムを管理します。

詳細はこちら

データソースにとらわれない、統合されたコレクションプラットフォーム

HDF のフル機能のデータ収集能力は、ストリーミングデータにとらわれず、220 以上のプロセッサーと統合されます。モノのインターネットのビッグデータを、フォーマット、スキーマ、プロトコル、スピード、サイズが異なるマシン、地理位置情報デバイス、クリックストリーム、ファイル、ソーシャルフィード、ログファイル、動画など、動的で分散されたソースから収集できます。

詳細:

  • データソースにとらわれないリアルタイムのデータフロー管理は、どのようにしてデータ移動を容易にするのでしょう。
    動画を見る
    詳細を見る ログ分析の最適化のために HDF に何ができるのかをご覧ください。詳細を読む
強力なデータ収集

移動中のデータへのリアルタイム応答

HDF があれば、データ収集が楽になりますソースの調整、ストリームの結合および分割、データフローの優先順位付けをするためのビジュアル コントロールパネルを用いて、データの完全管理を実現できますHDF では、より完全な解析結果と洞察を得るために、ご自身のストリームにコンテキストデータを追加することもできます。常にデータ上にある来歴と監査証跡は、セキュリティとガバナンス コンプライアンス、トラブルシューティングを必要に応じてリアルタイムで提供します。Apache NiFi、Apache MiNiFi、Apache Kafka、Apache Storm と統合され、HDF は高ボリュームのイベント処理即時解析とアクションができます。Kafka はデータの作成や配信の異なるレートに適応します。一方、Storm のリアルタイムストリーミング分析は、大規模スケールで洞察を即座に導き出します。

詳細:

  • Apache NiFi のリアルタイムビジュアルユーザインタフェースで管理したストリーミングデータが運用効率を向上させます。
    動画を見る
リアルタイムのデータフロー管理

送信元から送信先まで万全のセキュリティ 

HDF は個別のユーザー認証とリアルタイムの詳細な追跡管理により、送信元から送信先まで、エンドツーエンドのデータフローやルーティングを保護します。HDF のビジュアルユーザーインターフェースを利用して、ストリーミングデータを暗号化して Kafka にルーティングし、バッファを設定して輻輳管理することにより、データが動的に優先化され、安全に送信されます。HDF は役割ベースのデータアクセスを実現することにより、エンタープライズが選択した関連データを動的かつ安全に共有できるようにします。HDF は、運用コストをかけることなく、Kerberos 環境にてフロー管理やストリーミングアプリケーションを容易にデプロイします。

詳細:

  • 細分化されたデータへのアクセスが、役割ベースのアクセスより優れている様子をご覧ください
    動画を視聴する
エンタープライズ クラスのセキュリティ

コードなしでストリーミング解析アプリケーションを作成

HDF には、完全なストリーミング解析モジュール、ストリーミング解析マネージャー ( SAM )、イベントコリレーション、コンテキスト拡充、複雑なパターンマッチング、分析集計、洞察発見時の警告 / 通知の作成をおこなうストリーミング解析アプリケーションの作成が含まれています。SAM により、アプリケーション開発者、DevOps、ビジネスアナリストにとってストリーミング解析は容易になり、アプリケーションの作成、、開発、共同作業、分析、配置、管理を、コードを 1 行も記述せずに数分で行うことができます。アナリストは既成図を使用して速やかに分析およびダッシュボードを作成します。一方、DevOps は、使い始めからすぐにアプリケーションのパフォーマンスを管理できます。

デベロッパーは、模擬データを使用して SAM アプリケーションの作成を実験し、新しい SAM「テストモード」を使用して SAM アプリケーションの単体テストを作成できます。新しい SAM オペレーションモジュールは、展開されたアプリケーションを簡単にテスト、デバッグ、トラブルシューティング、および監視する機能を提供し、実行中のアプリケーションの操作をアプリケーションの構築と同じくらい簡単にできるようにします。

詳細:

スキーマ レジストリによる、より効率の高い運用

HDF に含まれるスキーマレジストリは、中央スキーマリポジトリにより、分析アプリケーションが相互に柔軟なやりとりを行えるようにします。そのため、ユーザーは必要なデータの保存、編集、スキーマの取得が可能です。また、追加コストを負担することなく各データにスキーマを容易にアタッチできるため、運営効率が向上します。スキーマのバージョン管理により、データコンシューマーとデータプロデューサーは異なるレートで展開できます。また、スキーマ検証のおかげでデータ品質が大幅に向上します。中央スキーマレジストリは、データがどのように使われているのかについて、優れたガバナンスも提供します。スキーマレジストリは Apache Nifi および HDF ストリーミング分析マネージャーにより統合されています。

詳細:

APACHE NIFI レジストリ

Apache NiFi レジストリは、現在 HDF エンタープライズ管理サービスに含まれている新しい Apache サブプロジェクトで、データフローの開発、管理、移植を容易にします。この機能の中核は、データフローのスキーマとプログラムを抽象化して、ユーザーがデータフローの変化をより詳細なレベルで追跡および監視できるようにする機能です。データフロースキーマは共有リポジトリに格納されているため、グローバルで簡単に共有したり、スキーマのバージョニングをしたりすることができます。

これにより、データフローをエクスポートおよびインポートすると移植が容易になり、ある環境から別の環境へデータフローをスムーズに移行することができます。この機能により、バージョニングされたフローの保管、制御、および管理を大幅に改善し、ソフトウェア開発のライフサイクルをさらに短縮できます。また、アプリケーションの導入から価値を生み出すようになるまでの時間も加速できます。

HDF の新機能

データフローの管理、開発、運用をスピードアップ

*

Apache NiFi レジストリを使用して、簡単にデータフローを開発、管理、移植

*

データフローの変化をより詳細なレベルで追跡および監視

*

データフロースキーマの共有リポジトリを使用する共有スキーマとバージョンスキーマ

*

ある環境から別の環境へのデータフローの簡単なエクスポートとインポート

デベロッパーの生産性を向上

*

Hortonworks Streaming Analytics Manager(SAM)で、ストリーミングデータのオペレーションを改善

*

新しい SAM "テストモード"を使用して、SAM アプリケーション用の SAM アプリケーションまたはユニットテストを作成

*

新しい SAM Operations モジュールを使用した、展開されたアプリケーションのテスト、デバッグ、トラブルシューティング、および監視

Kafka 1.0 との緊密な統合を体験

*

Ambari を使用して、Kafka 1.0 クラスタのインストール、構成、管理、アップグレード、監視、および保護を実施

*

Apache Ranger でのアクセス制御ポリシーの管理によるデータガバナンスと系列の強化

*

NiFi と SAM の新しいプロセッサを活用して、メッセージヘッダーとトランザクションを含む Kafka 1.0 の機能を使用

HDF ユーザーガイド

HDF に関するリリースノートや、ユーザー、デベロッパー、初心者のためのガイドです。

サポート

エンタープライズにおける Apache NiFi、Kafka、Storm に業界最高のサポートをご提供しています。弊社の専門家チームがあなたの旅をお手伝いします。

トレーニング

ビッグデータの専門家からの実践的なトレーニングです。個別またはオンデマンドで、必要なときに利用できます。