Get fresh updates from Hortonworks by email

Once a month, receive latest insights, trends, analytics, offering information and knowledge of the Big Data.

行動喚起

始める

クラウド

スタートのご用意はできましたか?

Sandbox をダウンロード

ご質問はありませんか?

クローズクローズボタン
行動喚起

高速で簡単かつ安全なビッグデータ採取

データ採取が数ヶ月から数分に

クラウド データ採取を速く、簡単、安全にする方法を学びます

ホワイトペーパーをダウンロード

データ採取とは?

ビッグデータの採取とは、データの移動です - そして、特に非構造化データの場合のことを言います - データがもともとあった場所から、Hadoop のように保存・分析を行うシステムへの移動のことです。

データ採取は継続的または非同期の場合もあり、リアルタイムまたはバッチ、あるいはその両方(ラムダアーキテクチャー)の場合もありますが、それはソースやデスティネーションの特性によって決まります。多くのシナリオでは、ソースとデスティネーションのデータタイミングやフォーマット、プロトコルが異なるため、ある種の変換によってデスティネーションシステムで使えるようにする必要があります。

IoT のデバイスが増加するにつれて、データソースのデータ量や相違が急速に拡大し、ソースは多くの場合、リアルタイムでの調整が必要になっています。しかし、デスティネーションシステムで使えるようにデータを抽出することは、時間とリソースの観点から重要な課題といえます。データ採取を可能な限り効率化すれば、データの準備や変換という日々の業務よりも、ビッグデータ分析のリソースに焦点を当てることができます。

HDF がビッグデータの採取を容易にします

導入前

入り組んでいて乱雑、正しいデータを Hadoop に移動するのに数週間から数ヶ月かかる

導入後

合理化され、効率的で容易

データ採取に伴う典型的な問題

複雑で遅くて高額

*

オーバースペックな専用ツールのせいで、ビッグデータの採取が複雑になり、手間もコストもかかる

*

カスタマイズされたスクリプトを書き、複数の製品を結合して現在のビッグデータ収集ソリューションに関連するデータを取得・採取するのには時間がかかりすぎるため、現代のビジネス環境で求められるオンタイムの意思決定を阻む

*

既存ツールのためのコマンドライン・インターフェースが、デベロッパーへの依存を生み出し、データの利用や意思決定の足かせとなる

データのセキュリティと信頼

*

細かく分散したデータを共有する必要性と、グループまたは役割レベルでのアクセスを制限する現在のトランスポート層のデータセキュリティ能力とが両立しない

*

コンプライアンスとデータセキュリティの規則順守は、難しい上に複雑でコストもかかる

*

データのアクセスと使用を検証することは困難で時間がかかるものであり、手作業で異なるシステムをつなぎ合わせ、データの出所や使用法、これまでの使用者や使用頻度を確認するために報告をしなければならないこともある

IoT のためのデータ採取に関する問題

*

限定されたパワー、コンピューティング、帯域幅のリソースと、データソースから生成されるデータ信号の量とのバランスを取るのが難しい

*

接続性が信頼できない場合、通信停止やデータ損失が発生する

*

世界で配置されているセンサーのほとんどがセキュリティ不足であるため、ビジネスや安全が危険にさらされている

Hortonworks Dataflow によるデータ採取の最適化

高速、簡単、安全

*

ビッグデータ収集に関する問題の多くを最速で解決する方法

*

リアルタイムでインタラクティブな、ポイント & クリック制御のデータフロー

*

データの収集と動きを加速してビッグデータ ROI を増大

*

リアルタイムで操作可能な可視性、フィードバック、制御

*

ビジネスの俊敏性と即応力

*

ストリーミングデータソースからのリアルタイムな意思決定

*

コーディングやカスタムスクリプトのアプローチ特有の依存性や遅延を排除することにより、これまでにない運用効率を達成することが可能

*

すぐに入手できる、ビッグデータインフラストラクチャのためのフローベースのプログラミング

*

セキュアで信頼できる優先的なデータ収集を、地理的に分散した変化の多い帯域幅環境で実現

*

エンド・ツー・エンドのデータ来歴が実現する、データコンプライアンス、データの “評価” 、データフローの最適化、トラブルシューティングに関する分析過程管理

Single, Flexible, Adaptive Bi-Directional Real-Time System

*

動的な異なる分散ソースから統合された、データソースに依存しないコレクション

*

変動する帯域幅とレイテンシ環境にある地理的に離れた通信回線を通じ、遠隔にある分散したデータソースの変動する条件に適応

*

エッジでの動的なリアルタイムのデータ優先順位付けにより、データを送信、ドロップ、ローカルで保存

*

データ、コマンド、コンテキストデータの双方向移動

*

小規模なデータソース上でも実行できるよう設計され、モノのインターネットはもちろん、現代のエンタープライズデータセンターの大規模なクラスタもサポートします。

*

視覚的な分析過程の管理(来歴)が提供する、イベントレベルのリアルタイムなデータ系列により、モノのインターネットのデータを検証、信頼

 
リアルタイムデータフローが ビッグデータ ROI を加速する方法
IoT のデータフローを保護
リアルタイムの視覚データ系列
セキュアなデータアクセスと制御
移動中のデータの動的優先順位付け

Hortonworks Dataflow によるデータ採取のユースケース

ユースケース 1

Hadoop への入口

リアルタイムなドラッグ & ドロップ・インターフェースにより、Hadoop へのデータの移動に必要な時間を数ヶ月から数分に短縮します。実環境でのユースケースについてお読みください。データを 30 秒で HDFS に移動させる方法が分かります。

 

Prescient 動画 | ブログ
30 秒のライブデモを今すぐ観る

ユースケース 2
メディアの画像

ログの収集 / Splunk の最適化

ログデータの収集は複雑になる場合があります。通常は量に限りがあり、大規模で運用できるようにするのは困難です。HDF により、増大するログデータの収集、ファネル、アクセスを効果的に行えます。また、リアルタイムのエッジ分析により、Splunk、SumoLogic、Graylog、LogStash などのログ分析システムとの統合が容易になり、ログファイルのデータ取り込みが簡単、安全かつ包括的に行えます。

 

ログ分析最適化に関するホワイトペーパー今すぐダウンロード

ユースケース 3
メディアの画像

IoT の採取

リアルタイムの IoT データによりリアルタイムでの意思決定を実現することは、分散・隔離されているという IoT データの特性により難題となっています。HDF はデータ収集を簡易化し、高度に分散したネットワークのエッジまでインテリジェンスを行き渡らせるのに役立ちます。

 

A. IoT のためのエッジインテリジェンスもっと詳しく
B. 小売業界と IoTもっと詳しく
C. Open Energi IoTもっと詳しく

ユースケース 4
メディアの画像

ストリーム処理エンジンにデータを配信

NiFi Kafka Storm のブログ、スライド、ウェビナー もっと詳しく
Hadoop Summit のキーノートより、Comcast NiFi into Spark 動画