Hortonworks から最新情報をメールで受け取る

月に一度、ビッグデータに関する最新のインサイト、トレンド、分析情報、ナレッジをお届けします。

行動喚起

始める

クラウド

スタートのご用意はできましたか?

Sandbox をダウンロード

ご質問はありませんか?

クローズクローズボタン
行動喚起

高速で簡単かつ安全なビッグデータ採取

データ採取が数ヶ月から数分に

クラウド データ採取を速く、簡単、安全にする方法を学びます

ホワイトペーパーをダウンロード

データ採取とは?

Big data ingestion is about moving data - especially unstructured data - from where it is originated, into a system where it can be stored and analyzed such as Hadoop.

Data ingestion may be continuous or asynchronous, real-time or batched or both (lambda architecture) depending upon the characteristics of the source and the destination. In many scenarios, the source and the destination may not have the same data timing, format or protocol and will require some type of transformation or conversion to be usable by the destination system.

As the number of IoT devices grows, both volume and variance of data sources are expanding rapidly, sources which now need to be accommodated, and often in real time. Yet extracting the data such that it can be used by the destination system is a significant challenge in terms of time and resources. Making data ingestion as efficient as possible helps focus resources on big data streaming and analysis, rather than the mundane efforts of data preparation and transformation.

HDF がビッグデータの採取を容易にします

導入前

入り組んでいて乱雑、正しいデータを Hadoop に移動するのに数週間から数ヶ月かかる

導入後

合理化され、効率的で容易

データ採取に伴う典型的な問題

複雑で遅くて高額

*

Purpose-built and over-engineered tools make big data ingestion complex, time consuming, and expensive

*

Writing customized scripts, and combining multiple products together to acquire and ingestion data associated with current big data ingest solutions takes too long and prevents on-time decision making required of today’s business environment

*

• Command line interfaces for existing streaming data processing tools create dependencies on developers and fetters access to data and decision making

データのセキュリティと信頼

*

細かく分散したデータを共有する必要性と、グループまたは役割レベルでのアクセスを制限する現在のトランスポート層のデータセキュリティ能力とが両立しない

*

コンプライアンスとデータセキュリティの規則順守は、難しい上に複雑でコストもかかる

*

データのアクセスと使用を検証することは困難で時間がかかるものであり、手作業で異なるシステムをつなぎ合わせ、データの出所や使用法、これまでの使用者や使用頻度を確認するために報告をしなければならないこともある

IoT のためのデータ採取に関する問題

*

• Difficult to balancing limited resources of power, computing and bandwidth with the volume of data signals being generated from big data streaming sources

*

接続性が信頼できない場合、通信停止やデータ損失が発生する

*

世界で配置されているセンサーのほとんどがセキュリティ不足であるため、ビジネスや安全が危険にさらされている

Hortonworks Dataflow によるデータ採取の最適化

高速、簡単、安全

*

ビッグデータ収集に関する問題の多くを最速で解決する方法

*

リアルタイムでインタラクティブな、ポイント & クリック制御のデータフロー

*

データの収集と動きを加速してビッグデータ ROI を増大

*

リアルタイムで操作可能な可視性、フィードバック、制御

*

ビジネスの俊敏性と即応力

*

Real-time decision making from big data streaming sources

*

コーディングやカスタムスクリプトのアプローチ特有の依存性や遅延を排除することにより、これまでにない運用効率を達成することが可能

*

すぐに入手できる、ビッグデータインフラストラクチャのためのフローベースのプログラミング

*

セキュアで信頼できる優先的なデータ収集を、地理的に分散した変化の多い帯域幅環境で実現

*

エンド・ツー・エンドのデータ来歴が実現する、データコンプライアンス、データの “評価” 、データフローの最適化、トラブルシューティングに関する分析過程管理

柔軟性が高く適応力のある、単一の双方向リアルタイムシステム

*

動的な異なる分散ソースから統合された、データソースに依存しないコレクション

*

Adaptive to fluctuating conditions of remote, distributed data sources over geographically disperse communication links in varying bandwidth and latency environments

*

エッジでの動的なリアルタイムのデータ優先順位付けにより、データを送信、ドロップ、ローカルで保存

*

データ、コマンド、コンテキストデータの双方向移動

*

小規模なデータソース上でも実行できるよう設計され、モノのインターネットはもちろん、現代のエンタープライズデータセンターの大規模なクラスタもサポートします。

*

視覚的な分析過程の管理(来歴)が提供する、イベントレベルのリアルタイムなデータ系列により、モノのインターネットのデータを検証、信頼

 
リアルタイムデータフローが ビッグデータ ROI を加速する方法
IoT のデータフローを保護
リアルタイムの視覚データ系列
セキュアなデータアクセスと制御
移動中のデータの動的優先順位付け

Hortonworks Dataflow によるデータ採取のユースケース

ユースケース 1

Hadoop への入口

リアルタイムなドラッグ & ドロップ・インターフェースにより、Hadoop へのデータの移動に必要な時間を数ヶ月から数分に短縮します。実環境でのユースケースについてお読みください。データを 30 秒で HDFS に移動させる方法が分かります。

 

Prescient 動画 | ブログ
30 秒のライブデモを今すぐ観る

ユースケース 2
メディアの画像

ログの収集 / Splunk の最適化

ログデータの収集は複雑になる場合があります。通常は量に限りがあり、大規模で運用できるようにするのは困難です。HDF により、増大するログデータの収集、ファネル、アクセスを効果的に行えます。また、リアルタイムのエッジ分析により、Splunk、SumoLogic、Graylog、LogStash などのログ分析システムとの統合が容易になり、ログファイルのデータ取り込みが簡単、安全かつ包括的に行えます。

 

ログ分析最適化に関するホワイトペーパー今すぐダウンロード

ユースケース 3
メディアの画像

IoT の採取

Realizing the promise of real-time decision making enabled by real-time IoT big data streaming is a challenge due to the distributed and disparate nature of IoT data. HDF simplifies data collection and helps push intelligence to at the very edge of highly distributed networks.

 

A. IoT のためのエッジインテリジェンスもっと詳しく
B. 小売業界と IoTもっと詳しく
C. Open Energi IoTもっと詳しく

ユースケース 4
メディアの画像

ストリーム処理エンジンにデータを配信

Big data ingestion leads to processing that delivers business intelligence. HDF enables streaming data processing for your organization to support real-time enterprise use cases with two of the most popular open-source solutions Apache Storm and Spark Streaming.

NiFi Kafka Storm のブログ、スライド、ウェビナー もっと詳しく
Hadoop Summit のキーノートより、Comcast NiFi into Spark 動画