バッチ処理とストリーミング処理

ジャズ音楽には即興演奏がつきものです。 小さなバンドなら、曲の枠組みだけを 作っておいて、舞台で全体を 完成させることも可能です。 うまくいけば、 特別な体験になるかもしれません。 しかし、メンバーが数人ではなく、 15 人から 20 人といった 大きなバンドの場合、 即興でのソロ演奏もあるでしょうが、 それ以外の部分は通常は前もって 作曲しておき、きちんと演奏を 合わせておく必要があります。 即興と作曲、音楽とデータとの 間には類似点があります。 ジャズでは、即興はその瞬間に 曲を作り出すこと、 作曲は前もって行うことです。 これらはデータとよく似ています。 ストリーム処理は、 データが届くと同時に、 リアルタイムで処理します。 対してバッチ処理は、あらかじめ 用意してあったデータを取得して 処理を実行します。 簡単に解説しましょう。 バッチ処理では、保存データ、 すなわち静的で変化のない データを扱います。 詳細は省きますが、私が普段扱っているのは この種のデータであり、 データセットに含まれるデータです。 データを必要なだけ詳細に分析でき、 データを行ったり来たりする 余裕があります。 パターンやグループを探すことができ、 高度で時間のかかるモデルに 基づいて予測を立てることができます。 これらはすべて、 標準的なバッチデータで可能です。 データを作成し、まとめ終わったら、 分析を行います。 ストリーム処理では、 リンゴは籠ではなく、 ベルトコンベアーに乗っています。 データが絶え間なく届き、 古いデータは破棄したり、 保存期間が決まっていたりします。 なぜなら、短期的な変化を探ったり、 システムの問題を引き起こすような 差し迫った異常を見つけたりすることが 目的だからです。 マシンの故障の可能性や、 不正行為の試みなど、分析の結果から 対応が必要になる事象を探します。 さて、この２つには重要な違いがあります。 組織の運営では、効率がよく、 状況の変化にうまく対応できることが 好まれるため、 アジャイルな開発や管理が 人気を博しています。 そのため、データアプローチも スピーディーで反応が早く、 アジャイルな処理が自然と 好まれる可能性があります。 しかし、ストリーム処理はバッチ処理より 新しく優れているというわけではなく、 まったくの別ものです。…