分散ストレージと分散処理

私は数年前に、家族と飛行機内に 持ち込める手荷物だけで 世界旅行に行きました。 持ち物をかなり厳選し、 必要に応じて現地で 調達することもありました。 しかし数週間前に小旅行に行ったとき、 私たちの車はこの写真のようでした。 荷造りの仕方を 忘れてしまったわけではなく、 より多くの荷物が 必要な旅行だったからです。 データにも同じことが言えます。 ビッグデータは大きいので すべてのデータを１つのファイルや、 １台のドライブ、 １台のコンピューターに収めたり、 １か所で処理したりすることができません。 代わりに、分散コンピューティングと 分散処理に頼る必要があります。 何年か前、Apache Hadoop が 分散ストレージの初の主要な ソリューションとして、 ビッグデータ時代の到来を告げました。 そのため、Hadoop は ビッグデータの代名詞になり、 大規模な講演に 「Hadoop カンファレンス」 という名前が付けられるなど、 ビッグデータの象徴として使われました。 Hadoop は同じデータセットを 複数のコンピューターに 分散させることを可能にし、 冗長性や障害の問題といった さまざまなことに対処できました。 しかし、ストレージとして 構築されていたため、データ処理には 対応していませんでした。 Hadoop は分散ストレージと 特定の種類の分散処理によって ビッグデータの時代を切り開きましたが、 まさに基盤であり、 究極のソリューションでは ありませんでした。 現在はクラウドサービスの時代であり、 クラウドベース、 すなわちオンラインインターネットベースで データの保存や処理が行われます。 例えば、AWS、Google Cloud、 Microsoft Azure などの プロバイダーにデータを配置することで、 データを保存でき、なおかつデータを 分析するメカニズムを利用できます。 ビッグデータで実行される アプリを作成する場合は、 マルチプラットフォームコンテナを 使用できます。 代表的なものは、Linux の コンテナエンジンである Docker です。 コンテナ船のコンテナのように、 必要なものを積み込んで、さまざまな船に 積み降ろしできるアプリを作成できます。 コンテナを使用すると、 ビッグデータアプリを作成し、…