前回の続きですが、なんと言うか、ビッグデータ系の歴史を紐解いていくと、特定用途に設計・実装されたストレージと、その処理を実現するプロダクトが出てきて、ソレ等を横展開(エンジニアリング)シていく中で、ビッグデータ系のエンジニアリング界隈が発生してきたんだと思います。
そう考えると、「先ず要件があって、→ ソレを実現する機能が設計・実装された。」となります。解り易い例としては、「Googleが検索エンジン用に開発したバッチ処理システムを基に開発されたHadoop」等があるかと思います。
そして、このビッグデータ用のストレージの前・後に、
付与されて、これが、「IoT → ビッグデータ → AI(BI)」のデータ・パイプラインとなります。スタック(ソフトウェア・スタック)とコラボレーション(ソフトウェア間のデータ連携)です。
スタック&コラボレーションと言う言葉は、私が開発基盤のプログラム・マネジメントを行っている時に捻り出した言葉で、「昨今、技術が複雑化していく中で、出来ることが増えてきているな。」と感じ、2019年6月 位に、ソレを
コチラで図に表してみたんですが、ソコに、「IoT → ビッグデータ → AI(BI)のデータ・パイプライン」も、案外カチッとハマったんですよね(一方で、当時の、弊界隈でのスタック&コラボレーションは、フロントエンド、WebAPI、認証系でしたね)。
で、「あー、やっぱりね...。」と思って、
「コレ等のインテグレーションを、デマンドサイドで如何にやっていくか?と言うのが弊部会のテーマとなりそうだな。」
...と、この時点で気が付き、同時期に「繋ぎ目部会」というエイリアスが誕生するに至ります。...と言う事で、いよいよ、Elastic Stackを分析してみましょう(
次回に続く)。