丁度、先日、
分散処理系の理解を深め終わったので、
（分散処理、ザックリ、RDBMSのファイル・グループとか、シャーディングとか、そういう系の話を、別のNoSQLとか分散ストレージ上で行う感じの話だ。...と言う所まで理解できれば、後は、プランが自動生成されるので、ウワモノ屋さんにとっては、ソレだけで十分というような気がしました。）
イザ、
Azure HDInsightとか、Azure Databricksとか、ソレ系に着手しよう。...として、チュートリアルを色々と漁っていたら、.NET for Apache Sparkのv1.0が、先月の 2020/10/14 にリリースされていたようで、色々調べていたら、「あー、コレで（、.NET屋さんにも）、
配管工おじさん入門への道が開けた感あるなぁ。」などと思ったりしました。
Apache Spark、バッチからストリーミング処理、機械学習まで、結構、万能ですね。...で、コレを.NETで利用できる。って言うのは弊部会にとっては、非常にありがたいことでした。
引き続き、この分野、リサーチを続けていって、オイオイ、Open棟梁 for ホゲホゲ的なモノをリリース出来るような感じになるかも知れません。「ホゲホゲ」部には、「DX」とか、なんか、そんな感じの文字列が入るンじゃないか？等と思ったりしています。
（...が、ビッグデータの配管部分については、サンプルやテンプレート作成位しかヤルことが無いような気も、現時点では、しています。あと、Spark SQLがLINQっぽくて、思ったことをやるのにチョット、色々と、考えないとイケナイのが大変のように思ったりしました）。
トップページ
お知らせ
開発基盤部会
.NET for Apache Sparkで見えた、配管工おじさん入門への道
