昨年の終わりごろに参加した勉強会の内容共有です。

・Sparkについて
・BackPressureについて

おもに後者の利便性についてフォーカスを当てます。

Sparkなど分散型ストリーミング配信などで用いられるフロー制御。

フロー制御？

リアルタイムでデータが飛び交う中で大事な速度と安定さ。
このバックプレッシャーは簡単に言えば
「データ双方向で信号を送りあって過多のバランスを取る」
と言った制御システム。

例えば送る信号が多すぎる場合、、、受け手が受け止めきれず。
逆の場合は受け手が暇になってコストが無駄になります。

これを解決するためのフロー

データの送り手と受け手が常にデータ量の過多を報告しあいます。
受け手が多すぎたら少なくしろと、
少なすぎたらもっと送っていいよと言った具合に。

分散型フローにおいて速度が重視される中、
バックプレッシャーは
「速度を犠牲にしてもシステムが止まらないことに有意性を持つ」
ことが魅力を感じて共有しました

時間があるときにもう少し詳しい内容を記載出来ればと。