エムスリー社のAI・機械学習チーム流MLOpsの歴史

概要

• AIチームが発足して6年になるとのこと。

• もともとECS → 現在はGKE

• 「「エラー発生」の監視から「正常に完了したかどうか」の監視へ」とかは分かりみが。

- ハングしていたり、何らかの理由で起動さえもしなくなっていても気づけない

- 一度はエラーが発生しつつも、その後は正常に動いているなら緊急性は下がるので区別したい

• バッチはすべてSpot VMを利用することで安価に
• gokartを利用していることなどから、途中停止や再実行にロバスト

• バッチの依存関係はcronjob + gokart or Algo Workflows