/note/tech

美しいバッチの壊し方

• Cookpad TechKitchen #8: Breaking BatchJobs Beautifully - Speaker Deck

MEMO:

• Bricolage
  • SQLバッチ専用フレームワーク
  • 1ジョブ=1SQL文
  • GitHub - bricolages/bricolage: AWS-oriented Data Warehouse Framework
• よいバッチとは
  • → 運用しやすい
  • → 障害を直しやすい
  • → 美しく壊れる
• 美しく壊れるとは
  • (1) どこで壊れたかすぐわかる
  • (2) 続きから実行できる
  • (3) リトライで直せる
• 美しく壊れるためのバッチ構築ルール
  • 処理は細かく分割する
  • 美しく壊れるとはI/O対象ごとにジョブ分割
• 冪等バッチの記述
  • (1) トランザクションなどアトミックな更新
  • (2) 更新しない
    • (1) まるごと作り直す
    • (2) 履歴テーブルを使う
    • (3) 予防的に削除しておく（delete-insert）

(2023/07/04)