/note/tech

curl作者がクローズドの「Mythos」による17万8000行のコード分析結果を公開 性能をどう評価...

要約:

■ 1. 背景と概要

  • curlプロジェクトの開発者ダニエル・ステンバーグ氏が、AnthropicのAIモデル「Mythos」によるcurlソースコード(17万8000行)の脆弱性分析結果を2026年5月に公開
  • 分析はcurlのgitリポジトリのマスターブランチ(src/およびlib/サブディレクトリ)を対象に実施
  • ステンバーグ氏自身はLinux FoundationのAlpha-Omegaプロジェクト経由でのアクセス取得が遅延したため、代理人がスキャンを実行し、レポートを受領

■ 2. curlプロジェクトにおける既存のAIコード分析の実績

  • Mythos以前から複数のAI支援ツール(AISLE、Zeropath、OpenAI Codex Security)でコード分析を継続実施
  • 過去8〜10カ月で200〜300件のバグ修正がcurlにマージされ、CVEとして公開された脆弱性も十数件に及ぶ
  • プルリクエストレビューにはGitHub CopilotおよびAugment Codeを導入し、新規バグの混入防止を補助
  • AIレビューは人間のレビューを置き換えるものではなく、補完するものとして位置づけられている
  • セキュリティ研究者からの脆弱性報告もAI活用により質・量ともに増加

■ 3. Mythosによる分析結果の詳細

  • Mythosは「確認済みのセキュリティ脆弱性」として5件を報告
  • curlセキュリティチームが精査した結果:
    • 確認済み脆弱性として残ったのは1件のみ(深刻度「低」、curl 8.21.0リリース時にCVEとして公開予定)
    • 3件はAPIドキュメントに記載された既知の制約を脆弱性と誤認したフォールスポジティブ(偽陽性)
    • 1件は「単なるバグ」と判断
  • 脆弱性以外のバグも約20件がレポートに記載され、curlチームが順次対応中
  • Mythosのレポートは誤検知が少なく、問題の解説も的確と評価された

■ 4. Mythosの総合評価

  • 検出数では、curlが以前から利用している他のAIツールの方が多くのバグを発見(初期ツールほど発見しやすいバグが残っていたため)
  • ステンバーグ氏はMythosを「マーケティング先行」と結論付け:
    • 他のAIツールと比べて特に高度・特殊な問題を発見しているという証拠はない
    • 「少し優れているかもしれないが、コード分析に大きな変化をもたらすほどの差ではない」と評価
  • ただし対象はcurlのみであり、他の領域では異なる結果となる可能性も付記

■ 5. AIコード分析ツールが従来の静的解析ツールより優れる6つの特徴

  • コメントと実装の食い違いの検出:
    • コメントが説明する動作と実際のコード動作の不一致を検出可能
    • 従来の静的解析ツールはドキュメントとの食い違いを判定できなかった
  • 通常の解析ツールでは対応できないプラットフォームや構成の検査:
    • ビルド構成やプラットフォーム依存のコードパスまで踏み込んだ分析が可能
  • サードパーティーライブラリのAPI仕様の把握:
    • 学習段階で吸収した広範なライブラリ知識を活用し、不適切な使用や誤った前提を検出
  • プロトコル仕様との不整合の検出:
    • HTTP、TLS、FTPなどの仕様書に記載された挙動と実装のずれを発見
  • 欠陥の要約と説明:
    • 欠陥内容を読みやすく要約・説明する能力に優れ、開発者の対応迅速化に貢献
  • 修正パッチの生成提案:
    • 発見した問題に対するパッチを自動生成できる場合があるが、開発者による検証・調整が前提

■ 6. AIコード分析ツールの現在の限界

  • AIツールが発見する欠陥は既知タイプの新しい事例にとどまり、全く新種の脆弱性カテゴリーは今のところ報告されていない
  • 「AIは新しい欠陥カテゴリーを発見できているわけではない。だが、従来のツールより多くの既知パターンの問題を発掘できているのは事実」とステンバーグ氏は指摘
  • AIツールを導入していないプロジェクトは、攻撃者に脆弱性を発見・悪用される機会を与えるリスクがあると警鐘