
別のエージェントから切り離した修正、観点ごとに分けたレビュー
Eco²のバックエンドで、コーディングエージェントとともに修正した2つの事例です。モデル名は、Claude Opus 4.5または4.6の共同作成者表記が記録している箇所にだけ記しています。
January 2026
別のエージェントが使っていたdevelopから切り離し、トークンストリーミングを2段階で修正
コーディングエージェント別のエージェント
行動developで別の作業が進行中
- 引き継ぎツリー使用中 → 切り離し→ 別のworktree · まず分析ノート (修正用worktree)
開発対象Chatストリーム
観測 · 指摘段階イベントだけが届き、トークンは届かない
- 引き継ぎ範囲:ストリームの発行→ 別のworktree · まず分析ノート (修正用worktree)
コーディングエージェント修正用worktree
行動別のworktree · まず分析ノート
- 引き継ぎ変更するファイル→ OpenAI SDKをLangChainアダプターでラップ (修正用worktree)
コーディングエージェント修正用worktree
行動OpenAI SDKをLangChainアダプターでラップ
- 引き継ぎ→ PR #437 → developにマージ (成果物)
成果物成果物
成果物PR #437 → developにマージ
- 引き継ぎ→ worktree · git-workflowスキルの分析手順 (成果物)
- 引き継ぎマージ後のE2E→ 回答トークンが重複 · intent「general」が漏れる (Chatストリーム)
開発対象Chatストリーム
観測 · 指摘回答トークンが重複 · intent「general」が漏れる
- 差し戻し2つの発行者→ node · seqで2つの発行者を区別 → キャプチャ済みトークンをスキップ(2段階) (修正用worktree)
成果物成果物
成果物worktree · git-workflowスキルの分析手順
コーディングエージェント修正用worktree
行動node · seqで2つの発行者を区別 → キャプチャ済みトークンをスキップ(2段階)
- 引き継ぎ前 / 後→ 記録されたSSEの前後の抜粋 (Chatストリーム)
- 引き継ぎコマンド単位の検査→ ローカルのコマンド検査:notifierのトークン0 (成果物)
開発対象Chatストリーム
観測 · 指摘記録されたSSEの前後の抜粋
成果物成果物
成果物ローカルのコマンド検査:notifierのトークン0
- 引き継ぎ→ PR #448 · developとの競合を解消してマージ (成果物)
成果物成果物
成果物PR #448 · developとの競合を解消してマージ
- 背景
- ChatのSSEには段階イベントが届くのに、トークンが届きませんでした。別のエージェントがdevelopで作業していたため、別のworktreeでの分析ノートから作業を始めました。最初の修正がマージされた後、観測された重複と漏れを2回目の修正で絞り込みました。
- 結果
- トークンを発行する責任を、実際にトークンを生成する1つのノードに絞りました。コマンド検査が示すのはnotifierがトークンを送らないことだけで、記録されたSSEの抜粋はその後のE2Eの観測を示します。両者は別の証拠です。
- 限界
- 別のエージェントの身元とモデル、コーディングエージェントの数は記録されていません。どちらのPRにも正式なレビュー承認はなく、この記録は現在のサービスでも新しいE2E実行でもありません。
February 10, 2026
評価器を観点ごとにレビューし、具体的な指摘だけをコードに
コーディングエージェント実装
行動評価パイプラインの実装候補
- 引き継ぎ観点ごとのレビュー→ 指摘:サンプリング・コストガードなし / 結果が可変 / 設定がクロージャの外 (5つのレビュー観点)
レビュー · 検証5つのレビュー観点
観測 · 指摘指摘:サンプリング・コストガードなし / 結果が可変 / 設定がクロージャの外
- 差し戻し評価の前に絞り込む→ 評価前にサンプリングし、1日のコストを確認 (実装)
- 差し戻し不変の結果 · 固定した設定→ 凍結された結果オブジェクト · 設定の明示的なバインディング (実装)
コーディングエージェント実装
行動評価前にサンプリングし、1日のコストを確認
コーディングエージェント実装
行動凍結された結果オブジェクト · 設定の明示的なバインディング
- 引き継ぎ検査→ 単体 · 配線の検査(ローカル · モック) (成果物)
成果物成果物
成果物単体 · 配線の検査(ローカル · モック)
- 記録された実行ではないここまでは及ばない→ 実際のRedis + PGでのE2E:当時は未作成 (成果物)
- 引き継ぎ→ PR #546をマージ · 手順をeval-feedback-loopスキルへ (成果物)
成果物成果物
指針 · 未確認実際のRedis + PGでのE2E:当時は未作成
成果物成果物
成果物PR #546をマージ · 手順をeval-feedback-loopスキルへ
- 背景
- 会話評価パイプラインの実装レポートには、5つのレビュー観点と2回の修正が記録されています。観点の数は、セッションやエージェントの数ではありません。
- 結果
- コードには、評価の前にサンプリングして1日のコストを確認する分岐、凍結された結果オブジェクト、設定の明示的なバインディングがあります。コストの照会に失敗してもL2評価はそのまま進むため、支出の厳密な上限ではありません。
- 限界
- 5つの観点はレビューの分け方であり、5つの独立したモデルセッションや人間の専門家による承認を意味しません。レポートにある100点近い内部スコアは品質の測定ではないため、掲載していません。
根拠と残る限界
- レポートの冒頭にリンクされているPRは#545で、Phase 1–4をマージした公開PRは#546です。
- まだ残っているrecalibrationのスタブも、レポートにそのまま記されています。