← 公開ドキュメント一覧

OPS TRACE / ANSWER QUALITY

実行トレースと回答品質

Snowflake OPSへ蓄積した実行メタデータと、Online Retail II回答品質evalの結果を、 公開可能な集計へ変換した静的スナップショットです。良い数字だけでなく、 この証跡からは判断できない範囲も同じ面に示します。

静的スナップショット 読み込み中 生成コード版を読み込み中 閲覧時にSnowflakeへ問い合わせません
evalケース — 評価軸を読み込み中
意図的な負例 — 検出結果を読み込み中
OPSトレース — run数を読み込み中
live実行率 — ローカル切替率を読み込み中

評価軸の内訳

正例は期待する回答を確認し、負例は判定器が誤りを実際にFAILへできるかを確認します。

実行トレースの内訳

OPSの集計値だけを表示します。質問文・回答文・SQL本文は含みません。

    実行証跡の鮮度

    鮮度の基準を読み込んでいます。

    この面で証明できたこと

      まだ証明していないこと

        公開と個人情報の境界

        trace.pyの運用メタデータ契約は維持しつつ、内容を復元できる本文はOPS投入前に除外します。

        保存しない質問文・request_text
        保存しない回答文・SQL・引用
        保存しない生のerror message

        品質スナップショットを読み込んでいます。