テストパターン一覧

main 6580c3b のRAIOPS-4で、資格情報なしの一時プロファイルを使い、dbt設定とモデルが解釈・空コンパイルできることを確認した。tools/check_dbt_static_contract.py と tests/test_dbt_static_contract.py も通過し、CI品質ゲート 28577692921 とPagesビルド 28577691531 も成功している。

使う。dbt編集の最初の安全確認。ただしSnowflake実環境でデータを読めた証明にはしない。

dbt parse --project-dir dbt --profiles-dir /tmp/retail-ai-ops-dbt-profiles
dbt compile --no-populate-cache --no-introspect --empty

YAML、Jinja、マクロ、セレクタ、テスト定義が構文上壊れておらず、レビュー可能なdbt生成物へ進めること。

実環境dbtビルド/テストは未証明。Snowflake実接続、ウェアハウス上の行数、ロール権限、Snowflake実データ上のdbtテスト成功、SQL結果正当性、Cortex Analyst、回答品質、Streamlit E2Eは証明しない。証跡ラベル: NOT_EXECUTED_NOT_PROVEN

プロジェクトファミリー、クライアント納品向け汎用スキル、Backlog受入基準、ドキュメントテンプレート。

dbtステージング/中間/マート、RAIOPS-4 dbt品質ゲート、セマンティックモデル準備度。

実環境資格情報を使う別レーンでdbt seed/build/testを実行し、ターゲット、ロール、スキーマ、失敗したテスト名を残す。

main 6eb57f7 に、Snowparkで評価結果とトレース情報を補強する契約が統合済み。実装コミットは 1471323、ea7ac07、6eb57f7。CI品質ゲート 28580571344 とPages実行 28580570625 は成功し、フィードバック反映コミットは 2734ecb。

使う。SnowparkやCortexの実環境経路へ進む前に、ローカル契約、実行時失敗のJSON証跡、負例境界を分け、失敗時にローカルフィクスチャ成功へ黙って逃げないことを固定する。

python3 -m retail_ai_ops.eval_runner --jsonl-output /tmp/raiops12-eval.jsonl
python3 tools/run_snowpark_enrichment.py --runtime-mode local_explicit_test --eval-jsonl /tmp/raiops12-eval.jsonl --output /tmp/raiops12-enrichment.json
python3 tools/run_snowpark_enrichment.py --runtime-mode snowpark --eval-jsonl /tmp/raiops12-eval.jsonl --output /tmp/raiops12-snowpark.json
pytest -q tests/test_snowpark_enrichment.py
pytest -q

明示したローカル評価JSONLを集計し、18件の品質期待と8件の既知ギャップを分けて出せること。Snowparkモードでは前提不足のときに終了コード2で止まり、どの層の不足かを失敗JSONに残す。監査用の正確なキーは quality_passed=18、known_gaps_observed=8、live_external_executed=false、local_fallback_used=false などで確認する。

James修正後、入力欠落と不正JSONLでも失敗JSONを書き、成功時と失敗時のJSONが後続工程で同じ形で読めることをテストした。Harveyの第三者テスト、対象pytest、全体pytest、Linnaeusの契約フローE2Eはいずれもローカル証跡として成功。

Snowflake実接続成功、Snowparkセッション作成、ストアドプロシージャ / UDF / dbt Pythonモデル実行、Cortex実行、トレース保存への実環境保存、SQL結果正当性、回答品質は証明しない。Pages成功は公開ビルド証跡であり、実環境ランタイム証跡ではない。

Snowpark実行層、評価/トレース補強、ツールアダプタ、トレース保存、ゴールデン評価、失敗時JSON証跡の整合、Backlog受入基準。

RAIOPS-12、Snowpark Python、ゴールデン評価、トレース保存、エラー分類、L6公開面更新。

実環境資格情報とSnowpark実行環境が揃う別レーンで、ターゲット、ロール/スキーマ、ストアドプロシージャ/UDF/dbt Pythonモデル、Cortex境界、失敗時JSON証跡を別証跡として追加する。ローカル契約を実環境成功に読み替えない。

RAIOPS-7はソース統合 b1a8568 と証跡修正 1555300 がmain統合済み。CI品質ゲート 28573780045 とPagesビルド 28573778991 は成功。候補 8408616 のローカル静的境界証跡をPages向け説明へ反映し、L4第三者テストも通過している。L5実環境境界レーンはSnowflake資格情報なしで停止。

使う。実環境実行を始める前に、環境変数不足時の明示停止、暗黙フォールバック禁止、トレース項目契約、秘密情報らしいエラーのマスキングを安いローカル静的証跡で固定する。

tools/run_live_trace.py --runtime snowflake --trace-path ...
tools/run_live_trace.py --runtime local_explicit_test --trace-path ...
tests/test_planner_and_trace.py
tests/test_streamlit_browser_e2e.py

環境変数不足時のトレースは error_category=live_prerequisite_missing、live_external_attempted=false、live_external_executed=false、local_fallback_used=false。疑似実環境失敗では live_external_attempted=true かつ live_external_executed=false。明示ローカルトレースは6レコードで、SQLを含む行も request_text は元の質問として残り、生成SQLとは分離されている。

Snowflake/Cortexの実環境成功、Cortex Analyst実行、Snowflake OPSテーブル書き込み、Slack/Backlog/API/Webhookの実送信、SQL結果正当性、回答品質、本番運用向けの観測性は証明しない。

ツールアダプタ、トレースロガー、トレース保存、実環境統合準備度、公開面の証跡境界。

RAIOPS-7、ツールアダプタ、トレースロガー、L2統合候補、L4第三者テスト、L5実環境境界レーン。

実環境Snowflake/Cortex資格情報が揃うまでは実環境成功扱いにしない。live_external_attempted と live_external_executed を同一視しない。

main 45c867d にRAIOPS-13のRBAC、コストガードレール、LLM安全フィールド、Snowflakeセッション制御が統合済み。CI品質ゲート 28584336684 とPagesビルド 28584336044 は成功。証跡は .agent-feedback/SUBAGENT_INVOCATIONS.md の INV-20260702-044 から INV-20260702-047、実装レポートは docs/project-management/raiops13-rbac-cost-guardrail-report.md。

使う。RBAC、LLM安全フィールド、生データ/個人情報の安全停止、コストガードレール、Snowflakeクライアントのセッションパラメータ、トレースメタデータ整合を、実環境資格情報なしでも壊れにくい契約として固定する。

pytest -q tests/test_planner_and_trace.py は 70 passed。
pytest -q は 116 passed, 2 skipped。
node tools/check_parallel_session_guardrails.mjs、node tools/check_feedback_reflection.mjs、python3 tools/sync_obsidian_docs.py --direction check、git diff --check はmain側確認済み。

ROLE_BOUNDARIES と LLM_SAFE_FIELDS が計画とトレースに入ること、生データ/個人情報フィールドヒントが sensitive_or_raw_data_request で安全停止すること、安全でない RETAIL_AI_OPS_LLM_SAFE_FIELDS と非正のコスト値が安全側停止になること、SQL limit とトレースメタデータが設定と一致すること、疑似Snowflakeコネクタが QUERY_TAG と STATEMENT_TIMEOUT_IN_SECONDS を受けること。

Snowflake実クエリ、実ロール付与/RLS/IAM、リソースモニター作成、ウェアハウス履歴上のクエリタグ確認、Snowflake OPS.COPILOT_TRACE_LOG への書き込み、Cortex Analyst/Search/Agents実行、SQL結果正当性、回答品質、本番FinOpsダッシュボードは証明しない。証跡ラベル: NOT_EXECUTED_NOT_PROVEN

RBAC / アクセス制御、コストガードレール、プランナー、エージェントルーター、ツールアダプタ、トレースロガー、トレース保存、Backlog受入基準、公開面の証跡境界。

RAIOPS-13、RBAC、コストガードレール、プランナー、エージェントルーター、ツールアダプタ、トレースロガー、トレース保存、L6公開面更新。

実環境資格情報と権限が揃う別レーンで、Snowflakeロール、セッションパラメータ、リソースモニター、トレース書き込み、Cortex実行を別証跡として追加する。ローカル契約やモックコネクタ成功を実環境成功やintegration_readyとして扱わない。

main 6580c3b のRAIOPS-4で、モデルのスキーマテスト、汎用テスト、dbt/tests/singular/、dbt/seeds/schema.yml、KPIシード契約、再集計リスクの負例フィクスチャを静的契約ゲートへ統合。tools/check_dbt_static_contract.py とpytest 7件、CI品質ゲート 28577692921、Pagesビルド 28577691531 は成功。

使う。セマンティックモデルとゴールデン評価へ渡すKPI定義、粒度、率系/再集計リスクの最低契約を守る。

python3 tools/check_dbt_static_contract.py
.venv/bin/python -m pytest tests/test_dbt_static_contract.py -q
dbt/models/**/schema.yml
dbt/tests/generic/*.sql
dbt/tests/singular/*.sql
dbt/seeds/schema.yml

モデル列のnot_null/unique/rangeなどの契約、汎用テストマクロ、KPIシード行、未対応/ギャップ表現、再集計注意の個別SQL契約がリポジトリ内に静的に存在し、解釈・コンパイル可能な状態であること。

実環境dbtビルド/テストは未証明。Snowflake実データ上のdbtテスト成功、SQL結果正当性、Cortex Analyst、回答品質、Streamlit E2E、率KPIを月別以外へ安全に再集計できることは証明しない。証跡ラベル: NOT_EXECUTED_NOT_PROVEN

プロジェクト内、プロジェクトファミリー、リント・CI、Backlog受入基準、クライアント納品向け汎用スキル。

kpi_definitions シード、mart_retail_monthly_kpi、セマンティック入力、評価入力。

実環境資格情報を使う別レーンでdbt seed/build/testを実行し、Snowflakeターゲット、ロール、スキーマ、行数、失敗したテスト名、SQL結果正当性を別証跡として追加する。率系KPIの再集計はセマンティック/ゴールデン評価側のケースへ接続する。

L5コミット ef6a825 をローカル静的レビュー候補として反映。tests/test_semantic_contract.py、tools/validate_semantic_contract.py --json、全体pytestで、セマンティック契約の負例を検出できることを確認している。監査用ラベル: reviewed-candidate_local-static

使う。率KPIを保存済み率のまま SUM / AVG する誤用と、分母ゼロ防止の欠落をセマンティック契約変更時に早く検知する。

PYTHONDONTWRITEBYTECODE=1 pytest -q tests/test_semantic_contract.py
PYTHONDONTWRITEBYTECODE=1 python3 tools/validate_semantic_contract.py --json
PYTHONDONTWRITEBYTECODE=1 pytest -q

セマンティック検証器が、保存済み率の SUM / AVG 誤用と、分母ゼロ防止の契約違反をローカル静的に検出できること。

Snowflake実行、Cortex Analyst登録または実応答、SQL結果正当性、回答品質、実環境外部実行は証明しない。L4ブラウザE2Eは別証跡で扱い、セマンティック検証器の追加進捗には加算しない。

セマンティックKPIモデル、検証済みクエリ、ゴールデン評価の率KPIケース、CIの契約検証器、Backlog受入基準。

セマンティックKPIモデル、dbtテスト、ゴールデン評価、L5セマンティック検証器レーン。

実環境Snowflake/Cortex、SQL結果正当性、回答品質は別証跡で追加する。L4ブラウザE2EはUI証跡として扱い、セマンティック公開面の進捗には加算しない。

このリポジトリ群では、外部送信しない通知シミュレーションをテストパターンとして扱う。このブランチ単体では、main統合前のレーン成果物が未搭載の場合がある。監査用モード名: private_simulation

使う。遠隔報告やBacklog/Slack文面の決定的テストとして有効。ただし実送信の証跡語と分ける。

node --test tests/backlog_slack_notification.test.mjs
--mode private_simulation
sent_external=false

フィクスチャ入力から本文、重複抑止、宛先メタデータ、外部送信しない安全経路が期待通りになること。

実Slack投稿、実Backlog API送信、相手ペインの受理、GitHub Issue上の報告確認。

プロジェクトファミリー、クライアント納品向け汎用スキル、Backlog受入基準、ドキュメントテンプレート。

遠隔Issue報告、Backlog/Slack通知レーン、並列セッション運用。

main統合後に現物ファイル名でコマンドを固定し、実送信確認とは別の実環境結合項目を作る。

接続線の幾何、テキスト配置、構成図品質をまとめて見るNodeラッパーがある。構成図HTMLの変更時に必須ゲートとして扱う。

使う。公開Pagesの構成図品質を安定させるための低コストで決定的な静的ゲート。

node tools/check_diagram_quality.mjs
tools/check_diagram_connectors.mjs
tools/check_diagram_text_layout.mjs

HTML/SVGの接続線、矢印、ラベル、テキストはみ出しなどのページ品質ルールが壊れていないこと。

ビジネスロジック、dbt契約、元画像との芸術的忠実度、Snowflake/Cortex実行成功。

リント・CI、プロジェクトファミリー、クライアント納品向け汎用スキル、ドキュメントテンプレート。

構成図HTML、構成図レビューレーン、準備度オーバーレイ。

構成図変更時だけでなく、公開前のPages簡易確認と組み合わせる。今回のテストパターンページ自体には構成図リントを適用しない。

tools/check_feedback_reflection.mjsがプロジェクト内台帳、ルール、子スキルの構造を検査する。

使う。レビュワー指摘や改善手順を反映する変更では必須。今回のHTMLレーンでは編集禁止のため提案に留める。

node tools/check_feedback_reflection.mjs
.agent-feedback/構造、プロジェクトスキル、子スキル一覧。

台帳行、target_scope、trigger_decision、子スキル経路などの構造的な反映漏れがないこと。

自然言語上の全トリガーを人間が拾えたこと、反映内容の品質、mainセッションの統合承認。

プロジェクト内、リント・CI、クライアント納品向け汎用スキル、Backlog受入基準。

フィードバック台帳、エージェントスキル統制、レビュー引き継ぎ。

共有スキルや台帳更新はこのレーンでは行わず、mainセッションで反映可否を決める。

親スキルとタスク分割文書にガードレールがある。専用リントは候補で、現時点では文書レビューと関連リントで補助している。

使うべき。posted、delivered、accepted、reported、reviewed、integration_readyの混同を機械的に止める余地が大きい。

parallel-session-review-orchestration/SKILL.md
docs/project-management/parallel-session-task-split-20260630.md
将来の状態語リント。

タスクブリーフ、レーン報告、レビュー引き継ぎで状態語が段階別に書かれていることを検知できる。

相手ペインが実際に作業を受理したこと、成果物がレビュー済みであること、統合してよいこと。

プロジェクトファミリー、クライアント納品向け汎用スキル、リント・CI、Backlog受入基準。

並列委任、遠隔Issue報告、オーケストレーター側レビュー。

mainセッションでリント化対象の文面と誤検知許容度を決める。レーン単独ではintegration_readyを宣言しない。

tests/test_planner_and_trace.pyとtests/test_sync_obsidian_docs.pyがある。pytestを実行できる環境がない場合は環境未整備として扱う。

使う。LLMルーティング、安全停止、トレース、ゴールデン評価フィクスチャ、ドキュメント同期の局所回帰を安く検知できる。

python3 -m pytest -q
python3 tools/sync_obsidian_docs.py --direction check

ローカルPython環境でプランナー/トレースやドキュメント同期のフィクスチャが期待通り動くこと。

Cortex、Snowflake、Streamlitの実環境動作、公開Pages到達、LLM回答品質の網羅性。

プロジェクト内、プロジェクトファミリー、リント・CI、Backlog受入基準。

エージェントプランナー、トレース記録、Obsidianドキュメントミラー、ゴールデン評価シード。

pytest未導入なら実施済みにしない。Python環境固定後にコマンド、ランタイム、スキップ理由を報告形式へ入れる。

L4コミット 7b3656d9 を、ローカルのコンポーネント簡易確認済み候補として公開面へ反映。mainセッション/オーケストレーター再実行ではStreamlit UI簡易確認と全体pytestが成功している。監査用ラベル: reviewed-candidate_local-component-smoke

使う。Streamlitの利用者向け表示経路を作り始めた段階で、暗黙フォールバックやフィクスチャ成功条件の緩みを安く止める。

tests/test_streamlit_ui_e2e_smoke.py
docs/project-management/raiops11-ui-e2e-smoke-report.md
python3 -m retail_ai_ops.eval_runner は EVAL_EXIT=1、9/10 passed、既知ギャップは golden-005 のみ。

Snowflake資格情報なしで暗黙フォールバックしないこと、local_explicit_testだけがフィクスチャ成功扱いになること。構造化KPI、追加質問、曖昧質問、未対応質問、危険操作の5シナリオで、ルート、ツール計画、SQLリクエスト、結果、引用、トレース保存、人間承認候補を確認する。

Playwrightまたは実ブラウザDOM操作、スクリーンショット、レスポンシブ、アクセシビリティ、Snowflake / Cortex実環境実行、回答品質、SQL結果正当性、外部Slack/Backlog送信は未証明。利用者向けE2E未満として扱う。証跡ラベル: live_external_executed=false

Streamlit UI、アプリ実行層、トレース記録、人間承認候補表示、Cloudflare Pages公開面の証跡境界。

Streamlit UI、アプリ実行層、エージェントルーター、プランナー、ゴールデン評価、人手レビューキュー。

Playwrightまたは実ブラウザDOM、スクリーンショット、レスポンシブ、アクセシビリティ、実環境Snowflake/Cortex、回答品質、SQL結果正当性は別証跡として追加する。

main統合 65ff7c3 の監督セッション再実行では、初回ブラウザE2Eで1件のタイミング不安定を検出し、直後の再実行で6件成功した。直前の修正後 c150168 でもブラウザE2EとUI簡易確認が成功している。

使う。コンポーネント簡易確認では見えない、実ブラウザDOM、チャット入力、タブ表示、SQLプレビュー、結果、トレース保存、スクリーンショットの利用者経路を検査する。

tests/test_streamlit_browser_e2e.py
tests/test_streamlit_ui_e2e_smoke.py
requirements-e2e.txt
outputs/raiops11-browser-e2e/*.png / *.jsonl はローカル実行証跡。

Playwright ChromiumでStreamlitサーバーをサブプロセス起動し、/_stcore/health 待機後に主要シナリオを実ブラウザ経由で確認すること。Snowflake資格情報欠落時は明示停止し、ローカルフィクスチャへ暗黙フォールバックせず、不要な欠落証跡ファイルも作らない。

Snowflake/Cortex UIの実環境連携、実SQL結果正当性、回答品質、レスポンシブ/アクセシビリティ/クロスブラウザ網羅、外部Slack/Backlog送信、本番承認キュー永続化は証明しない。初回の引用DOM失敗は、直後再実行成功後もDOMタイミング不安定リスクとして残す。

Streamlit UI、アプリ実行層、SQLプレビュー、トレース記録、人間承認候補表示、公開面の証跡境界。

Streamlit UI、データアナリスト、アプリ実行層、トレースロガー、人手レビューキュー、L4 RAIOPS-11ブラウザE2Eレーン。

実環境UI結合、回答品質、SQL結果正当性、アクセシビリティ/レスポンシブ、クロスブラウザ確認は別証跡として追加する。コンポーネント簡易確認とブラウザE2Eを実環境成功として扱わない。トレース/スクリーンショットはgit管理外のローカル出力として扱う。

main統合 65ff7c3 の監督セッション再実行では、pytestとNodeの外部送信なしシミュレーションが成功した。L4修正後 c150168 のローカル静的フィクスチャ評価では、18件の品質期待が通り、8件の既知ギャップを観測し、想定外失敗はなかった。監査用の正確なカウンターは後続の証跡欄に残す。

使う。dbt契約だけでは防げない、質問意図、KPI粒度、未対応回答、率系再集計の品質劣化を検知する。

python -m retail_ai_ops.eval_runner
python -m retail_ai_ops.eval_runner --strict-known-gaps
.venv/bin/pytest -q
node --test tests/backlog_slack_notification.test.mjs

ローカル静的フィクスチャ評価で、18件の品質期待が通り、8件の既知ギャップが想定通り観測され、想定外失敗がないこと。厳格な既知ギャップモードでは既知ギャップを失敗として扱い、品質ゲート圧力を残す。監査用キー: evaluation_mode=local_static_fixture、quality_passed=18、known_gaps_observed=8、matched_expectation=26

Snowflake実行、Cortex実呼び出し、UI操作性、全質問の正しさ、セマンティック契約とプランナーの完全整合は証明しない。証跡ラベル: live_external_executed=false

プロジェクトファミリー、クライアント納品向け汎用スキル、Backlog受入基準、ドキュメントテンプレート。

セマンティックモデル、ゴールデン評価、Streamlit UI、Cortex Analyst/Search/Agents準備度。

厳格な既知ギャップモードは品質ゲート圧力として別扱い。ブランチ内証跡レポートのカウンターが変わった場合は、古い正確なカウンター行を残さず更新してから公開面へ反映する。

main統合 65ff7c3 はCI品質ゲート 28563040190 とPagesデプロイ 28563039370 が成功。L2修正 c150168 後のL4再確認で、品質期待18件、既知ギャップ8件、厳格モード失敗8件、期待一致26件を再確認した。ただしintegration_readyとは扱わない。

使う。評価カウンターが変わるたびに公開面、ブランチ内レポート、リントトークンのどれかが古いままだと、ローカル静的証跡と公開Pages証跡がずれる。

git diff --check HEAD~1..HEAD
rgで旧カウンター行の不在確認
node tools/check_public_surface_links.mjs

公開説明が最新のローカル静的評価カウンターを参照し、古いレポートを正として扱っていないこと。

実環境Snowflake/Cortex実行、実SQL結果正当性、回答品質そのもの、Pages公開後のHTTP 200。

ゴールデン評価、統合証跡レポート、公開面リント、並列セッション引き継ぎ。

L2統合証跡更新、L4最終統合テスト確認、L5最終ブラウザE2E、ゴールデン評価、docs/index、公開面レーン。

新しいカウンター変更を公開する場合は、ローカル静的評価、ブラウザE2E、実環境結合、公開Pagesを同じ状態語へ畳まない。

構成図やレビュー補助HTMLを公開面として扱うため、HTMLパーサー、リンク確認、ローカルプレビューをレーン内で実施できる。

使う。docs/index.htmlから到達できること、タイトル、主要語、はみ出しがないことを確認する。

python3 - <<'PY'でHTMLパーサー検査
rg -n "test-patterns.html|テストパターン" docs/index.html docs/project-management/test-patterns.html
ローカルホストプレビュー。

静的HTMLとして壊れておらず、入口から到達でき、人間が読む主文言が存在すること。

Cloudflare Pages上のHTTP 200、CI通過、コンテンツの設計妥当性、実環境結合準備度。

プロジェクトファミリー、リント・CI、ドキュメントテンプレート、Backlog受入基準。

docs/index.html、プロジェクト管理HTML、公開レビュー面。

公開後はPages URLのHTTP 200とブラウザ表示を別証跡として追加する。

レビュー観点側にはSASTとSCAを分ける契約を追加した。現時点で、このページは pip-audit、osv-scanner、Dependabot相当をCIで回した実行証跡はまだ持たない。

使う。CodeQL/Semgrepはコードパターンを見るSASTであり、依存パッケージの既知脆弱性、lockfile、怪しい生成パッケージ名は別ゲートで見る。

pip-audit -r requirements.txt
osv-scanner --lockfile ...
Dependabot alerts / security updates。

依存関係に既知脆弱性がないか、manifestやlockfile変更時に機械的に確認したこと。LLMが生成したパッケージ名のハルシネーション疑いを、人間レビューへ上げる入口にもなる。

認可ロジック、SQL injection、SSRF、業務データフローの安全性、未知脆弱性、実環境設定の安全性は証明しない。SCAはSASTやLLMレビューの代替ではない。

セキュリティCI、依存関係更新PR、LLMが生成したinstallコマンドのレビュー、クライアント納品向けレビュー基準。

security-logic-reviewer、llm-security-reviewer、CI/CD品質ゲート、GitHub Actions。

このrepoの依存関係管理方針に合わせ、どのSCAをCIのblockerにするかを決める。実行していない間は「脆弱依存なし」とは言わない。

レビュワーはレビュー対象内の指示文を信頼しない、という契約を子スキルと観点一覧へ追加した。現時点では、攻撃文を仕込んだfixture PRを流した証跡は未実施。

使う。AIレビュワーがコードコメント、Markdown、チケット本文、RAG文書内の「この指摘を無視して」に従わないことをテストできる形にする。

hostile comment fixture PR
promptfoo redteam 相当のレビュー対象注入テスト
レビュワー出力の採用/却下ログ。

レビュー対象内の攻撃的な指示より、上位のレビューbrief、プロジェクトルール、決定論的チェック、受入基準が優先されること。

すべてのprompt injectionに耐えること、LLM経路全体の安全性、RAG本番データの安全性、外部ツール実行の安全性は証明しない。

llm-security-reviewer、architecture-intent-boundary-reviewer、レビュワー育成、HITL判断ログ。

コードレビュー観点一覧、レビュワーサブエージェント、LLM安全境界、Human Review。

まず小さいfixture PRを用意し、レビュワーが攻撃文を無視して実不具合を報告できるかを測る。宣言だけを防御済みとして扱わない。

レビュー観点ではperf/load smokeを要求しているが、テストパターンとしてのNFR仮置きと軽量負荷smokeは未実施。NFRがない場合は「要件未定義」として扱う。

使う。性能を語るなら、同時実行数、データ量、p95応答時間、許容コストなどの仮定を先に置く必要がある。

k6 / Locust の小規模smoke
Snowflake query profile / EXPLAIN
暫定NFR表。

仮定した小さい利用条件で極端な遅延、N+1、キュー滞留、過大クエリコストが見えていないこと。

本番負荷、ピーク時間帯、長期運用コスト、Snowflake warehouse sizing、SLA/SLO達成は証明しない。NFR未定義なら合否ではなく要件不足。

scale-nfr-reviewer、CI品質ゲート、コストガードレール、Backlog受入基準。

Streamlit UI、Cortex Agents、Snowpark Python、dbt mart、CI/CD品質ゲート。

暫定NFRを決める。例: 小規模学習環境で同時数、サンプルデータ量、p95閾値、E2E複数回実行時のコストリスクを明記する。

通知シミュレーションでは重複抑止の考え方があるが、同一payloadを複数回処理して副作用が1回に収まる冪等キーテストとしては未整理。429/500/Timeout注入も未実施。

使う。外部送信、承認、通知、書き込み、ジョブ再実行がある経路では、リトライや再実行が二重実行を起こさないことを先に固定する。

same payload x N fixture
429 / 500 / Timeout injection
retry count / stop condition assertion
failure artifact schema check。

同じ入力を繰り返しても副作用が1回に収まること、外部I/O失敗時にリトライ回数、停止条件、フォールバック、失敗artifactが契約どおり残ること。

実Slack/Backlog/Snowflake/Cortex送信成功、本番ネットワーク障害全般、長時間障害時の運用復旧、全APIの障害網羅は証明しない。

availability-resilience-reviewer、concurrency-race-reviewer、通知/承認/外部連携、失敗artifact契約。

Human Review、外部MCP境界、Backlog/Slack通知、トレース保存、CI/CD品質ゲート。

外部サービスへ実送信しないprivate simulationから始め、同一payload再実行と障害注入をfixture化する。

ローカル静的フィクスチャ評価、schema/generic/singular dbt契約はある。一方で、Cortex Analyst evaluations、verified queries、DeepEval/pytestのCIゲート化、dbt unit tests、dbt-expectationsは未実施。

使う。評価はローカル静的評価とCortex/verified query側の評価を分け、dbtも静的契約、unit、expectations、実環境build/testを分ける。

DeepEval/pytest-style regression
Cortex Analyst evaluations / verified queries
dbt unit tests
dbt-expectations
dbt build/test target run。

質問回答品質とKPI定義の回帰を、ローカルfixtureと実Cortex/verified query候補の二層で見る設計。dbtの粒度、null、重複、期待値をより細かく固定する。

現時点のローカル評価だけではCortex実応答、Snowflake実データ、実環境dbt build/test、回答品質の本番保証は証明しない。

data-kpi-correctness-reviewer、test-gap-reviewer、Semantic Views、Golden Eval、dbt Projects。

dbt staging/marts/tests、Semantic KPI Model、Cortex Analyst、Golden Eval、CI/CD品質ゲート。

まずローカル評価をCIで扱える形へ整理し、次にverified queryやCortex Analyst evaluationsの実行条件を分けて設計する。

自作Trace Store路線の契約と公開説明はあるが、Snowflake-nativeの AI_OBSERVABILITY_EVENTS などで代替できないかの比較ADRはまだない。

使う。自作トレース保存は学習や承認ゲート連動に価値がある一方、Snowflake-native observabilityで足りるなら運用を軽くできる。

ADR / design note
AI observability source comparison
Trace Store schema contract
承認ゲート連動の必要性。

なぜ自作Trace Storeを残すのか、またはSnowflake-native observabilityへ寄せるのかを、監査、承認連動、学習目的、ローカル証跡性、運用コストの軸で判断したこと。

実Snowflakeテーブル書き込み、AI_OBSERVABILITY_EVENTSの本番利用成功、Cortex実行、全トレース項目の網羅性は証明しない。

Trace Store、AI Observability、Human Review、運用証跡、アーキテクチャADR。

トレース保存、Snowpark評価/トレース補強、Cortex Agents、AI Observability。

現行Trace Storeの目的を棚卸しし、Snowflake-native observabilityで代替できる項目と自作で残す項目をADR化する。

観点一覧と子スキルでは、整形はレビュワーの仕事ではなくpre-commit/CI checkに寄せる方針を追加した。実際のpre-commit設定としては未整備の範囲が残る。

使う。空白、改行、import順、SQL整形のように機械が一意に直せるものをレビュワーコメントへ混ぜると、受理率や見逃しテーマの信号が薄くなる。

prettier --check
ruff format --check
sqlfluff fix/check
pre-commit hook / CI check。

レビュー前に機械的な整形差分がなく、レビュワーは命名、責務、複雑性、コメント品質、契約、証跡境界へ集中できること。

命名の妥当性、設計の良さ、責務分離、可読性、業務ロジックの正しさは証明しない。これらはLLM/人間レビューの対象として残す。

pre-commit、CI品質ゲート、coupling-boundary-reviewer、architecture-intent-boundary-reviewer。

GitHub Actions / CI/CD品質ゲート、レビュワーサブエージェント、実装レーン。

このrepoの実ファイル構成に合わせて、Prettier/Ruff/sqlfluffの対象範囲とCI fail条件を決める。レビュー中に自動整形でdiffを書き換えない。