feat(goldset): independent second-judge for rule_role — break AI-anchoring #119

chaim · 2026-06-07T20:13:20Z

chaim commented

2026-06-07 20:13:20 +00:00

כלי-מדידה: שופט-תפקיד עצמאי שני ממודל אחר (DeepSeek, API ישיר) שמסווג rule_role בעיוור — בלי לראות תיוג-אדם או המלצת-claude — ומחשב מטריצת-הסכמה בין-שופטים. שובר את עיגון-ה-AI שבתיוג מדגם-הזהב.

ממצא (100 פריטים מתויגים)

מדד	תוצאה
ai↔אדם (claude, מעוגן)	100%
deepseek↔אדם (עצמאי) — תפקיד מדויק	50%
deepseek↔אדם — ציר גס (כלל-בר-הכללה מול application/obiter)	92%

מסקנה: ה-100% אדם↔AI היה עיגון. תת-הסוג holding/interpretive/procedural עמום-מטבעו — שני מודלים מוכשרים חותכים אותו אחרת (DeepSeek נוטה ל-holding). הציר-הגס ("האם זו הלכה אמיתית?") אמין חוצה-מודלים (92%) → להשתמש בו כ-ground-truth, ובתת-הסוג כעצה רכה בלבד, לא כשער.

תומך ב-INV-DM7: מאמת את אמינות התוויות אחרי פיצול הסמכות/תפקיד. read-only על הזהב, אפס תיוג מהיו"ר.

Invariants

ולידציה של INV-DM7. נוגע ב-G8 (הערכה מדידה) — מוסיף מדד אמינות-תוויות חוצה-מודלים.

🤖 Generated with Claude Code

כלי-מדידה: שופט-תפקיד **עצמאי שני** ממודל אחר (DeepSeek, API ישיר) שמסווג `rule_role` **בעיוור** — בלי לראות תיוג-אדם או המלצת-claude — ומחשב מטריצת-הסכמה בין-שופטים. שובר את עיגון-ה-AI שבתיוג מדגם-הזהב. ## ממצא (100 פריטים מתויגים) | מדד | תוצאה | |------|-------| | ai↔אדם (claude, מעוגן) | 100% | | deepseek↔אדם (עצמאי) — תפקיד מדויק | 50% | | deepseek↔אדם — **ציר גס** (כלל-בר-הכללה מול application/obiter) | **92%** | **מסקנה:** ה-100% אדם↔AI היה עיגון. תת-הסוג holding/interpretive/procedural עמום-מטבעו — שני מודלים מוכשרים חותכים אותו אחרת (DeepSeek נוטה ל-holding). הציר-הגס ("האם זו הלכה אמיתית?") אמין חוצה-מודלים (92%) → **להשתמש בו כ-ground-truth, ובתת-הסוג כעצה רכה בלבד, לא כשער.** תומך ב-[[INV-DM7]]: מאמת את אמינות התוויות אחרי פיצול הסמכות/תפקיד. read-only על הזהב, אפס תיוג מהיו"ר. ## Invariants - ולידציה של INV-DM7. נוגע ב-G8 (הערכה מדידה) — מוסיף מדד אמינות-תוויות חוצה-מודלים. 🤖 Generated with [Claude Code](https://claude.com/claude-code)

chaim added 1 commit 2026-06-07 20:13:20 +00:00

feat(goldset): independent second-judge for rule_role (break AI-anchoring) 808c2e4c46

The gold-set's human role tags were made while seeing a claude AI recommendation,
so human↔AI agreement (~100%) is anchoring, not an independent accuracy signal.
This adds a third, genuinely independent judge — a DIFFERENT model (DeepSeek,
direct OpenAI-compatible API) classifies rule_role BLIND (never sees the human
tag nor the first AI's answer) — and reports an inter-rater agreement matrix.

Finding (100 tagged items): ai↔human 100% (anchored) vs deepseek↔human 50%
fine-grained — BUT 92% on the coarse axis (generalizable-rule vs application/
obiter). Conclusion: the fine sub-type (holding/interpretive/procedural) is an
inherently fuzzy boundary two capable models split differently; the coarse
"is this a real rule" axis is robust across models. Use the coarse axis as
ground truth; treat the sub-type as advisory, never as a gate.

Zero chair tagging, read-only on the gold-set. Key from ~/.hermes deepseek env.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

chaim merged commit d9340f6c39 into main

2026-06-07 20:13:26 +00:00

chaim deleted branch worktree-goldset-independent-judge

2026-06-07 20:13:26 +00:00

chaim referenced this issue from a commit

2026-06-07 20:13:27 +00:00

Merge pull request 'feat(goldset): independent second-judge for rule_role — break AI-anchoring' (#119) from worktree-goldset-independent-judge into main

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ezer-mishpati/legal-ai#119