ezer-mishpati/legal-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat(halacha): multi-judge approval panel + policy calibration (Trust-or-Escalate) #130

Merged
chaim merged 1 commits from worktree-halacha-panel into main 2026-06-07 21:12:04 +00:00
Conversation 0 Commits 1 Files Changed 3 +455
chaim commented 2026-06-07 21:11:56 +00:00
Owner
Copy Link

הרעיון

היו"ר לא יכול לסקור כל הלכה ממתינה. שלושה שופטים בלתי-תלויי-לינאז' (Opus/claude_session · DeepSeek · Gemini-2.5-flash, ה-#1 ב-LegalBench) מצביעים על הציר-הגס שהוכחנו אמין חוצה-מודלים (92%): "האם זו הלכה אמיתית לשמירה?". רק ורדיקט-מוסכם פועל; כל פיצול מוסלם ליו"ר (INV-G10). הפאנל מכווץ את התור — לא מסיר את השער.

כלים

  • halacha_panel_approve.py — 3 שופטים, 3 דליים: נקיות→KEEP? · nli_unsupported→שיפוט-מחדש של ההיסק · פגומות→re-extraction. dry-run; --apply הפיך (גיבוי review_status+flags תחילה).
  • halacha_panel_calibrate.py — מכייל מדיניות-הצבעה על is_holding של הזהב (Trust-or-Escalate).

כיול (100 פריטי-זהב)

מדיניות precision coverage false-keep false-drop
פה-אחד 94.9% 78% 4 0
רוב 2/3 92.9% 99% 7 0

אפס false-drop — הפאנל אף פעם לא דוחה הלכה טובה. מדיניות שאושרה: נקיות→רוב-2/3, nli→א-סימטרי (דחייה-ברוב/אישור-בפה-אחד), פגומות→re-extraction. + לולאת-ביטחון: ביקורת-מדגמית תקופתית.

מקורות (≥3)

Trust or Escalate (ICLR 2025, arXiv:2407.18370) · Panel of LLM Evaluators (PoLL) · selective-prediction / learning-to-defer.

Invariants

  • G10 (שער-אנושי) — פיצולים מוסלמים, הפאנל רק מכווץ תור · G9 (provenance — reviewer מתעד פאנל+מדיניות). --apply הפיך עם גיבוי.

🤖 Generated with Claude Code

## הרעיון היו"ר לא יכול לסקור כל הלכה ממתינה. **שלושה שופטים בלתי-תלויי-לינאז'** (Opus/claude_session · DeepSeek · Gemini-2.5-flash, ה-#1 ב-LegalBench) מצביעים על ה**ציר-הגס** שהוכחנו אמין חוצה-מודלים (92%): "האם זו הלכה אמיתית לשמירה?". רק ורדיקט-מוסכם פועל; **כל פיצול מוסלם ליו"ר** (INV-G10). הפאנל מכווץ את התור — לא מסיר את השער. ## כלים - **`halacha_panel_approve.py`** — 3 שופטים, 3 דליים: נקיות→KEEP? · `nli_unsupported`→שיפוט-מחדש של ההיסק · פגומות→re-extraction. dry-run; `--apply` הפיך (גיבוי `review_status`+flags תחילה). - **`halacha_panel_calibrate.py`** — מכייל מדיניות-הצבעה על `is_holding` של הזהב (Trust-or-Escalate). ## כיול (100 פריטי-זהב) | מדיניות | precision | coverage | false-keep | false-drop | |---------|-----------|----------|------------|------------| | פה-אחד | 94.9% | 78% | 4 | **0** | | רוב 2/3 | 92.9% | 99% | 7 | **0** | **אפס false-drop** — הפאנל אף פעם לא דוחה הלכה טובה. מדיניות שאושרה: נקיות→רוב-2/3, nli→א-סימטרי (דחייה-ברוב/אישור-בפה-אחד), פגומות→re-extraction. + לולאת-ביטחון: ביקורת-מדגמית תקופתית. ## מקורות (≥3) [Trust or Escalate (ICLR 2025, arXiv:2407.18370)](https://arxiv.org/html/2407.18370v1) · [Panel of LLM Evaluators (PoLL)](https://arxiv.org/pdf/2502.18018) · selective-prediction / learning-to-defer. ## Invariants - **G10** (שער-אנושי) — פיצולים מוסלמים, הפאנל רק מכווץ תור · **G9** (provenance — `reviewer` מתעד פאנל+מדיניות). `--apply` הפיך עם גיבוי. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
chaim added 1 commit 2026-06-07 21:11:56 +00:00
feat(halacha): multi-judge approval panel + policy calibration (Trust-or-Escalate) dba2a131e0 
The chair cannot review every pending halacha. Three independent-lineage judges
(Opus via claude_session · DeepSeek · Gemini-2.5-flash — #1 on LegalBench) vote
on the COARSE axis we proved reliable across models (92%): "is this a genuine,
keepable rule?". Only an agreed verdict acts; every split escalates to the chair
(INV-G10). Buckets: clean→KEEP?; nli_unsupported→entailment re-adjudication;
extraction-defects→re-extraction.

halacha_panel_calibrate.py calibrates the voting policy on the gold-set's
is_holding (the coarse label) per Trust-or-Escalate (ICLR 2025): unanimous →
94.9% precision / 78% coverage; majority → 92.9% / 99%; ZERO false-drops in
both (the panel never rejects a good rule). Chosen policy (chair-approved):
clean→majority-2/3, nli→asymmetric (majority-reject, unanimous-approve),
defects→re-extraction. Reversible (--apply backs up review_status+flags first).

Sources: Panel-of-LLM-Evaluators (PoLL) · Trust-or-Escalate (ICLR 2025,
arXiv:2407.18370) · selective-prediction / learning-to-defer.

Invariants: upholds G10 (human gate — splits escalate, panel only collapses the
queue) and G9 (provenance — reviewer records the panel + policy). Read paths only
in calibrate; --apply writes review_status/quality_flags reversibly with backup.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
chaim merged commit 3c030dd7f5 into main 2026-06-07 21:12:04 +00:00
chaim deleted branch worktree-halacha-panel 2026-06-07 21:12:04 +00:00
Sign in to join this conversation.
Reviewers
No Reviewers
Labels
No items
No Label
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
chaim
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ezer-mishpati/legal-ai#130
Delete Branch "worktree-halacha-panel"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?