Merge pull request 'feat(corpus): עיצוב-מחדש קורפוס-הפסיקה — ביטול תור-ההלכות, שכבת-מאומת-מאזכורים, דירוג-בזמן-אחזור (#153)' (#315) from worktree-canonical-synthesis into main
All checks were successful
Build & Deploy / build-and-deploy (push) Successful in 1m32s
G12 Leak-Guard / leak-guard (push) Successful in 4s
Lint — undefined names / undefined-names (push) Successful in 11s

Merge PR #315: corpus redesign — no queue, verified-by-citation, rank-at-retrieval (#153)
This commit was merged in pull request #315.
This commit is contained in:
2026-06-20 13:55:49 +00:00
29 changed files with 3297 additions and 11 deletions

View File

@@ -79,3 +79,44 @@
מקיים: INV-G10/INV-LRN1 (שער-יו"ר על מקרי-גבול), INV-AH (עיגון-מקור בחילוץ), INV-G2
(מודל-הצבעות מקור-יחיד ל-B+C), INV-G9 (audit-trail להצבעות + לסינון), INV-G6 (רענון-embedding).
מודל-הצבעות-היו"ר משתלב ב-active-learning הקיים (`halacha_panel_rounds`, [[project_active_learning_panel]]).
---
## 8. שכבת-החשיבות (TaskMaster #153) — חוסם את מסה-ה-cull
**הרקע (אבחון-ייצור 2026-06-20):** 49% מהעקרונות החיים (1,751/3,562) מקורם בפס"ד שדפנה
ציטטה או שמופיע ביומון. דירוג-קונצנזוס לבדו (A) עיוור-לחשיבות ועלול לקבור את ההלכה
שדפנה הסתמכה עליה. לכן **לפני מסה-cull** בונים שכבת-חשיבות שמגנה על הזהב ברמת-העיקרון.
### 8.1 שלוש דרגות-חשיבות (לפי *מי* מצטט/מסמן)
| דרגה | סיגנל | מקור | התנהגות בסינון |
|------|-------|------|----------------|
| **1 — זהב** | דפנה ציטטה / יומון | `precedent_internal_citations` (source.chair_name='דפנה תמיר') · `digests` | **פטור-מגן**: שורד תמיד |
| **2 — הסתמכות-שיפוטית** | יו"ר-אחר ציטט | `precedent_internal_citations` (source.chair_name≠דפנה) | משקל-חשיבות גבוה (לא מגן) |
| **3 — מרכזיות** | ציטוט כללי/צד · instance_count · treatment | citator · `/graph` PageRank | משקל-בסיס |
(אין טבלת bookmarks — היו עוגני-DOCX, לא רלוונטי.)
### 8.2 זיהוי-זהב ברמת-עיקרון (לא ברמת-פסק — קריטי)
דפנה מצטטת פס"ד בשביל **הלכה אחת** ממנו, לא כל ~19 העקרונות. לכן:
- **gold_chair:** מטמיעים את `match_context` (טקסט סביב הציטוט, מאוכלס 100%) → cosine מול
עקרונות הפס"ד-המצוטט → ההתאמה-הטובה ≥ סף (~0.78) מקבלת `gold_chair`.
- **gold_digest:** מטמיעים `digests.headline_holding` → התאמה לעקרונות הפס"ד-המקושר.
- כל התאמה שומרת מקור-הזהב + ציון-התאמה (G9). **חובה להריץ את מחלץ-הציטוטים גם על ~45
ההחלטות של יו"רים-אחרים** כדי לאכלס דרגה 2 (כיום רק 398 ציטוטי-דפנה חולצו).
### 8.3 importance_score רציף (לדירוג + RAG)
`halachot.importance_score`∈[0,1] = משוקלל: דרגה-1 ≫ דרגה-2 ≫ דרגה-3 + סמכות
(עליון 1.0/מחוזי 0.7/ועדה 0.4) penalty(overruled). `importance_signals` jsonb (שקיפות).
משקלים ב-config, ניתני-כיול-יו"ר.
### 8.4 שילוב בסינון (הכרעת chaim: כל-הזהב + עד-5-לא-זהב)
זהב(דרגה-1) → מוגן, שורד ללא תקרה (gold+0-votes→pending_review, כי התאמה עלולה
false-positive). לא-זהב → דירוג `(importance_score, votes, score)`, שומרים עד 5. כלומר
החלטה עם 7 הלכות-זהב תשמור 7+; עם 0 זהב תשמור עד 5.
### 8.5 RAG (הרווח הגדול) + רענון
`importance_score` מבוסט באחזור (`search_precedent_library`/halacha) → הלכות-דפנה+סמכותיות
צפות ראשונות בכתיבה. job רענון תקופתי (יומון/החלטה חדשים → re-match), כמו `corroboration_rebuild`.
> **סדר-ביצוע:** 8 (שכבת-חשיבות) → 3+4 (cull-מוגן) → 5 (סינתזה על הניצולים).

View File

@@ -0,0 +1,103 @@
# 00 — סינתזה סופית — קורפוס-הפסיקה
> מאחדת 0106 + מבחן-אמת על 3 תיקים + nli-audit + **הכרעת-חיים הסופית** (§3): אפס-תור, אמינות=אזכור.
> אילוץ-העל: **אפס-ביקורת-אנושית — מוחלט.**
## 1. שתי שכבות — לא לבלבל
```text
שכבת-רקע = כל החילוץ הגולמי. אוטומטי, אין תור/שער/cap. נותן recall, מדורג-נמוך.
שכבת-מאומת = רק מה שיו"ר ציטף בפועל בהקשר. הסיגנל היחיד לאמינות. גדל לפי אזכורים.
```
(ההבחנה הישנה "רמה A=מה-לשמור / רמה B=מה-לצוף" התמזגה לכאן: לא שומרים/חותכים — **שומרים-הכל** כרקע,
והאזכור מקדם ל-trusted.)
## 2. ⚠️ מבחן-האמת ששינה את ההחלטה (8508-03-24) — שתי הרצות
תיק היטל-השבחה (יו"ר אחר) שמפיק 70 עקרונות. הרצנו **שני משטרים** על אותם 70:
```text
אגרסיבי (פאנל + cap/novelty): 70 → 3 ✗ אודיט-אובדן: ~22 עקרונות אמיתיים אבדו,
כולל הלכת לוסטרניק (ליבת חישוב היטל-השבחה!),
קשר-סיבתי, סף-פוטנציאל, כל המסד הפרוצדורלי (14/נטלים/ריבית)
מזוקק ("שמור-בספק", רעש בלבד): 70 → 70 ✓ "כולם בני-ציטוט; אין רעש-אמיתי; זוגות-קרובים
מוסיפים נדבך". כל עקרוני-הליבה נשמרו.
```
- **השורש לקריסת-האגרסיבי:** החילוץ שאל "איזה דין *חדש* יצרה הוועדה" (~3) — אבל RAG-לכתיבה צריך
"אילו עקרונות *בני-ציטוט שימושיים*" (~כל ה-70), **כולל יישומי-דוקטרינה-מוכרת**. מסנן "רק-חדש/בלי-יישומים"
סינן בדיוק את מה שהכותב צריך.
**האסימטריה המכריעה:**
```text
לחתוך → סיכון לאבד את הליבה (לוסטרניק), בלתי-הפיך בפועל ← עלות עצומה
לשמור → עולה כמעט-כלום; הרעש/הכפילויות שוקעים בדירוג ← עלות אפסית
```
**אישוש על 3 תיקים (אגרסיבי מול מזוקק):**
```text
תיק יו"ר קיים אגרסיבי אבדו-אמיתיים רעש מזוקק
8508-03-24 ברק שוורץ 70 → 3 ~22 16 → 70
1049-06-21 יריב אבן חיים 43 → 1 ~27 15 → 43
1200-12-25 דפנה תמיר 35 → 3 ~30 2 → 35
```
**מסקנה (מחקר + 3 תיקים = 4 ראיות בלתי-תלויות):** **לא לחתוך בכלל.** האגרסיבי הרסני בעקביות (גם על
החלטת-דפנה-עצמה). הרעש קטן (16→15→2) — "יותר מדי הלכות" היתה אבחנה-שגויה; הבעיה = **תור-אישור +
היעדר-דירוג**, לא עודף-זבל. מתקנים את שניהם, והעקרונות בלתי-מזיקים (שוקעים בדירוג, נשמרים לאחזור).
## 3. ההחלטה (סופית — הכרעת-חיים 2026-06-20: "אמינות=אזכור, אפס-תור")
### עמוד 1 — שתי שכבות מובחנות
```text
שכבת-רקע (לא-מאומת) = כל החילוץ הגולמי (5,489). אוטומטי לחלוטין. אין תור, אין שער, אין cap.
שכבת-מאומת (trusted) = רק עיקרון שיו"ר ציטט בפועל, בהקשר שבו הביא אותו. גדל לפי אזכורים בלבד.
```
### עמוד 2 — ⛔ ביטול-מוחלט של תור-ההלכות
**אין `pending_review`. אין קריאת-רשומות. אין אישור-ידני. אף פעם.** החילוץ פשוט קורה (אוטומטי),
והפלט יושב כשכבת-רקע. ה-2,402 הממתינות → מבוטלות. **מאומת אף פעם לא בא מאישור — רק מאזכור.**
> דגלי-האיכות **לא משמשים כשער** — אומת ש-`nli_unsupported`=**97% false-positive** (29/30); ה"רעש"
> שהתור כביכול תפס היה מדומה. הדגלים, אם בכלל, סיגנל-דירוג-משני בלבד.
### עמוד 3 — שכבת-המאומת = קאנון-אוטומטי מאזכורים
"מאומת" = `precedent_internal_citations` + **`match_context`** (ההקשר שבו היו"ר הביא את העיקרון).
נבנית **אוטומטית** מכל החלטה שיו"ר כותב — כל אזכור מוסיף עיקרון-מאומת-בהקשר. זהו **בדיוק** הקאנון-הידני
([daphna-precedent-network](daphna-precedent-network.md)), אך נבנה-מעצמו. **בינתיים מעט מאומתים — וזה בסדר**
(8508 = 0 אזכורים → 0 מאומתים). גדל עם השימוש (active-learning, INV-LRN).
### עמוד 4 — אחזור: מאומת ≫ רקע
דירוג ב-RRF: **מאומת (אזכור-יו"ר-בהקשר) צף ראשון**; שכבת-הרקע נותנת recall ומדורגת-מתחת לפי
importance (דפנה≫יו"ר-אחר≫סמכות). שום עיקרון לא נמחק; הרקע פשוט שוקע. (לוסטרניק נשמר ברקע, וצף
ל-trusted ברגע שדפנה תצטט אותו.)
### עמוד 5 — V41 canonical: לעקוף
100% תקוע + בנוי-על-אישור (סותר אפס-תור) → האחזור מדרג ישירות על `halachot`. V41 נדחה (הפיך).
## 4. תיקוני-תשתית (תנאי-מקדים)
- חוזה-קליטה חיצוני: 87% בלי practice_area → חילוץ-אוטומטי/`searchable=false` (G1).
- לצופף גרף-ציטוטים: citator על כל 363 (לא רק 42 של דפנה).
- להטמיע פסיקת-קאנון-חסרה (חוף-השרון, הרמלין) דרך X13.
## 5. אבולוציית-ההחלטה
| שלב | עמדה |
|---|---|
| זמנית | פאנל + cap-5 במקור |
| אחרי 8508/1049/1200 | לא-לחתוך; cap הרסני (איבד לוסטרניק ב-3 תיקים, גם של דפנה) |
| אחרי nli-audit | דגלי-איכות לא-אמינים (97% FP) — לא שער ולא מסנן |
| **הכרעת-חיים (סופי)** | **ביטול-תור מוחלט; "מאומת"=אזכור-יו"ר-בהקשר בלבד; גדל לפי אזכורים; מעט-מאומתים-בינתיים תקין** |
## 6. תוכנית-ביצוע (סדר)
1. **לבטל את תור-ההלכות** — להסיר `pending_review` כשער; חילוץ→שכבת-רקע אוטומטית (אפס-אדם).
2. **שכבת-מאומת מאזכורים** — לבנות מ-`precedent_internal_citations`+`match_context`; job שמעדכן בכל החלטה חדשה (גם להריץ citator על 91 הוועדות שטרם חולצו → להעשיר מאומתים).
3. **אחזור: מאומת ≫ רקע** — boost ב-RRF (האחזור).
4. **תיקון-חוזה-קליטה** (practice_area) — היגיינת-מקור.
5. **רוויזיית-PR#304** — לבטל cap+novelty (הרסניים). הפאנל/דגלים לכל-היותר סיגנל-דירוג.
6. (נדחה) V41/conformal/הטמעת-קאנון-חסר.
## 7. סטטוס-מימוש (2026-06-20)
| צעד | סטטוס |
|---|---|
| 5 — ביטול cap/novelty | ✅ `HALACHA_PANEL_REGIME_ENABLED=false` (חזרה לחילוץ-עשיר-לרקע) |
| 1 — ביטול תור | ✅ `HALACHA_NO_REVIEW_QUEUE=true` (auto-approve הכל) + migration 2,416→0 pending |
| 2 — שכבת-מאומת | ✅ `verified`/`cite_count` + `db.refresh_verified_layer` + `build_verified_layer.py`; **2,775 מאומתים / 137 פס"ד** |
| 3 — אחזור מאומת≫רקע | ✅ boost ב-2 שאילתות-האחזור (`HALACHA_VERIFIED_BOOST`); אומת חי (מאומתים צפים) |
| 4 — חוזה-קליטה | ✅ going-forward מחווט (ingest queues metadata); 206 הוזנו ל-drain + `backfill_practice_area.py` (backfill חסום-מכסה זמנית) |
| 6 — V41/conformal/קאנון-חסר | נדחה (כמתוכנן) |
429 בדיקות ירוקות (אפס רגרסיות). **שינוי-UI (הסרת תור-ההלכות מ-/precedents) → דרך שער Claude Design.**

View File

@@ -0,0 +1,92 @@
# אינדקס: עיצוב-מחדש קורפוס-הפסיקה — כל החומר במקום אחד
> **שער-הכניסה היחיד** ליוזמת עיצוב-מחדש קורפוס-הפסיקה. מרכז את כל הקלטים — אלה שבתיקייה
> ואלה החיצוניים (לא הוזזו כדי לא לשבור 10+ קישורים מסוכנים/ספים/קוד; מקושרים מכאן).
> **היעד:** מ-`00``05` → סינתזה סופית אחת (`00-final-synthesis` כשנגיע) → תוכנית-ביצוע.
>
> **שאלת-העל של חיים:** "הקורפוס נבנה לא נכון, אני כל הזמן מתעסק בתיקונים — לבנות מחדש או לתקן?"
> **אילוץ-יסוד:** הפתרון **אסור** שידרוש סקירה/אישור ידני של עשרות-מאות הלכות.
---
## א. קלטי-היוזמה (בתיקייה זו)
| # | מסמך | מה תורם | מחבר/מקור |
|---|------|---------|-----------|
| 01 | [architecture-data-audit](01-claude-architecture-data-audit.md) | **אבחון-מצב חי:** הסכמה תקינה, הכשל בשכבת-הביצוע — חוזה-קליטה רופף (66% בלי practice_area), V41 אינרטי (0 published), כפילות style_corpus. ממליץ "תקן-חוזה ואז re-derive". | Claude (סשן אחר) |
| 02 | [deep-research-importance-recommendation](02-deep-research-importance-recommendation.md) | **דוח-מחקר + המלצה:** אל-תחתוך הרסני; דרג-בזמן-אחזור; אפס-ביקורת דרך conformal. 7 ממצאים מאומתים. | מחקר-עומק |
| 03 | [deep-research-full-output](03-deep-research-full-output.md) | המחקר המלא הגולמי (verbatim, לוגים, 4 הפרכות, 25 מקורות). | מחקר-עומק |
| 04 | [daphna-canon-as-importance-ground-truth](04-daphna-canon-as-importance-ground-truth.md) | **הקאנון-הידני כ-ground-truth** — מתואם עם תדירות-הציטוט (מאמת הפרוקסי), חושף פערי-קורפוס, 4 שימושים ל-RAG. | Claude |
| 05 | [ingest-contract-and-citation-graph-gaps](05-ingest-contract-and-citation-graph-gaps.md) | **3 מחוללי-הכאב במספרים חיים** — 87% מהחיצוני בלי practice_area; גרף-ציטוטים ריק; V41 100% תקוע (מתנגש עם אפס-ביקורת). | Claude |
| 06 | [extractor-generosity-committee-application](06-extractor-generosity-committee-application.md) | **כימות חוצה-קורפוס:** `application`=13.7% בוועדות (תכונת-מקור, לא באג) → לא לסנן. ⭐ ממצא: `nli_unsupported`=40% בפסיקה החיצונית — סוגיית-רמה-A הפתוחה. | Claude (סשן אחר) |
> **הסינתזה הסופית:** [`00-final-synthesis.md`](00-final-synthesis.md) — מאחדת 0105 + מבחן-8508. החלטה: שמור-הכל + דרג-בזמן-אחזור; רמה-A=ניקוי-רעש+dedup בלבד (ללא cap/novelty).
---
## ב. ⭐ הקלט הקריטי החיצוני — מפת-החשיבות הידנית
| מסמך | מה תורם | למה לא הוזז |
|------|---------|-------------|
| [`../daphna-precedent-network.md`](../daphna-precedent-network.md) | **"הקאנון של דפנה"** — מיפוי-ידני (מ-33 החלטות) של התקדים-המועדף שלה **לכל סוגיה משפטית**. זה **בדיוק ה-ground-truth של "חשיבות"** שהאוטומציה מנסה לשחזר — וברמת-הסוגיה (הגרנולריות שהמחקר אמר שחסרה). | קרוא ע"י סוכני legal-researcher/legal-writer + 8 מסמכים |
---
## ג. תשתית-קורפוס קיימת (חיצוני, מקושר)
| מסמך / ספ | מה תורם |
|-----------|---------|
| [`../corpus-graph.md`](../corpus-graph.md) | גרף-הציטוטים `/graph` — PageRank/אשכולות **כבר מחושבים** (`web/graph_metrics.py`). אבל הגרף כמעט ריק (ר' ד'). |
| [`../corpus-analysis.md`](../corpus-analysis.md) | ניתוח שיטתי של 24 ההחלטות — דפוסי-דיון, פערים. |
| [`../legal-principles-redesign.md`](../legal-principles-redesign.md) | תכנון משטר-החילוץ התלת-מודלי + תקרת-5 + טרמינולוגיה + סינתזה (PR #304/#305). §8 = שכבת-החשיבות. **נשאר תקף ל"חילוץ-להבא"; מה שמשתנה הוא היחס לקורפוס-הקיים.** |
| [`../halacha-strict-rubric.md`](../halacha-strict-rubric.md) | 6 עילות-החיתוך של ניקוי-ההלכות (referenced מהקוד). |
| ספ [`../spec/X11-citation-corroboration.md`](../spec/X11-citation-corroboration.md) | citator פנימי — תיקוף הלכות; ישירות קשור לסיגנל-הציטוט. |
| ספ [`../spec/X12-digests-radar.md`](../spec/X12-digests-radar.md) | יומונים — סיגנל-זהב #2 (`headline_holding`). |
| ספ [`../spec/X13-court-fetch.md`](../spec/X13-court-fetch.md) | אחזור-פסיקה-אוטומטי — מקור-גידול הקורפוס. |
| ספ [`../spec/02-data-model.md`](../spec/02-data-model.md) · [`../spec/03-retrieval.md`](../spec/03-retrieval.md) | INV-DM (חוזה-שלמות) + INV-RET/RRF (נקודת-הזרקת-הדירוג). |
---
## ד. עובדות-מפתח חיות (legal_ai @ :5433, 2026-06-20)
```text
case_law (פסקי-דין/החלטות) 363 (240 external · 92 committee · 31 שבורים)
• 66% (240) בלי practice_area ← חוזה-קליטה רופף = "התיקונים האינסופיים"
halachot 5,489 → 25% approved · 44% pending (צוואר ידני)
canonical_halachot (V41) 5,472 → 5,456 singletons · 0 published ⚠️ (אינרטי)
גרף-הציטוטים (קריטי):
PageRank מחושב ✅ web/graph_metrics.py
ציטוטי-דפנה 398 (מ-42 החלטות) ← כמעט כל הסיגנל
ציטוטי 91 ועדות-אחרות 0 (לא חולצו)
ציטוטים בין פס"ד-חיצוניים 0 ← אין גרף ביניהם
פיזור תדירות-ציטוט (זנב אמיתי): 7×1 · 6×1 · 4×4 · 3×8 · 2×38 · 1×269
```
**שתי מסקנות שמעצבות את הסינתזה:**
1. **"החשיבות" כבר קיימת ידנית** (ב') — אסור להמציא מאפס; לחבר את הקאנון-הידני + ציטוטי-דפנה.
2. **אין גרף-ציטוטים** — centrality אוטומטי לא יעבוד עד שנצופף (לחלץ ציטוטים מכל 363) **או** נישען על הקאנון.
---
## ה. החלטות-מוצר שכבר ננעלו (chaim)
- **אפס-ביקורת > אובדן-מקרי** — לא שייך לאשר מאות הלכות.
- אם cull בכלל — **כל-הזהב + עד-5-לא-זהב**; אבל המחקר מטה ל**אל-תחתוך / דרג-בזמן-אחזור**.
- טרמינולוגיה: הלכה (מחוזי/עליון) · כלל-פרשני (ועדה) · עקרונות (מטרייה). bookmarks=עוגני-DOCX (לא רלוונטי).
---
## ו. הפערים הפתוחים לסינתזה הסופית
1. לשלב את **הקאנון-הידני** כסיגנל-חשיבות-ראשי (קלט 04).
2. להכריע **גרף-ציטוטים:** לצופף (לחלץ מכל הפסקים) או להישען על קאנון+דפנה+יומונים (קלט 05).
3. **חוזה-הקליטה** (practice_area, 31 שבורים) — מקור-הכאב; תוכנית-תיקון-במקור.
4. **V41 האינרטי (0 published)** — לתקן או לעקוף בדירוג-בזמן-אחזור?
5. **לאחד 01 ↔ 02/03** לתוכנית-ביצוע אחת + **בסיס-מדידה לאיכות-האחזור הנוכחי**.
---
## ז. זיכרונות-פרויקט קשורים (להקשר)
`project_precedent_library` · `project_corpus_graph` · `project_x11_citation_corroboration` ·
`project_digests_radar` · `project_canonical_halachot` · `project_principles_redesign` ·
`project_halacha_quality_initiative` · `project_precedent_auto_extraction`. TaskMaster: #152, #153.

View File

@@ -0,0 +1,142 @@
# עיצוב-מחדש: קורפוס-הפסיקה — חשיבות, אחזור וסינון (מחקר + החלטה)
> **מקור:** מחקר-עומק רב-סוכני (deep-research, 2026-06-20) — 6 זוויות, 25 מקורות ראשוניים,
> 114 טענות חולצו, 25 אומתו באימות-יריב 3-קולות (**21 אושרו · 4 הופרכו**). שאלת-המחקר:
> איך לדרג/לנקות קורפוס של ~3,562 עקרונות-משפטיים מחולצים, **באוטומציה גבוהה וכמעט ללא
> ביקורת-אנושית** (אילוץ-יסוד של chaim). מסמך-אחות: [`legal-principles-redesign.md`](../legal-principles-redesign.md) §8.
---
## ההמלצה החד-משמעית
**לא לחתוך (cull הרסני). לשמור הכל, לדרג-לפי-חשיבות בזמן-אחזור, ולגדר במנגנון selective-prediction
מכויל כך שרק שבריר זעיר וחסום-סטטיסטית מגיע ליו"ר.** (אופציה B/C, לא A.)
הסיבה במשפט: **הסיגנל המכני אמין (האם פס"ד מצוטט, ע"י מי) — אבל ההכרעה הפרשנית "האם העיקרון
הזה חשוב" היא בדיוק המקום שבו האוטומציה נכשלת**, ולכן אסור להשמיד עקרונות על-בסיס ציון-חשיבות
רועש; עדיף לשמור הכל ולתת ל-ranking בזמן-שאילתה (שמכיר את הקשר-הטיוטה) להציף את הרלוונטי.
---
## הממצאים (מאומתים)
### 1. מרכזיות-רשת-ציטוטים = סיגנל-חשיבות בר-קנה-מידה, אך **ברמת-הפס"ד בלבד**, ובינוני בעוצמתו
`confidence: high · 3-0`
- ניתן לגזור תוויות-חשיבות אלגוריתמית מדפוסי-ציטוט, בלי תיוג-ידני (Swiss Criticality, ACL 2025 —
138,531 פסקים דרך LD-Label + Citation-Label משוקלל-טריות).
- שיטות-מרכזיות (Derlén & Lindholm: PageRank/HITS/betweenness על 9,125 פסקי-CJEU; Fowler/Jeon
ב-SCOTUS) מבססות מרכזיות-ברמת-תיק כפרוקסי-חשיבות כמותי. **HITS/eigenvector עדיפים על degree-גולמי**
כי degree מתייחס לכל מצטט כשווה.
- **גבול קריטי:** העוצמה הניבויית **בינונית בלבד** — JURIX 2023, ordinal regression על Importance-Score
של בית-המשפט הגיע ל-**F1≈0.655**; התפלגות-הציטוטים כבדת-זנב (preferential attachment). כל הראיות
ברמת-פס"ד; **אף אחת לא מאמתת חשיבות ברמת-עיקרון/holding.**
- **משמעות לנו:** מרכזיות-פס"ד = prior חזק על תיק-האב של עיקרון, **לא** ציון per-עיקרון.
- מקורות: arxiv 2410.13460v2 · ssrn 2910926 · polisci.umn s6.pdf · ResearchGate 376422421 · Nature s41598-021-82430-x
### 2. חילוץ ברמת-holding ישים מסחרית — אך **תיוג-החשיבות/treatment ברמת-holding הוא השלב שגיא-מועד**
`confidence: high · 3-0` (ותת-טענה הופרכה)
- מערכת KeyNumber הפטנטית של West מסווגת headnotes בודדים (~6/פסק, לעיתים 50+) לטקסונומיה של
90,000+ מחלקות דרך cosine — מוכיח ש**חילוץ-holding ישים**.
- **אבל** Hellyer (2018, Law Library Journal): Shepard's ו-KeyCite פספסו/תייגו-שגוי **~שליש**, ו-BCite
**מעל שני-שליש**, מיחסי-הטיפול-השליליים (מדגם 357); שלושת ה-citators הסכימו רק 53/357. **השגיאות
נמצאות בניתוח-העריכתי הפרשני, לא בזיהוי-המכני** — "the significant problems occur in the editorial
analysis process, after the initial process of identifying the citing cases".
- **הופרך (0-3):** הטענה ש-West שומר רק 1-3 holdings לפסק — **הפרקטיקה המסחרית אינה תומכת בגיזום-holding
אגרסיבי.**
- **משמעות לנו:** הסיגנל-המכני (מצוטט? ע"י מי?) אמין; "האם העיקרון חשוב" — שם גם מערכות-מסחריות-עם-עורכים
טועות קשות. **טיעון נגד cull-הרסני מונע-ציון-פרשני.**
- מקורות: USPTO US7580939 · aallnet LLJ 110n4
### 3. אחזור מודע-הקשר בזמן-שאילתה **עדיף** על דירוג-חשיבות חסר-הקשר
`confidence: high · 3-0`
- ICAIL 2021 "Context-Aware Legal Citation Recommendation" (Stanford RegLab + CMU): ניצול ההקשר-הטקסטואלי
המקומי של הטיוטה משפר את איכות-ההמלצה על-פני baselines חסרי-הקשר. **הרלוונטיות תלוית-הקשר — לא ידועה
בזמן-cull, זמינה בזמן-שאילתה.** ציון-חשיבות סטטי (offline) לא יכול לתפוס רלוונטיות-ספציפית-לפסקה →
השמדת עקרונות נמוכי-ציון-סטטי מסכנת פריטים רלוונטיים-מאוד בהקשר שה-cull לא ראה.
- מקור: arxiv 2106.10776
### 4. תכונות-רשת נעשות **חזקות יותר עם הזמן**; תכונות-דמיון-תוכן דועכות
`confidence: medium · 2-1`
- Mones et al. (Scientific Reports 2021, CJEU 1955-2014): תכונות-מבניות (common-neighbor/Adamic-Adar)
מראות עלייה-מובהקת בעוצמה-ניבויית עם התבגרות-הרשת, בעוד TF-IDF דועך. → **גרף-ציטוטים מתחזק-מעצמו** הוא
נכס עמיד יותר מ-cull חד-פעמי מבוסס-תוכן. (אזהרה: התיקון העריכתי — preferential-attachment הוא תכונה
*נודלית-דועכת*; המבנית-עולה היא common-neighbor.)
- מקור: Nature s41598-021-82430-x
### 5. Selective evaluation מכויל → **רק שבריר זעיר מגיע לאדם**
`confidence: high · 3-0`
- Cascaded Selective Evaluation (ICLR 2025): מנתב כל פריט למודל-החלש-ביותר-שעדיין-בטוח-מספיק; השאר
מסלים. השיג **מעל 80% הסכמה-אנושית** ב-ChatArena עם אחוז-הסלמה נמוך. → ניתן לכייל סף-ביטחון כך
שרק חלק קטן ומדוד עובר לסקירה.
- מקור: ICLR 2025 (proceedings.iclr.cc 08dabd5...)
### 6. Selective Conformal Risk Control (SCRC) → **ערבון-סיכון מותנה ברמה 1α**
`confidence: high · 3-0`
- SCRC מספק ערבון-בקרת-סיכון מותנה: ניתן להבטיח **חסם-טעות מוכח** על הפריטים ש"נסגרים אוטומטית",
כך שאחוז-ההסלמה-לאדם חסום-סטטיסטית ולא תלוי-מזל. → המנגנון להמרת "אפס-ביקורת" ליעד **מובטח-מתמטית**.
- מקורות: arxiv 2407.18370 · 2511.07396
### 7. **התנהגות-ציטוט טבעית = פיקוח-משתמע** (במקום ביקורת-בכמות)
`confidence: high · 3-0`
- Joachims et al. (קליקים כ-implicit relevance; Radlinski/Joachims) — אותות-משתמשים טבעיים הם סיגנל-רלוונטיות
אמין כשמטפלים בהטיות-מיקום. **מקבילה אצלנו:** אילו פסקי-דין/הלכות דפנה *מצטטת בפועל* בהחלטותיה = הפיקוח,
במקום סקירה-מראש של מאות. self-correcting, מתחזק עם השימוש.
- מקורות: Cornell joachims_etal_17a · radlinski_joachims_05a · arxiv 2403.18962
---
## טענות שהופרכו (לא לבנות עליהן)
| טענה | קול | מקור |
|------|-----|------|
| degree-גולמי הוא המנבא היציב ביותר, עדיף על PageRank | 1-2 | ResearchGate 376422421 |
| HITS (hubs/authorities) עדיף-באופן-מובהק על ספירת-ציטוטים | 1-2 | polisci.umn s6 |
| link-prediction על גרף-הציטוטים מדרג תקדימים בדיוק חזק | 0-3 | Nature s41598 |
| West שומר רק 1-3 holdings/פסק (תמיכה בגיזום-holding) | 0-3 | USPTO US7580939 |
> מסקנה מההפרכות: **ספירת-ציטוטים היא סיגנל לגיטימי אך לא-מכריע, והמטרי-המדויק (degree/PageRank/HITS)
> אינו מוכרע — אל תּתַכַּנֵּת-יתר אותו; ואל תצטט פרקטיקה-מסחרית כתומכת בגיזום-holding.**
---
## סינתזה לנתוני-המערכת שלנו
| ממצא-מחקר | המצב אצלנו (אומת ב-DB) |
|-----------|------------------------|
| חשיבות אמינה רק ברמת-פס"ד | התאמת-זהב ברמת-עיקרון **נכשלה**: match_context=רשימת-הפניות; 62/112 פס"ד-מצוטטים חסרי-עקרונות; חציון-cosine 0.52 |
| ספירת-ציטוטים = סיגנל עם זנב | יש פיזור אמיתי: 7×(1), 6×(1), 4×(4), 3×(8), 2×(38), 1×(269) — ראש-"הלכות-קבע" ברור |
| אל תחתוך על ציון-פרשני רועש | ה-cull הבלינדי היה חותך ~66%, כולל הלכות-זהב (49% מהעקרונות מפס"ד-זהב) |
| דרג-בזמן-שאילתה (מודע-הקשר) | יש לנו RAG (`search_precedent_library`/halacha) — נקודת-ההזרקה הטבעית ל-boost |
| פיקוח-משתמע מציטוטי-היו"ר | יש לנו `precedent_internal_citations` (ציטוטי-דפנה) — מתעדכן עם כל החלטה חדשה |
| אפס-ביקורת מובטח (SCRC/cascade) | מחליף את תורי-ה-pending_review בשער-conformal מכויל |
**ההכרעה הנגזרת:**
1. **לבטל את ה-cull ההרסני** כברירת-מחדל. הקורפוס נשאר שלם (הפיך — וכבר שוחזר לפריסטין).
2. **שכבת-חשיבות = prior-לדירוג, לא מסנן-השמדה.** `importance_score(עיקרון) ∝ מרכזיות-פס"ד-המקור
(ספירת-ציטוטים בדרגות: דפנה ≫ יו"ר-אחר ≫ כללי) × סמכות × טריות` — מוזרק כ-boost ב-RRF בזמן-אחזור.
3. **רעש מטופל ב-ranking, לא במחיקה** — עקרון נמוך-חשיבות פשוט שוקע ולא צץ; שום הלכה לא אובדת.
4. **ביקורת-אנושית → אפס-מעשי:** רק ה"זבל-הוודאי" (≤1 קול בפאנל / quality-flags) מודח-אוטומטית (הפיך);
השאר נשאר; אין תור-אישור. אם בעתיד נרצה שער-החלטה — conformal (SCRC) חוסם את אחוז-ההסלמה מתמטית.
5. **Active-learning:** ציטוטי-דפנה העתידיים מזינים את ה-prior אוטומטית (job רענון), בלי סקירה.
> **מה שנשאר תקף מהעבודה שכבר נבנתה (PR #304/#305):** משטר-החילוץ התלת-מודלי + תקרת-5 **לחילוץ-להבא**
> (מונע צמיחת-רעש חדש במקור — quality-at-source) נשאר; מה שמשתנה הוא ה**יחס לקורפוס-הקיים**: דירוג ולא
> השמדה. הטרמינולוגיה (הלכה/כלל-פרשני/עיקרון) והסינתזה — נשארים.
## שאלות-פתוחות (לאימות-פנימי, מהמחקר)
1. האם ניתן לאמת ציון-חשיבות per-עיקרון (לא רק per-פס"ד) דרך מתאם בין retrieval-then-citation של היו"ר
לסיגנל-אלגוריתמי? (הליבה הלא-מוכחת — דורש מחקר-פנימי על הקורפוס שלנו.)
2. גודל-מינימלי ותדירות-רענון לכיול מהתנהגות-הציטוט של היו"ר בקורפוס חד-מחבר קטן? (Trust-or-Escalate
השתמש ב-500 דוגמאות i.i.d.)
3. שקלול ציטוטים-פנימיים (החלטה→החלטה של היו"ר) מול חיצוניים (מרכזיות-בית-משפט) — פנימי נדיר אך מיושר-יותר לסגנונה.
4. האם דירוג-אגרסיבי-בזמן-שאילתה פוגע ב-precision/latency בקנה-המידה שלנו (~3,562), או שה-set קטן מספיק
שאין חיסרון מעשי — כלומר **האם ה-cull בכלל פותר בעיה שיש לנו?**
---
## מקורות (25 ראשוניים)
מרכזיות/legal-IR: arxiv 2410.13460v2 · ssrn 2910926 · polisci.umn s6.pdf · ResearchGate 376422421 ·
arxiv 2106.10776 · Nature s41598-021-82430-x · USPTO US7580939 · aallnet LLJ 110n4 ·
law.northwestern updating · guides.law.stanford keynumbersystem.
Selective-prediction/conformal: ICLR 2025 08dabd5 · arxiv 2512.12844 · arxiv 2407.18370 · vlm-uncertainty ·
openreview JJPAy8mvrQ · arxiv 2511.07396 · arxiv 2605.18796.
Implicit-feedback/active-learning: Cornell joachims_etal_17a · radlinski_joachims_05a · dl.acm 1229181 · arxiv 2403.18962.
RAG pruning vs rank: arxiv 2407.12170 · 2511.00505 · 2409.13694v2.

View File

@@ -0,0 +1,152 @@
# מחקר-עומק מלא (גולמי) — קורפוס-הפסיקה
> נספח גולמי ל-[`precedent-corpus-redesign.md`](02-deep-research-importance-recommendation.md). פלט מלא של מנוע deep-research (2026-06-20).
**סטטיסטיקה:** 6 זוויות · 25 מקורות · 114 טענות חולצו · 25 אומתו · 21 אושרו · 4 הופרכו · 108 קריאות-סוכן · 108 סוכנים.
## תקציר-מנהלים (verbatim)
For your specific situation, the evidence points to option (B)/(C): rank-by-importance at retrieval time rather than a destructive cull, with selective-prediction gating that keeps human review near-zero. Automated importance signals from citation-network centrality (PageRank/HITS/degree) are a genuine, scalable proxy for PRECEDENT-level importance — derivable algorithmically without manual annotation (Swiss Criticality, Fowler/Jeon, Derlén & Lindholm) — but they are only moderately predictive (JURIX 2023 F1≈0.655) and are NOT validated at the holding/principle granularity you actually extract. Commercial systems (West KeyNumber patent, Shepard's/KeyCite) do operate at holding-level headnotes via cosine similarity, but their interpretive/editorial labels are substantially error-prone (one-third to two-thirds mislabeled), confirming that holding-level importance judgment is exactly where automation degrades — so you should not destructively prune on a noisy holding-level score. The robust path is to keep all extracted principles (reversible), attach multiple importance signals (precedent-level citation centrality + your chair's actual citation behavior as implicit supervision), rank at query time, and use a calibrated selective-prediction/conformal gate (Trust-or-Escalate cascade, SCRC) so only a tiny, statistically-bounded fraction ever escalates to the human — with a provable agreement guarantee at level 1α.
## לוג-הצינור
- Q: Research question for a production legal-AI system (RAG that helps a planning-ap…
- Decomposed into 6 angles: Citation-network importance & legal IR ranking, Headnote/holding selection at commercial citators, Selective prediction / conformal abstention thresholds, Multi-model agreement & trust-or-escalate routing, Implicit feedback active learning vs upfront review, RAG corpus pruning vs rank-at-retrieval
- Citation-network importance & legal IR ranking: 6 results
- Headnote/holding selection at commercial citators: 6 results
- Headnote/holding selection at commercial citators: 4 novel (2 filtered)
- Selective prediction / conformal abstention thresholds: 6 results
- Selective prediction / conformal abstention thresholds: 5 novel (1 filtered)
- Multi-model agreement & trust-or-escalate routing: 6 results
- Multi-model agreement & trust-or-escalate routing: 3 novel (3 filtered)
- Implicit feedback active learning vs upfront review: 6 results
- Implicit feedback active learning vs upfront review: 4 novel (2 filtered)
- RAG corpus pruning vs rank-at-retrieval: 6 results
- RAG corpus pruning vs rank-at-retrieval: 3 novel (3 filtered)
- Fetched 25 sources → 114 claims → verifying top 25
- "Importance/criticality labels for legal decisions …": 3-0 ✓
- "Case criticality is operationalized via a two-tier…": 3-0 ✓
- "Derlén & Lindholm apply network-citation analysis …": 3-0 ✓
- "Citation-network centrality scores (specifically t…": 3-0 ✓
- "Network centrality measures correlate only reasona…": 3-0 ✓
- "An ordinal regression model using network centrali…": 3-0 ✓
- "Among centrality metrics, simple Degree (in-degree…": 1-2 ✗
- "Citation counts alone (degree centrality / inward …": 1-2 ✗
- "The authors construct importance scores using two …": 3-0 ✓
- "Simple degree centrality (counting inward citation…": 3-0 ✓
- "A deep-learning citation recommendation tool (BiLS…": 3-0 ✓
- "Leveraging the local textual context surrounding a…": 3-0 ✓
- "In a real judicial citation network (CJEU, 1955-20…": 3-0 ✓
- "A link-prediction model on the citation graph pred…": 0-3 ✗
- "Over time, structural/network features (preferenti…": 2-1 ✓
- "West's commercial system classifies legal headnote…": 3-0 ✓
- "The system does NOT treat all headnotes/holdings a…": 0-3 ✗
- "The patented method operates at the granularity of…": 3-0 ✓
- "Commercial citators' negative-treatment/holding la…": 3-0 ✓
- "The error source is editorial analysis (the interp…": 3-0 ✓
- "Selective evaluation with a calibrated confidence …": 3-0 ✓
- "Cascaded Selective Evaluation routes each instance…": 3-0 ✓
- "On ChatArena the cascade achieved over 80% human a…": 3-0 ✓
- "Selective Conformal Risk Control (SCRC) is a frame…": 3-0 ✓
- "SCRC provides a conditional risk-control guarantee…": 3-0 ✓
- Verify done: 25 claims → 21 confirmed, 4 killed
## הממצאים המלאים (verbatim)
### ממצא 1 — Citation-network centrality is a scalable, manual-annotation-free importance signal — but it works at PRECEDENT/case level, not holding/principle level, and is only moderately predictive.
**confidence:** high · **vote:** 3-0 across all constituent claims
**מקורות:** https://arxiv.org/html/2410.13460v2, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2910926, http://users.polisci.umn.edu/~trj/MyPapers/s6.pdf, https://www.researchgate.net/publication/376422421_Centrality_Scores_and_Precedent_Value_in_Legal_Network_Analysis, https://www.nature.com/articles/s41598-021-82430-x
Merges claims [0],[1],[2],[3],[4],[5],[7],[10]. Importance labels can be derived algorithmically from citation patterns, yielding far larger datasets than manual annotation (Swiss Criticality, ACL 2025: 138,531 cases via LD-Label + recency-weighted Citation-Label). Network-centrality methods (Derlén & Lindholm: PageRank, HITS, betweenness on 9,125 CJEU judgments; Fowler/Jeon at SCOTUS) establish case-level centrality as a quantitative importance proxy. Eigenvector/HITS approaches are preferred over raw degree because degree treats all citing cases equally regardless of the citing case's own importance. CRITICAL LIMIT: predictive power is only moderate — JURIX 2023 ordinal regression on the court's Importance Score achieved F1≈0.655 ('to an extent' indicates precedent value), and CJEU citation distributions are heavy-tailed/preferential-attachment (few highly-cited cases) confirming a meaningful but skewed signal. All evidence is scoped to precedent/case level; none validates principle/holding-level importance. For your ~3,562 principles (~12/precedent), this means: use precedent-level centrality as a strong prior on a principle's parent case, but do not treat it as a per-principle importance score.
### ממצא 2 — Holding-level extraction IS achievable (commercial citators do it), but holding-level IMPORTANCE/treatment labeling is the error-prone editorial step — so a destructive cull keyed on a noisy holding-level score is risky.
**confidence:** high · **vote:** 3-0; one constituent refuted (selective top-1-3 retention)
**מקורות:** https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/7580939, https://www.aallnet.org/wp-content/uploads/2018/12/LLJ_110n4_02_hellyer.pdf
Merges claims [12],[13],[14],[15]. West's patented KeyNumber system classifies individual headnotes (discrete holdings, ~6 per opinion, sometimes 50+) into a 90,000+ class taxonomy via cosine similarity over noun-word-pair vectors with composite scoring — proving holding-level extraction/classification is commercially viable. BUT Hellyer (2018, Law Library Journal) shows Shepard's and KeyCite missed/mislabeled ~one-third, and BCite over two-thirds, of negative citing relationships (357-sample); the three citators agreed only 53/357 times. The errors arise specifically in the EDITORIAL ANALYSIS (interpretive treatment/holding labeling), not the mechanical step of identifying citing cases — 'the significant problems occur in the editorial analysis process, after the initial process of identifying the citing cases.' Implication for you: mechanical signals (does a precedent get cited; by whom) are the reliable part; interpretive 'is this principle important' judgment is exactly where even commercial systems with human editors err badly. Note: the claim that West selectively retains only 1-3 holdings per case was REFUTED (vote 0-3) — commercial practice does NOT support aggressive holding-level pruning. This argues against a destructive cull driven by an interpretive importance score.
### ממצא 3 — Context-aware, query-time retrieval (using the local textual context of the draft) outperforms context-free importance ranking for choosing which authority to surface — favoring rank-at-retrieval over a pre-pruned static corpus.
**confidence:** high · **vote:** 3-0
**מקורות:** https://arxiv.org/pdf/2106.10776
Merges claims [8],[9]. The ICAIL 2021 'Context-Aware Legal Citation Recommendation using Deep Learning' (Stanford RegLab + CMU) builds a citation recommender for opinion drafting and finds that leveraging local textual context improves recommendation quality over context-free baselines (collaborative filtering on citation lists). Context-based deep models (BiLSTM/RoBERTa) beat context-free methods because they exploit semantics to judge which citation fits the passage. This directly supports your option (B): the right-to-surface principle depends on the draft's local context, which is unknowable at cull time but available at query time. A static importance score (computed once, offline) cannot capture passage-specific relevance — so destroying low-static-importance principles risks discarding items that are highly relevant in a context the cull never saw. Caveat: context-aware recommendation and importance ranking are complementary, not mutually exclusive; the paper benchmarks against a citation-list baseline, not a centrality ranker.
### ממצא 4 — Structural/network features become MORE predictive over time while content-similarity features decay — supporting maintaining a persistent citation graph (which improves as the corpus matures) rather than freezing a one-time content-based cull.
**confidence:** medium · **vote:** 2-1
**מקורות:** https://www.nature.com/articles/s41598-021-82430-x
Claim [11]. On the CJEU judicial citation network (1955-2014), Mones et al. (Scientific Reports 2021) found structural/common-neighbor features 'display a significant increase of predictive power' over time while document-content (TF-IDF) features show 'decreasing trends' — the network becomes increasingly informative as it matures. This implies a citation-graph-backed importance ranking is a more durable, self-improving asset than a one-shot content-similarity prune. CAVEATS lowering confidence to medium: (1) the verification flagged a misattribution — preferential attachment is a NODAL (decreasing) feature in the paper, not structural-increasing; the correctly-structural-increasing features are common-neighbor/Adamic-Adar indices. (2) The 'more durable than content similarity' framing is the claim's inference. (3) The paper itself flags automation-bias risk and that its recommendations operate at CASE level, not paragraph/holding level — reinforcing the precedent-vs-principle granularity caution. Still, the core direction (keep and grow the graph; rank at query time) is supported.
### ממצא 5 — Selective prediction with calibrated thresholds gives a distribution-free, provable guarantee that auto-accepted judgments agree with the human at level 1α (w.p. ≥1δ), so the human reviews only a tiny calibrated fraction — directly satisfying the near-zero-review constraint.
**confidence:** high · **vote:** 3-0
**מקורות:** https://proceedings.iclr.cc/paper_files/paper/2025/file/08dabd5345b37fffcbe335bd578b15a0-Paper-Conference.pdf
Merges claims [16],[17],[18]. ICLR 2025 'Trust or Escalate' (Cascaded Selective Evaluation) formulates threshold selection as a multiple-hypothesis-testing problem on a small calibration set (|D_cal|=500, δ=0.1), guaranteeing P(f_LM(x)=y_human | c_LM(x)≥λ) ≥ 1α with probability ≥1δ — distribution-free (only i.i.d. calibration assumed, built on Bates et al. 2021 risk-controlling sets and Angelopoulos et al. 2022 Learn-then-Test). The cascade routes cheap judges first and escalates to a stronger model only when not confident, abstaining when none are confident. Empirically on ChatArena: >80% human agreement at 79.1% coverage, 88.1% of covered instances handled by cheap models, GPT-4 invoked on only 17.5% of instances, 91% guarantee-success vs <60% for point-estimate calibration. For you: this is the mechanism to keep human review near-zero — calibrate against a small set of the chair's own accept/reject decisions, auto-accept high-confidence principles, auto-reject low-confidence ones, and escalate to the human ONLY the calibrated uncertain middle, with a provable agreement bound.
### ממצא 6 — Conformal-risk-control variants (SCRC) extend the guarantee to abstention: risk is bounded ONLY on accepted (non-abstained) samples via two calibration thresholds — giving a principled accept/abstain/reject gate suited to a noisy KB triage.
**confidence:** high · **vote:** 3-0
**מקורות:** https://arxiv.org/html/2512.12844
Merges claims [19],[20]. Selective Conformal Risk Control (Xu, Guo, Wei, 2025) combines conformal prediction with selective classification using two thresholds: λ₁ controls which samples are accepted (else abstain/defer), λ₂ controls prediction-set size. Theorem 2 guarantees E[l(C(X),Y) | g(X)≥1λ₁] ≤ α — expected loss on ACCEPTED samples is bounded below a user-chosen target risk α; the calibration-only variant (SCRC-I) gives the bound w.p. ≥1δ. This formalizes a three-way KB gate: auto-keep (accept) where conformal risk is provably low, auto-discard candidates, and defer the rest to the human — with risk controlled on exactly the items you act on automatically. Caveat: guarantees rely on exchangeability of calibration/test data, and 'risk' is a general bounded loss (expectation, not a probability); the source is current (Dec 2025) and peer-discussed but newer than the established Trust-or-Escalate line.
### ממצא 7 — RECOMMENDATION: do NOT do a destructive holding-level cull; rank-by-importance at retrieval time over a reversibly-retained corpus, gated by a selective-prediction layer calibrated to the chair's natural citing behavior.
**confidence:** medium · **vote:** synthesis of high-confidence findings; recommendation is inference
**מקורות:** https://www.researchgate.net/publication/376422421_Centrality_Scores_and_Precedent_Value_in_Legal_Network_Analysis, https://www.aallnet.org/wp-content/uploads/2018/12/LLJ_110n4_02_hellyer.pdf, https://arxiv.org/pdf/2106.10776, https://proceedings.iclr.cc/paper_files/paper/2025/file/08dabd5345b37fffcbe335bd578b15a0-Paper-Conference.pdf, https://arxiv.org/html/2512.12844
Synthesis. Choose option B/C, not A. Rationale chain: (1) per-principle importance scoring is only moderately reliable even with citation networks (F1≈0.655) and is the editorial step where commercial citators err one-third-to-two-thirds — too noisy to justify irreversible deletion; (2) the right principle to surface is context-dependent (ICAIL 2021), unknowable at cull time but available at query time; (3) the citation graph is a self-improving asset (Scientific Reports 2021). CONCRETE DESIGN: (a) Keep all ~3,562 principles; attach precedent-level citation-centrality (PageRank/degree on your internal + external citation graph) as a prior, NOT a per-principle delete trigger; rank principles at retrieval time fusing centrality prior + context-aware semantic similarity to the draft block. (b) Mark obviously-redundant/low-quality principles with a reversible 'demoted/suppressed' flag (review_status) rather than deleting — your system already has reversible review_status gating per the project context. (c) Make the chair's NATURAL behavior the supervision signal: log which principles/precedents she actually cites in finalized decisions (implicit feedback) and which retrieved items she ignores; use these as the calibration labels. (d) Wrap auto-keep/demote in a Trust-or-Escalate / SCRC gate calibrated on ~500 of those implicit accept/ignore signals, so only a tiny calibrated fraction (target-α) ever reaches her for explicit review, with a provable agreement bound. This keeps human upfront review at zero and converges via use. Confidence is medium because the recommendation composes high-confidence findings into a design choice the literature supports directionally but does not test end-to-end on a holding-level legal KB.
## טענות שהופרכו (verbatim)
- **[1-2]** Among centrality metrics, simple Degree (in-degree / citation count) was the most stable predictor of precedent value across network and sub-network configurations, outperforming more complex measures like PageRank in robustness.
מקור: https://www.researchgate.net/publication/376422421_Centrality_Scores_and_Precedent_Value_in_Legal_Network_Analysis
- **[1-2]** Citation counts alone (degree centrality / inward citations) are an insufficient proxy for legal importance; a Kleinberg HITS-style hubs-and-authorities measure that combines inward AND outward citations is superior and reveals importance information not evident in simple citation counts.
מקור: http://users.polisci.umn.edu/~trj/MyPapers/s6.pdf
- **[0-3]** A link-prediction model on the citation graph predicts which prior cases a new case will cite with strong accuracy — 95% of cases have a median rank below 292 — demonstrating that citation-network structure alone can rank precedents by likely relevance/importance for retrieval.
מקור: https://www.nature.com/articles/s41598-021-82430-x
- **[0-3]** The system does NOT treat all headnotes/holdings as equally important — it selectively retains only the most relevant one to three holdings per case by similarity, demonstrating commercial citator practice of holding-level selection/pruning rather than keeping everything.
מקור: https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/7580939
## שאלות-פתוחות (verbatim)
- Can a per-PRINCIPLE importance score be validated (not just per-precedent)? E.g., does a principle's retrieval-then-citation rate by the chair correlate with any algorithmic signal well enough to gate on — this is the unproven core of your use case and would need an internal study on your own corpus.
- What is the minimum reliable calibration-set size and refresh cadence for the chair's implicit citing behavior, given a small single-author corpus (the project notes ~5,243 principles but a low-data style-acquisition regime)? Trust-or-Escalate used 500 i.i.d. examples; can implicit signals from one chair's decisions reach that volume, and how fast does exchangeability degrade as her preferences evolve?
- Should the importance prior combine INTERNAL citations (the chair's own decision-to-decision citations) with EXTERNAL precedent citations, and at what weighting — internal signals are scarcer but far more aligned to her style than generic court-citation centrality?
- Does aggressive query-time ranking (vs. culling) measurably hurt RAG precision/latency at your corpus scale (~3,562-5,243 items), or is the retrieval set small enough that ranking-only with reversible demotion has no practical downside — i.e., is culling solving a problem you actually have?
## כל המקורות
- [primary] https://arxiv.org/html/2410.13460v2 · זווית: Citation-network importance & legal IR ranking · טענות: 5
- [primary] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2910926 · זווית: Citation-network importance & legal IR ranking · טענות: 5
- [primary] https://www.researchgate.net/publication/376422421_Centrality_Scores_and_Precedent_Value_in_Legal_Network_Analysis · זווית: Citation-network importance & legal IR ranking · טענות: 5
- [primary] http://users.polisci.umn.edu/~trj/MyPapers/s6.pdf · זווית: Citation-network importance & legal IR ranking · טענות: 5
- [primary] https://arxiv.org/pdf/2106.10776 · זווית: Citation-network importance & legal IR ranking · טענות: 5
- [primary] https://www.nature.com/articles/s41598-021-82430-x · זווית: Citation-network importance & legal IR ranking · טענות: 5
- [primary] https://image-ppubs.uspto.gov/dirsearch-public/print/downloadPdf/7580939 · זווית: Headnote/holding selection at commercial citators · טענות: 5
- [primary] https://www.aallnet.org/wp-content/uploads/2018/12/LLJ_110n4_02_hellyer.pdf · זווית: Headnote/holding selection at commercial citators · טענות: 5
- [secondary] https://library.law.northwestern.edu/cases/updating · זווית: Headnote/holding selection at commercial citators · טענות: 2
- [secondary] https://guides.law.stanford.edu/cases/keynumbersystem · זווית: Headnote/holding selection at commercial citators · טענות: 4
- [primary] https://proceedings.iclr.cc/paper_files/paper/2025/file/08dabd5345b37fffcbe335bd578b15a0-Paper-Conference.pdf · זווית: Selective prediction / conformal abstention thresholds · טענות: 5
- [primary] https://arxiv.org/html/2512.12844 · זווית: Selective prediction / conformal abstention thresholds · טענות: 5
- [primary] https://arxiv.org/pdf/2407.18370 · זווית: Selective prediction / conformal abstention thresholds · טענות: 5
- [primary] https://sinatayebati.github.io/vlm-uncertainty/ · זווית: Selective prediction / conformal abstention thresholds · טענות: 5
- [primary] https://openreview.net/forum?id=JJPAy8mvrQ · זווית: Selective prediction / conformal abstention thresholds · טענות: 4
- [primary] https://arxiv.org/abs/2407.18370 · זווית: Multi-model agreement & trust-or-escalate routing · טענות: 4
- [primary] https://arxiv.org/pdf/2511.07396 · זווית: Multi-model agreement & trust-or-escalate routing · טענות: 5
- [primary] https://arxiv.org/html/2605.18796 · זווית: Multi-model agreement & trust-or-escalate routing · טענות: 4
- [primary] https://www.cs.cornell.edu/~tj/publications/joachims_etal_17a.pdf · זווית: Implicit feedback active learning vs upfront review · טענות: 5
- [primary] https://www.cs.cornell.edu/people/tj/publications/radlinski_joachims_05a.pdf · זווית: Implicit feedback active learning vs upfront review · טענות: 5
- [primary] https://dl.acm.org/doi/10.1145/1229179.1229181 · זווית: Implicit feedback active learning vs upfront review · טענות: 5
- [primary] https://arxiv.org/pdf/2403.18962 · זווית: Implicit feedback active learning vs upfront review · טענות: 5
- [primary] https://arxiv.org/abs/2407.12170 · זווית: RAG corpus pruning vs rank-at-retrieval · טענות: 3
- [primary] https://arxiv.org/abs/2511.00505 · זווית: RAG corpus pruning vs rank-at-retrieval · טענות: 4
- [primary] https://arxiv.org/html/2409.13694v2 · זווית: RAG corpus pruning vs rank-at-retrieval · טענות: 4

View File

@@ -0,0 +1,51 @@
# 04 — הקאנון-הידני של דפנה כ-Ground-Truth לחשיבות
> קלט לסינתזה. מנתח את [`daphna-precedent-network.md`](daphna-precedent-network.md) — "הקאנון של דפנה" —
> כסיגנל-החשיבות שהאוטומציה מנסה לשחזר, ואיך לחבר אותו ל-RAG. נתונים חיים 2026-06-20.
## 1. מה הקאנון, ולמה הוא הקלט הכי חשוב
מסמך `daphna-precedent-network.md` ממפה **לפי סוגיה משפטית** (זכות-עמידה, הלכת-שפר, טענות-קנייניות,
שימוש-חורג, תמ"א 38, תכניות-ישנות...) את **התקדים-המועדף של דפנה** לכל סוגיה — מקריאת 33 החלטות.
זהו **בדיוק ה"חשיבות" שאנחנו רוצים, ובגרנולריות הנכונה** (סוגיה/הלכה, לא פס"ד גס) — והוא **כבר עשוי
ידנית, מאומת ע"י היו"ר**. כל מנגנון-החשיבות האוטומטי הוא ניסיון **לשחזר ולהרחיב** אותו, לא להמציא.
## 2. אימות: הקאנון מתואם עם תדירות-הציטוט (הסיגנל האוטומטי)
בדיקה חיה — תקדימי-הליבה של הקאנון מול ספירת-הציטוטים בנתונים שלנו:
| תקדים-קאנון | בקורפוס? | מצוטט בנתונים |
|-------------|:---:|:---:|
| עע"מ 317/10 שפר | ✅ | **7×** |
| ע"א 3213/97 נקר | ✅ (2) | **6×** |
| בג"ץ 1578/90 אייזן | ✅ | 3× |
| ע"א 6291/95 בן-יקר-גת | ✅ | 2× |
| בג"ץ 910/86 רסלר | ✅ | 1× |
| עע"מ 9387/17 מרכז-למשפטים | ✅ | 1× |
| **בג"ץ 5145/00 חוף-השרון** (הרכב-7) | ❌ **חסר** | 2× |
| **עע"מ 8909/13 הרמלין** | ❌ **חסר** | 1× |
**שתי מסקנות:**
1. **תדירות-הציטוט מתואמת עם הקאנון** — מצוטטי-הראש (317/10→7, 3213/97→6) הם בדיוק תקדימי-הקאנון.
זה **מאמת את סיגנל-תדירות-הציטוט כפרוקסי-חשיבות** (וגם נותן לנו ground-truth לכייל מולו).
2. **הקאנון חושף פערי-קורפוס:** תקדימי-יסוד (חוף-השרון הרכב-7, הרמלין) **חסרים מהקורפוס** — הכותב
לא יכול לצטטם נכון. הקאנון = **רשימת-קניות** של פסיקה-מרכזית להטמיע.
## 3. איך מחברים את הקאנון ל-RAG (4 שימושים)
1. **זריעת-חשיבות:** תקדימי-הקאנון מקבלים `importance_score` מקסימלי **מיד** (לא מחכים שהגרף יצבור) —
ground-truth ידני גובר על כל פרוקסי.
2. **מיפוי סוגיה→תקדים (context-aware):** הקאנון מובנה כ"לסוגיה X → תקדים מועדף Y" — בדיוק הדירוג
מודע-ההקשר שהמחקר (ICAIL 2021) המליץ: בזיהוי-הסוגיה בטיוטה, לצוף את התקדים-הקאנוני. דורש לחלץ
את הקאנון לטבלה מובנית (`issue → preferred_precedents`), לא טקסט-פרוזה.
3. **כיול:** הקאנון הוא ה-gold-set לאמת **כל** סיגנל-חשיבות אוטומטי (האם הוא מדרג את הקאנון גבוה?).
4. **רשימת-פערים:** תקדימי-קאנון-חסרים (חוף-השרון, הרמלין...) → תור-הטמעה ל-court-fetch (X13).
## 4. סיכון/מגבלה
- **נקודה-בזמן:** הקאנון נקבע מ-33 החלטות; דפנה ממשיכה. צריך **רענון** מציטוטיה החדשים (active-learning) —
המסמך עצמו אומר זאת (§6). הסיגנל-האוטומטי שומר אותו חי בין עדכונים-ידניים.
- **כיסוי-חלקי:** הקאנון מכסה ~20 סוגיות-ליבה של 1xxx; 8xxx/9xxx (היטל-השבחה/פיצויים) מכוסים פחות.
- כבר קרוא ע"י סוכני `legal-researcher`/`legal-writer` — אבל כ**טקסט-פרוזה**, לא כסיגנל-דירוג מובנה.
## 5. מה הסינתזה צריכה להכריע
- **א.** האם להפוך את הקאנון ל**טבלה מובנית** (`canon`: issue → precedents → her-framing-phrase) שמזינה
גם את הדירוג וגם את הסוכן? (ממליץ: כן — זה ה-bridge בין ground-truth-ידני ל-RAG.)
- **ב.** איך מתחזקים אותו אוטומטית מציטוטי-דפנה החדשים בלי סקירה (active-learning)?
- **ג.** האם פערי-הקאנון (תקדימים-חסרים) מצדיקים מסע-הטמעה ממוקד דרך X13?

View File

@@ -0,0 +1,68 @@
# 05 — חוזה-הקליטה, ריקות-גרף-הציטוטים, ו-V41 האינרטי
> קלט לסינתזה. שלושת מחוללי-הכאב הטכניים, עם מספרים חיים (2026-06-20). משלים את [01](01-claude-architecture-data-audit.md)
> בנתונים מדויקים ומתקן שתי קריאות.
## 1. חוזה-הקליטה — הכאב הוא **כולו במסלול-החיצוני**
```text
source_kind total ללא practice_area ללא summary ללא full_text
external_upload 239 209 (87%) 2 0
internal_committee 93 0 0 0
cited_only 31 31 25 31
```
**קריאות מתוקנות:**
- **87% מהפסיקה-החיצונית (209/239) ללא practice_area** — חד ויותר ממה ש-01 דיווח (66% על-פני-הכל).
סינון-לפי-תחום באחזור **לא עובד על פסיקה חיצונית**. הכאב **כולו במסלול `precedent_library_upload`**;
המסלול-הפנימי (`internal_decision_upload`) **שלם ב-100%**.
- **ה-31 "השבורים" אינם שבורים — הם `cited_only` stubs** (אזכור לפס"ד שאין לנו את גופו). ריקים-בכוונה.
**תיקון לקריאת-01:** לא למחוק אותם; הם נקודות-עוגן לגרף-הציטוטים.
**המשמעות:** "התיקונים האינסופיים" של חיים = העדר-אכיפה ב-upload-החיצוני בלבד. **תיקון-במקור (G1):**
או חילוץ-אוטומטי של practice_area בקליטה, או `searchable=false` עד שהמטא שלם — נקודה אחת, מסלול אחד.
## 2. גרף-הציטוטים — **קיים-מחושב אך כמעט-ריק**
```text
PageRank/אשכולות מחושבים ✅ web/graph_metrics.py · graph_api.py
ציטוטים מהחלטות דפנה (42 החלטות) 398 ← ~כל הסיגנל
ציטוטים מ-91 ועדות-אחרות 0 ← לא חולצו (extract_internal_citations לא רץ עליהן)
ציטוטים בין פס"ד-חיצוניים 0 ← אין קשתות ביניהם בכלל
```
**המשמעות הקריטית:** המחקר ([02](02-deep-research-importance-recommendation.md)) המליץ centrality על
גרף-ציטוטים — **אבל אין גרף**. ל-PageRank אין כמעט קשתות. הסיגנל-האוטומטי-היחיד היום = 398 ציטוטי-דפנה
(שמתואמים עם הקאנון, [04](04-daphna-canon-as-importance-ground-truth.md) §2).
**שתי דרכים (להכרעת-הסינתזה):**
- **(א) לצופף את הגרף** — להריץ את ה-citator (`extract_internal_citations` / X11) על **כל 363 הפסקים**
(גם 91 ועדות-אחרות, גם פס"ד-חיצוניים) → גרף אמיתי → PageRank משמעותי. **מאמץ בינוני, ערך גבוה ומצטבר.**
- **(ב) להישען על הקאנון + ציטוטי-דפנה + יומונים** — בלי לחכות לגרף. מהיר, אבל מכסה פחות.
- **לא בלעדי:** (א) ו-(ב) משלימים — קאנון כזריעה מיידית, גרף-מצופף כשכבה-מצטברת.
## 3. V41 (canonical) — **100% תקוע, לא רק "0 published"**
```text
canonical_halachot review_status:
pending_synthesis 5,472 (100%)
pending_review 0
approved 0
published 0
```
**זו לא "שכבה חלשה" — זו שכבה שמעולם לא הפיקה דבר.** **כל** 5,472 הקנוניים תקועים במצב-הראשון.
מנגנון-ה-V41 (pending_synthesis → pending_review → approved → published) **דורש מעבר דרך אישור-יו**
כדי להגיע לכותב (INV-G10).
**ההתנגשות שהסינתזה חייבת להכריע:** הארכיטקטורה של V41 **בנויה על אישור-יו** — וזה **מתנגש ישירות
עם אילוץ אפס-הביקורת של חיים.** שלוש אפשרויות:
1. **לעקוף את V41** — דירוג-בזמן-אחזור ישירות על `halachot`/chunks (המחקר נוטה לכאן); V41 הופך
לאופציונלי/נדחה.
2. **לשנות-ארכיטקטורה את V41** — שער-conformal אוטומטי במקום אישור-ידני (רק שבריר חסום מסלים).
3. **לקבל ש-V41 לכתיבה-בלבד-אחרי-אישור** — אבל אז הוא נשאר אינרטי עד שמישהו מאשר (מצב-היום).
> הקשר: הסינתזה שבניתי (PR#304) הופכת pending_synthesis→pending_review — **הצעד הראשון אי-פעם** —
> אבל גם הוא נעצר באישור-יו"ר. לכן עצם-קיומו של V41 כפוף להכרעה זו.
## 4. מה הסינתזה צריכה להכריע (תמצית)
| # | נושא | אפשרויות |
|---|------|----------|
| 1 | חוזה-קליטה חיצוני | חילוץ-auto של practice_area · / · `searchable=false` עד-שלם |
| 2 | גרף-ציטוטים | לצופף (citator על כל 363) · / · להישען על קאנון+דפנה+יומונים · / · שניהם |
| 3 | V41 canonical | לעקוף (דרג-על-halachot) · / · conformal-gate · / · להשאיר-מגודר-יו"ר |
| 4 | פסיקה-חסרה | להטמיע תקדימי-קאנון-חסרים (חוף-השרון, הרמלין) דרך X13 |

View File

@@ -0,0 +1 @@
../corpus-analysis.md

View File

@@ -0,0 +1 @@
../corpus-graph.md

View File

@@ -0,0 +1 @@
../daphna-precedent-network.md

View File

@@ -0,0 +1 @@
../halacha-strict-rubric.md

View File

@@ -0,0 +1 @@
../legal-principles-redesign.md

View File

@@ -0,0 +1 @@
../spec/X11-citation-corroboration.md

View File

@@ -0,0 +1 @@
../spec/X12-digests-radar.md

View File

@@ -0,0 +1 @@
../spec/X13-court-fetch.md