feat(halacha): #86.2 אודיט-זיהום נבו + backfill רציו · #86.3 benchmark כיסוי-רציו #194

chaim · 2026-06-11T16:51:09Z

chaim commented

2026-06-11 16:51:09 +00:00

#86.2 — אודיט הדלפת-preamble של נבו (`nevo_corpus_audit.py leak`)

סורק chunks + הלכות למרקרי-העריכה של נבו (מיובאים מ-extractor._NEVO_MARKERS — מקור-אמת יחיד), ומבחין בין:

הווקטור המזיק — מרקר בתוך הלכה (רציו-עריכה שזוהה בטעות כהלכה).
benign — chunk עם רשימת "חקיקה/פסקי-דין שאוזכרו".

ממצא חי (read-only): 70 פסקים עם מרקר כלשהו, 17 עם רציו-עריכה בצ'אנק, אך 0 הלכות מזוהמות — שכבת-הידע נקייה (שערי-האיכות של #81 מנעו זאת).

מסקנה: אין purge/re-ingest — (1) הווקטור המזיק (הלכות) ריק; (2) re-OCR retrofit נוגד-עיקרון (feedback_no_reocr_retrofit); (3) צ'אנקי-ציטוטים benign.

במקום זה — leak --apply עושה backfill אדיטיבי בטוח: מחלץ case_law.nevo_ratio מ-full_text השמור (extract_nevo_ratio, דטרמיניסטי, ללא re-OCR, לא נוגע בצ'אנקים/הלכות) — "לשמור במקום למחוק" (#86.3). הורץ בייצור: 16→32 פסקים עם רציו שמור.

#86.3 — benchmark כיסוי-רציו (`benchmark`)

לפסקים עם nevo_ratio, הפאנל התלת-מודלי (Opus+DeepSeek+Gemini) שופט אילו עקרונות-רציו מכוסים ע"י ההלכות שלנו → recall.

smoke: 1110-20 (13 הלכות) → recall=1.0 (כיסוי מלא של הרציו); פסקים עם 0 הלכות → recall=0 (אות-פער-חילוץ אמיתי, לא כשל-כיסוי).
מזין את אות-האיכות של #81.7 (ground-truth חינמי ועצמאי מנבו).

Invariants

G2 — מרקרים+strip מיובאים מ-extractor; פאנל מיובא מ-halacha_panel_approve (אין כפילות).
INV-G10 / no-reocr — read-only או אדיטיבי בלבד; backfill מטקסט שמור, אין מחיקה ואין חילוץ-מחדש.

בדיקות

6 offline (tests/test_nevo_corpus_audit.py: _has_marker/_has_editorial) + test_nevo_preamble קיים עובר. אומת חי (leak + backfill 16→32 + benchmark smoke).

🤖 Generated with Claude Code

## #86.2 — אודיט הדלפת-preamble של נבו (`nevo_corpus_audit.py leak`) סורק chunks + הלכות למרקרי-העריכה של נבו (מיובאים מ-`extractor._NEVO_MARKERS` — מקור-אמת יחיד), ומבחין בין: - **הווקטור המזיק** — מרקר בתוך **הלכה** (רציו-עריכה שזוהה בטעות כהלכה). - **benign** — chunk עם רשימת "חקיקה/פסקי-דין שאוזכרו". **ממצא חי (read-only):** 70 פסקים עם מרקר כלשהו, 17 עם רציו-עריכה בצ'אנק, אך **0 הלכות מזוהמות** — שכבת-הידע נקייה (שערי-האיכות של #81 מנעו זאת). **מסקנה: אין purge/re-ingest** — (1) הווקטור המזיק (הלכות) ריק; (2) re-OCR retrofit נוגד-עיקרון ([[feedback_no_reocr_retrofit]]); (3) צ'אנקי-ציטוטים benign. **במקום זה — `leak --apply` עושה backfill אדיטיבי בטוח:** מחלץ `case_law.nevo_ratio` מ-`full_text` השמור (`extract_nevo_ratio`, דטרמיניסטי, **ללא re-OCR**, לא נוגע בצ'אנקים/הלכות) — "לשמור במקום למחוק" (#86.3). הורץ בייצור: **16→32** פסקים עם רציו שמור. ## #86.3 — benchmark כיסוי-רציו (`benchmark`) לפסקים עם `nevo_ratio`, הפאנל התלת-מודלי (Opus+DeepSeek+Gemini) שופט אילו עקרונות-רציו מכוסים ע"י ההלכות שלנו → **recall**. - smoke: **1110-20 (13 הלכות) → recall=1.0** (כיסוי מלא של הרציו); פסקים עם 0 הלכות → recall=0 (**אות-פער-חילוץ אמיתי**, לא כשל-כיסוי). - מזין את אות-האיכות של #81.7 (ground-truth חינמי ועצמאי מנבו). ## Invariants - **G2** — מרקרים+strip מיובאים מ-`extractor`; פאנל מיובא מ-`halacha_panel_approve` (אין כפילות). - **INV-G10 / no-reocr** — read-only או אדיטיבי בלבד; backfill מטקסט שמור, אין מחיקה ואין חילוץ-מחדש. ## בדיקות 6 offline (`tests/test_nevo_corpus_audit.py`: `_has_marker`/`_has_editorial`) + `test_nevo_preamble` קיים עובר. אומת חי (leak + backfill 16→32 + benchmark smoke). 🤖 Generated with [Claude Code](https://claude.com/claude-code)

chaim added 1 commit 2026-06-11 16:51:10 +00:00

feat(halacha): #86.2 nevo-leak audit + safe ratio backfill · #86.3 ratio-coverage benchmark

G12 Leak-Guard / leak-guard (pull_request) Successful in 5s

Details

ec14e8310b

#86.2 — scripts/nevo_corpus_audit.py leak: סורק chunks+הלכות למרקרי-preamble של נבו
(מיובאים מ-extractor._NEVO_MARKERS — מקור-אמת יחיד), מבחין בין הווקטור המזיק (מרקר בתוך
הלכה = רציו-עריכה שזוהה כהלכה) ל-benign (chunk עם רשימת-ציטוטים). **ממצא חי: 0/~1650
הלכות מזוהמות** — שכבת-הידע נקייה (שערי-האיכות של #81 מנעו זאת). לכן **אין purge/re-ingest**
(גם כי re-OCR retrofit נוגד-עיקרון, feedback_no_reocr_retrofit; וצ'אנקי-ציטוטים benign).
`leak --apply` עושה backfill **אדיטיבי** של case_law.nevo_ratio מ-full_text השמור
(extract_nevo_ratio, דטרמיניסטי, ללא re-OCR, לא נוגע בצ'אנקים/הלכות) — "לשמור במקום
למחוק". הורץ: 16→32 פסקים עם רציו שמור.

#86.3 — benchmark: לפסקים עם nevo_ratio, הפאנל התלת-מודלי שופט אילו עקרונות-רציו מכוסים
ע"י ההלכות שלנו → recall. smoke: 1110-20 (13 הלכות) recall=1.0 (כיסוי מלא); פסקים עם
0 הלכות → recall=0 (אות-פער-חילוץ אמיתי, לא כשל-כיסוי). מזין את אות-האיכות של #81.7.

invariants: G2 (מרקרים+strip מיובאים מ-extractor; פאנל מ-halacha_panel_approve) ·
INV-G10 (read-only/אדיטיבי; אין מחיקה) · no-reocr (backfill מטקסט שמור, לא חילוץ-מחדש).
tests: 6 offline (_has_marker/_has_editorial) + nevo_preamble קיים. אומת חי.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

chaim merged commit c18a5443fd into main

2026-06-11 16:51:16 +00:00

chaim deleted branch worktree-nevo-corpus-audit

2026-06-11 16:51:16 +00:00

chaim referenced this issue from a commit

2026-06-11 16:51:17 +00:00

Merge pull request 'feat(halacha): #86.2 אודיט-זיהום נבו + backfill רציו · #86.3 benchmark כיסוי-רציו' (#194) from worktree-nevo-corpus-audit into main

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ezer-mishpati/legal-ai#194

feat(halacha): #86.2 אודיט-זיהום נבו + backfill רציו · #86.3 benchmark כיסוי-רציו #194

#86.2 — אודיט הדלפת-preamble של נבו (nevo_corpus_audit.py leak)

#86.3 — benchmark כיסוי-רציו (benchmark)

Invariants

בדיקות

#86.2 — אודיט הדלפת-preamble של נבו (`nevo_corpus_audit.py leak`)

#86.3 — benchmark כיסוי-רציו (`benchmark`)