From 6ed5c9e99fec4d10bf9537dd892f715dc9ffbb8e Mon Sep 17 00:00:00 2001 From: Chaim Date: Sun, 31 May 2026 19:30:02 +0000 Subject: [PATCH] docs(X11): foreground open-access sources; verify decision against open literature MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit החלפת מיקוד שורות-המקורות של INV-COR1–COR5 + תיקון-G10 ממוצרים סגורים (Shepard's/KeyCite) למקורות פתוחים שאומתו בפועל — בהתאם ל-feedback_legal_db_authoritative_sources ולפרוטוקול ≥3-המקורות של החוקה: - Fowler et al., Network Analysis and the Law (Political Analysis 2007) — ציטוטים-נכנסים = מדד-סמכות, מאומת בניבוי ציטוט עתידי (INV-COR1/COR4). - Demir & Canbaz, Validate Your Authority (NLLP/ACL 2025) — LLM מסווג טיפול-תקדים ב-67.7–79.1%; הדיוק הלא-מושלם מצדיק את הסייגים השמרניים (≥N, שער-אנוש, שלילי→דגל) (INV-COR2/COR4/COR5). - CaseHOLD (arXiv 2021) — סיווג ברמת holding (INV-COR3). LePaRD (arXiv 2023) — citation dataset. - Hellyer (LLJ 2018, open-access), NCSC/JTC, CEPEJ, ISO 15489 — ללא שינוי, פתוחים. מסקנה: הספרות הפתוחה תומכת בהחלטה (citator + סיווג-טיפול + סמכות-מבוססת-ציטוט), ודווקא מחזקת את הגרסה השמרנית. אין גישה ל-Shepard's/KeyCite הסגורים — המידע עליהם הגיע ממקורות משניים פתוחים בלבד. Co-Authored-By: Claude Opus 4.8 (1M context) --- docs/spec/00-constitution.md | 6 ++-- docs/spec/X11-citation-corroboration.md | 38 +++++++++++++++---------- 2 files changed, 27 insertions(+), 17 deletions(-) diff --git a/docs/spec/00-constitution.md b/docs/spec/00-constitution.md index e7bb3f2..ce3500f 100644 --- a/docs/spec/00-constitution.md +++ b/docs/spec/00-constitution.md @@ -186,8 +186,10 @@ ISO 15489-1:2016 (records authenticity/integrity) | סטטוס: verified (INV-COR1–COR6). **מקורות:** NCSC/JTC — *Principles & Practices for AI Use in Courts* ("never replace human judgment") · CEPEJ (2018, under user control) · Federal Judicial Center — *Judicial Writing -Manual* (2d ed.) · [לתיקון:] Shepard's / KeyCite citators + Hellyer, *Evaluating Shepard's, -KeyCite, and BCite* (Law Library Journal 110:4, 2018) — טיפול-שיפוטי-מצטבר כמתודולוגיה מוכרת +Manual* (2d ed.) · [לתיקון — מקורות פתוחים:] Fowler et al., *Network Analysis and the Law* +(Political Analysis 15:3, 2007) — ציטוטים-נכנסים = מדד-סמכות · Demir & Canbaz, *Validate Your +Authority: Benchmarking LLMs on Multi-Label Precedent Treatment Classification* (NLLP/ACL, 2025) · +Hellyer (Law Library Journal 110:4, 2018, open-access) — טיפול-שיפוטי-מצטבר כמתודולוגיה מתועדת | סטטוס: verified **אכיפה:** שערים אנושיים בקוד-הזרימה (gate לא ניתן לעקיפה); מסלול-corroboration ב- [X11](X11-citation-corroboration.md); מפורט ב-[05-qa-review.md](05-qa-review.md). diff --git a/docs/spec/X11-citation-corroboration.md b/docs/spec/X11-citation-corroboration.md index c18202b..ae902af 100644 --- a/docs/spec/X11-citation-corroboration.md +++ b/docs/spec/X11-citation-corroboration.md @@ -81,9 +81,11 @@ LexisNexis, KeyCite של Westlaw, BCite של Bloomberg). הם עונים על ש **כלל:** אישור-הלכה מבוסס-ציטוט נשען על כך ש**ערכאות/ועדות אנושיות אימצו את ההלכה בפועל** — לא על ציון-ביטחון של מודל. ה-AI רק **מזהה ומסווג** את הטיפול הקיים; ההכרעה הערכית שההלכה תקפה ניתנה ע"י השופטים המצטטים. זהו הבסיס לתיקון INV-G10 (§6). -**מקורות:** Shepard's Citations (LexisNexis) — citator + treatment analysis · KeyCite (Westlaw) -— good-law/treatment flags · Hellyer, *Evaluating Shepard's, KeyCite, and BCite* (Law Library -Journal 110:4, 2018) | סטטוס: verified +**מקורות (פתוחים):** Fowler, Johnson, Spriggs, Jeon & Wahlbeck, *Network Analysis and the Law: +Measuring the Legal Importance of Precedents at the U.S. Supreme Court* (Political Analysis 15:3, +2007) — סמכות-תקדים נמדדת מהציטוטים-הנכנסים, מאומת בניבוי ציטוט עתידי · *LePaRD: A Large-Scale +Dataset of Judicial Citations to Precedent* (arXiv 2311.09356, 2023) · Hellyer, *Evaluating +Shepard's, KeyCite, and BCite* (Law Library Journal 110:4, 2018, open-access) | סטטוס: verified **אכיפה:** מנגנון §4 — corroboration נספר רק מטיפול שיפוטי מתועד, לא מ-confidence. **הפרה ידועה:** — @@ -91,9 +93,11 @@ Journal 110:4, 2018) | סטטוס: verified **כלל:** כל ציטוט-נכנס מסווג ל**טיפול** (followed/explained = חיובי-נייטרלי; distinguished/criticized/questioned/overruled = שלילי) לפני שהוא נספר. **טיפול שלילי לעולם אינו תורם ל-corroboration ואינו מאשר אוטומטית**; overruled → הדחת ההלכה לבדיקת-יו"ר. -**מקורות:** Shepard's editorial treatment phrases (human-assigned depth-of-treatment) · KeyCite -flag system (red/yellow/green) · UNC Law, *Describing Negative Legal Precedent in Citators* -(Faculty Publications) | סטטוס: verified +**מקורות (פתוחים):** Demir & Canbaz, *Validate Your Authority: Benchmarking LLMs on Multi-Label +Precedent Treatment Classification* (NLLP Workshop @ ACL, 2025) — LLM מסווג טיפול-תקדים +(Gemini 2.5 79.1% / GPT-5-mini 67.7%) · Galgani & Hoffmann, *LEXA* — knowledge bases for automatic +legal citation classification · *Towards Automatically Classifying Case Law Citation Treatment +Using Neural Networks* · UNC Law, *Describing Negative Legal Precedent in Citators* | סטטוס: verified **אכיפה:** שלב 2+5 ב-§4; סכֵמת-טיפול ב-`precedent_internal_citations` (שדה חדש) + `case_law_citations.citation_type` (לא להישען על ברירת-המחדל `'support'`). **הפרה ידועה:** סיווג-טיפול לא קיים בפועל (§2) — רכיב לבנייה. @@ -101,9 +105,10 @@ flag system (red/yellow/green) · UNC Law, *Describing Negative Legal Precedent ### INV-COR3: התאמה להלכה הספציפית — לא לפסק כולו **כלל:** ציטוט נספר ל-corroboration של הלכה h **רק אם ההקשר המצטט נוגע לאותה הלכה** (דמיון סמנטי מעל רף). פסק מצוטט לעניין A אינו מתקף הלכה B שחולצה מאותו פסק. -**מקורות:** Hellyer (2018) — *"a 'followed' tag might refer to a different legal point than the -one you care about"* · UChicago Library, *Citators* research guide (treatment ≠ point-specific) · -Northwestern Pritzker, *Determining Whether Cases Are Still Good Law* | סטטוס: verified +**מקורות (פתוחים):** Hellyer (2018, open-access) — *"a 'followed' tag might refer to a different +legal point than the one you care about"* · Zheng, Guha, Anderson, Henderson & Ho, *CaseHOLD* +(arXiv 2104.08671, 2021) — סיווג-טיפול ברמת ה-holding הבודד, לא הפסק כולו · UChicago Library / +Northwestern Pritzker — מדריכי-מחקר (treatment ≠ point-specific) | סטטוס: verified **אכיפה:** שלב 3 ב-§4 — רף-דמיון סמנטי בין ההקשר ל-rule_statement; Opus 4.8 כשופט-התאמה. **הפרה ידועה:** — @@ -111,9 +116,11 @@ Northwestern Pritzker, *Determining Whether Cases Are Still Good Law* | סטטו **כלל:** אישור-אוטומטי דורש **≥N ציטוטים חיוביים בלתי-תלויים** — כלומר מ-**מקורות-מצטטים מובחנים** (החלטות/פסקים שונים; שני אזכורים באותה החלטה = ציטוט אחד). ברירת-מחדל N=2. מקור יחיד אינו ראיה מספקת; citators עצמם מפספסים 23–25% מהטיפול — לכן נדרשת חזרתיות חוצת-מקורות. -**מקורות:** Hellyer (2018) — citator coverage gaps (Shepard's miss 23%, KeyCite 25%) · Manning, -Raghavan & Schütze, *Introduction to Information Retrieval* (CUP 2008) — aggregation of weak -signals · KeyCite/Shepard's depth-of-treatment (multiple citing refs) | סטטוס: verified +**מקורות (פתוחים):** Demir & Canbaz (NLLP/ACL 2025) — דיוק סיווג-טיפול 67.7–79.1% בלבד, לכן +סיווג בודד אינו ראיה מספקת ונדרשת חזרתיות · Fowler et al. (Political Analysis 2007) — סמכות = +*צבירת* ציטוטים, לא ציטוט יחיד · Hellyer (2018) — citator coverage gaps (פספוס 23–25% מהטיפול) +· Manning, Raghavan & Schütze, *Introduction to Information Retrieval* (CUP 2008) — aggregation of +weak signals | סטטוס: verified **אכיפה:** שלב 4-5 ב-§4; `HALACHA_CORROBORATION_MIN_CITES` (env-tunable, ברירת-מחדל 2). **הפרה ידועה:** — @@ -121,9 +128,10 @@ signals · KeyCite/Shepard's depth-of-treatment (multiple citing refs) | סטט **כלל:** corroboration **מצמצם** את היקף האישור-הידני; הוא **אינו מבטל** את שער-היו"ר. הלכות לא-מצוטטות, וכל הלכה עם טיפול שלילי, **נשארות בשער-היו"ר**. גם ה-citators המקצועיים קובעים ש"human review remains essential". -**מקורות:** Hellyer (2018) — *"There's no substitute for reading the actual citing case"* · -NCSC/JTC, *Principles & Practices for AI Use in Courts* (human-in-the-loop) · CEPEJ (2018, -user-control) | סטטוס: verified +**מקורות (פתוחים):** Demir & Canbaz (NLLP/ACL 2025) — *"misclassification carries significant +risk"*, ה-citators האוטומטיים *not infallible* → עיון-אנוש נחוץ · Hellyer (2018) — *"There's no +substitute for reading the actual citing case"* · NCSC/JTC, *Principles & Practices for AI Use in +Courts* (human-in-the-loop) · CEPEJ (2018, user-control) | סטטוס: verified **אכיפה:** שלב 5 ב-§4; שער-היו"ר הקיים ([05-qa-review.md](05-qa-review.md)) נשאר על הזנב. **הפרה ידועה:** —