legal-ai/docs/spec/X13-court-fetch.md

X13 — אחזור-פסיקה אוטומטי מנט המשפט (Court Verdict Fetch)

כפוף ל-חוקת המערכת. תת-מערכת שירות (לא קורפוס) שמורידה פסקי-דין ציבוריים של בתי-משפט ומזרימה אותם לצינור-הקליטה הקנוני של ספריית-הפסיקה. אחות-מושגית ל-X12 — Digests Radar (הטריגר העיקרי) ול-01-ingest (היעד). אינה קורפוס רביעי ואינה מסלול-ingest מקביל.

---

0. ייעוד והקשר

יומון (digest) מצביע על פסק-דין נושא (underlying_citation, למשל עת"מ 46111-12-22). כשהפסק אינו בקורפוס, המערכת מאחזרת אותו אוטומטית ממקור ציבורי, מחלצת טקסט, וקולטת אותו דרך precedent_library_upload → ingest_precedent. כך הופך פסק-דין מ"מצוטט-בלבד" ל"שמיש לחיפוש וחילוץ-הלכות".

הבחנת-מקור קריטית: רק פסקי-דין של בתי-משפט ניתנים לאחזור ציבורי. החלטות ועדת-ערר אינן זמינות ציבורית (נדרש נבו) — מסומנות כפער ולא נשלחות לאחזור.

דרכי-מקור ציבוריות (ניתוב לפי זמינות-פורמט-נט, לא לפי ערכאה):

• נט המשפט (מציג-התיקים) משרת כל הערכאות — מחוזי/שלום וגם עליון — כל עוד יש מספר בפורמט תיק-חודש-שנה. ASP.NET WebForms (__doPostBack/VIEWSTATE), anti-bot של F5, מסמכים בצופה-עמודים (turn.js). מחייב דפדפן-אמת (host-side) → שירות-מארח ב-pm2 (כדפוס legal-chat-service). זהו המסלול הראשי המאומת.
• עליון בפורמט-סדרתי (עע"מ/בג"ץ NNNN/YY, ללא חודש — לא ניתן לחיפוש בנט) → supremedecisions.court.gov.il (httpx, ללא CAPTCHA, ללא דפדפן). פוענח ואומת (2026-06-08): POST Home/SearchVerdicts עם document מובנה ({Year:"YYYY", CaseNum, OldMainNumFormat:true, SearchText:[…]}) + כותרת X-Requested-With: XMLHttpRequest → רשומות; GET Home/Download?path=&fileName=&type=4 → PDF. בוחר מסמך best-first (פסק-דין→מספר-עמודים) ומדלג על מסמכי published-report החסומים (s-prefix). תיקים ישנים-מאוד שלא דיגיטצו (למשל 389/87) → manual.

אומת end-to-end (2026-06-07) על עת"מ 46111-12-22 — פס"ד 34 עמ' הורד אוטונומית מלא, נטו קוד-פתוח, ללא כרטיס-חכם וללא פתרון-CAPTCHA. ממצאי-המפתח מהכיול:

• החיפוש והניווט לתיק — ללא reCAPTCHA כלל. מסלול: דף-בית → btnExternalSearchCases → מילוי BamaCaseNumberTextBoxH(=מס' תיק) + BamaMonthYearTextBoxHT(="MM-YY") → CaseDetails.aspx → לשונית "פסקי דין" → DecisionList.aspx → צופה NGCSViewerPage.aspx.
• reCAPTCHA קיים רק בצופה ורק על שמירה/הדפסה מפורשת — לא על הצגת המסמך. הצופה מגיש את העמודים כ-PNG דרך PageMethod GetImages (4 עמ'/batch) ללא CAPTCHA. אחזור = לכידת documentNumber מהקריאה הראשונה + משיכת כל ה-batches ב-fetch עם הכותרת X-Requested-With: XMLHttpRequest (חובה — ה-WAF חוסם AJAX בלעדיה) → הרכבת PDF (Pillow).
• דפדפן: Camoufox דרך חבילת-הפייתון (camoufox.async_api, in-process — לא שרת-Node). על שרת ללא-מסך נדרש Xvfb (אחרת Firefox קורס). פותר-ה-reCAPTCHA האודיו (Whisper) נשמר כ-fallback למסלול-השמירה-המפורש בלבד; מסלול-התמונות אינו זקוק לו.

---

1. ארכיטקטורה — שלוש שכבות (tiered)

underlying_citation → [classifier] → {tier, האם יש פורמט-נט (תיק-חודש-שנה)}
  skip(ערר/בל"מ)        → missing_precedent (נבו ידני)              — לא אחזור
  ── ניתוב לפי זמינות-פורמט-נט, לא לפי קידומת (נט המשפט משרת כל הערכאות) ──
  פורמט-נט קיים (עמ"נ/עת"מ/עליון-בפורמט-נט כמו בר"מ 72182-06-25)
       → Tier 1: legal-court-fetch-service (host/pm2 + Xvfb)        — אוטונומי, מאומת
            → Camoufox(python) → external-search → CaseDetails → פסקי דין
            → NGCSViewerPage → GetImages(X-Requested-With) → PNGs → PDF
  עליון סדרתי-בלבד (בג"ץ/בר"מ NNNN/YY, בלי חודש)
       → Tier 0: httpx → supremedecisions (SearchVerdicts+Download) — מפוענח ומאומת
  כשל אוטונומי → Tier 2: missing_precedent + התראה (VNC עתידי)      — שער-אנושי
  (כל ה-tiers)        → precedent_library_upload(source_type=court_ruling) → ingest_precedent
                          → chunks+embeddings+halachot(pending) → relink digest / close gap

מצב-העבודה מנוהל בטבלת-תור court_fetch_jobs (idempotent, נצפה, retryable). הניקוז האוטומטי: legal-court-fetch-drain (pm2 cron שעתי) → orchestrator.drain_pending.

---

2. Invariants

INV-CF1: מסלול-קליטה יחיד — אין ingest מקביל

כלל: כל ה-tiers מתנקזים לצינור-הקליטה הקנוני היחיד (precedent_library_upload → ingest_precedent). המאחזר מספק קובץ+מטא בלבד; אסור לו לכתוב case_law/precedent_chunks/ halachot ישירות או לשכפל לוגיקת-chunking/embedding. מקור-סמכות: פרויקטלי-תפעולי — מיישם את G2 (מקור-אמת יחיד, אין מסלול מקביל) על תת-מערכת זו. אכיפה: האורקסטרטור קורא רק ל-API/שירות-הקליטה הקיים; ביקורת-ארכיטקטורה ב-PR. הפרה ידועה: —

INV-CF2: אין בליעה שקטה — כל אחזור נצפה

כלל: לכל פסק-דין שזוהה לאחזור יש רשומת-job עם סטטוס סופי מפורש (done/failed/manual). כישלון-אחזור לעולם אינו נבלע — הוא מסומן ומועלה (Tier 2), לא נזרק בשקט. except: pass אסור. מקור-סמכות: פרויקטלי-תפעולי — מיישם את G4 וכלל-ההנדסה "אין בליעה שקטה" (§6). אכיפה: טבלת court_fetch_jobs (status+error+attempts) + לוג-warning בכל כישלון + Tier-2 gate. הפרה ידועה: הפער ב-X12 — try_autolink שנכשל מחזיר None בשקט → תוקן: try_autolink שנכשל על ציטוט פס"ד-בימ"ש מזניק job ל-court_fetch_jobs (status=pending); court_fetch_drain מנקז (סדרתי) ומקשר את היומון חזרה בהצלחה.

INV-CF3: אוטונומי-first, שער-אנושי חובה ב-fallback

כלל: האחזור מנסה אוטונומית; אך כש-N נסיונות נכשלים, שער-אנושי (VNC לפתרון-CAPTCHA חי / סימון missing_precedent + התראה) הוא חובה, לא רשות. המערכת אינה "מוותרת" ואינה "מסתירה" — היא מסלימה לאדם. מקור-סמכות: פרויקטלי-תפעולי — מיישם את G10 (המערכת מסייעת; שערים אנושיים = invariant). אכיפה: מונה-נסיונות בטבלת-התור + מעבר אוטומטי ל-status=manual עם נתיב-פעולה ל-chaim. הפרה ידועה: —

INV-CF4: אחזור-אחראי (politeness) — סדרתי, מרווח, חתימה-אמיתית

כלל: האחזור מאתר-ממשלתי הוא אחראי: סדרתי (לא מקבילי), עם cooldown בין בקשות, כיבוד-robots/תנאי-שימוש, ו-rate מתון. אסור flooding/parallel-hammering שעלול לחסום IP או להעמיס על שירות ציבורי. מקורות: RFC 9309 (Robots Exclusion Protocol, IETF 2022) · Google Search Central — Crawler / crawl-rate guidance · OWASP — Automated Threat Handbook (OAT-021 Denial of Service / responsible automation) | סטטוס: verified אכיפה: האורקסטרטור והשירות אוכפים serial + INTER_FETCH_COOLDOWN_SEC; Camoufox מספק חתימת-דפדפן אמיתית (לא spoof-חמדני). מראה לדפוס-התור ב-precedent_library.py. הפרה ידועה: —

INV-CF5: אחזור idempotent

כלל: אחזור הוא idempotent — מפתח-job דטרמיניסטי לפי case_number מנורמל. אחזור חוזר של אותו תיק אינו יוצר job כפול ואינו קולט פסק-דין פעמיים (upsert על המפתח הקנוני). מקור-סמכות: פרויקטלי-תפעולי — מיישם את G3 (ingest idempotent) ו-G1 (מזהה מנורמל בכתיבה). אכיפה: אילוץ-ייחודיות על court_fetch_jobs.case_number_norm; הקליטה עצמה idempotent דרך ingest_precedent. הפרה ידועה: —

INV-CF6: שער-סיווג מקור — רק פסקי-דין של בתי-משפט

כלל: רק ציטוט שסווג כפסק-דין של בית-משפט נשלח לאחזור. ועדת-ערר (ערר/בל"מ) לעולם אינה נשלחת לאחזור-ציבורי (נדרש נבו) — היא מסומנת missing_precedent בלבד. הפריט הנקלט נושא source_type=court_ruling, source_kind=external_upload, precedent_level לפי הערכאה. מקור-סמכות: פרויקטלי-תפעולי — מיישם את G5 (metadata מלא + הפרדת-קורפוס) ותואם את הבחנת-המקור ב-01-ingest (court_ruling מול appeals_committee). אכיפה: המסווג מחזיר tier=skip ל-ערר/בל"מ; הקליטה אוכפת source_type. הפרה ידועה: —

INV-CF7: עקיבוּת-מקור + גבול-ToS

כלל: כל אחזור נושם provenance מלא (source_url, tier, זמן, מזהה-job) ב-audit-trail. האחזור מוגבל למסמכים ציבוריים הזמינים ללא הזדהות (smart-card); אופי המערכת הוא הורדה-בסיוע (עם שער-אנושי), לא בוט-סמוי לעקיפת בקרת-גישה. מקור-סמכות: פרויקטלי-תפעולי — מיישם את G9 (עקיבוּת + audit-trail); גבול-ה-ToS מועלה ליו"ר (חיים) כשיקול-מדיניות (עיקרון-עבודה 4: המשתמש הוא הסמכות). אכיפה: source_url+tier נשמרים על case_law/court_fetch_jobs; שער-אנושי שומר על אופי בסיוע. הפרה ידועה: —

---

3. מודל-נתונים — court_fetch_jobs

עמודה	טיפוס	תפקיד
id	UUID PK	מזהה-job
case_number_norm	TEXT UNIQUE	מפתח-idempotency קנוני (INV-CF5)
citation_raw	TEXT	הציטוט המקורי כפי שזוהה
tier	TEXT	supreme | admin | skip
court	TEXT	ערכאה שזוהתה
status	TEXT	pending | running | done | failed | manual
attempts	INT	מונה-נסיונות (ל-Tier 2 gate, INV-CF3)
error	TEXT	הודעת-כישלון אחרונה (INV-CF2)
case_law_id	UUID FK	הפסק שנקלט (NULL עד done)
digest_id	UUID FK	היומון-מקור (NULL לאד-הוק)
source_url	TEXT	provenance (INV-CF7)
created_at / updated_at	TIMESTAMPTZ

---

4. רכיבי-מימוש (מיפוי לקוד)

רכיב	קובץ	מקור-תבנית / שימוש-חוזר
מסווג	mcp-server/.../services/court_citation.py	regex מ-citation_extractor.py:67-132
Tier 0	services/court_fetch_supreme.py	httpx; דפוס-cooldown מ-precedent_library.py:176-186
Tier 1 שירות	mcp-server/.../court_fetch_service/server.py	שכפול chat_service/server.py (aiohttp+Bearer+bind 10.0.1.1)
Camoufox client	court_fetch_service/camofox_client.py	חיקוי ~/.hermes/.../browser_camofox.py
reCAPTCHA audio	court_fetch_service/recaptcha_audio.py	faster-whisper מקומי
proxy בקונטיינר	web/court_fetch_proxy.py	שכפול web/chat_proxy.py
pm2	scripts/legal-court-fetch-service.config.cjs	שכפול legal-chat-service.config.cjs
אורקסטרטור+תור	services/court_fetch_orchestrator.py + db.py (SCHEMA_Vxx)	דפוס-תור קיים
כלי-MCP	tools/court_fetch.py (court_verdict_fetch / court_fetch_status / court_fetch_drain)	חוזה-envelope X9
טריגר אוטומטי	services/digest_library.py (try_autolink fail → _enqueue_court_fetch) → drain ע"י orchestrator.drain_pending	X12
סוד	COURT_FETCH_SHARED_SECRET (Infisical + Coolify)	דפוס LEGAL_CHAT_SHARED_SECRET, X10

---

5. סיכונים (R&D — לעקוב)

• reCAPTCHA נלחם פעיל בפותרי-אודיו → שיעור-כישלון אפשרי גבוה → Tier 2 הוא קו-ההגנה (INV-CF3).
• F5/anti-bot עלול לחסום IP → politeness סדרתי + Camoufox (INV-CF4).
• שבירות מול שינויי-אתר → ריכוז selectors במקום אחד + בדיקות-עשן תקופתיות.
• גבול-ToS על אתר .gov → INV-CF7 + שיקול-יו"ר.
• Tier-0 (supremedecisions) טרם מפוענח → פוענח ומאומת (2026-06-08) — עליון בפורמט-סדרתי (בג"ץ/בר"מ NNNN/YY) יורד אוטומטית דרך Home/SearchVerdicts+Home/Download. מגבלה שנותרה: תיקים ישנים-מאוד שלא דיגיטצו בפורטל (0 רשומות) → manual. גם backfill_missing_precedents.py מזין את ה-missing_precedents הפתוחים (עליון+נט-format) לתור-האחזור.
• דליפת-זיכרון מדפדפנים יתומים (fetch שנתקע/נהרג משאיר camoufox-bin) → שלוש שכבות-הגנה: (א) async with סוגר את הדפדפן בכל exception; (ב) asyncio.wait_for קשיח (COURT_FETCH_HARD_TIMEOUT_S, ברירת-מחדל 180ש') מבטל hang + reap; (ג) reaper של camoufox-bin יתומים (ppid=1) לפני/אחרי כל fetch + דמון legal-reaper (pm2) + תקרת max_memory_restart. סדרתיות (INV-CF4) מבטיחה שכל דפדפן ppid=1 הוא שארית בטוחה-להריגה. הערה: הדליפה הגדולה בפועל בשרת היא task-master-mcp (כלי נפרד), שגם אותו ה-reaper מנקה.