fix(precedents): חילוץ מספר-תיק קנוני מהציטוט — לא ציטוט-מלא כמזהה (#137)
בהעלאה דרך "פסיקה-חסרה" (ענף ועדת-ערר), כשטופס case_number ריק המסלול נפל-לאחור לציטוט המלא (committee_case_number = case_number.strip() or citation), כך שמחרוזת- תצוגה עם שמות-צדדים הושתלה בשדה-המזהה — הפרת INV-ID2/INV-ID1 (X1). נצפה על precedent 1bf0bae0 (ערר 85074-04-25 רפאל לוי/חולון): case_number=85074/0425, case_name=ציטוט שלם. תיקון (G1 — נרמול-במקור, G2 — שימוש-חוזר בפרסר הקנוני): - court_citation.case_number_from_citation(citation) — מחזיר את אסימון-המספר המנורמל בלבד (classify; '' כשאין מספר). חולץ נכון 85074-04-25 גם מתוך "ערר (ת\"א 85074-04-25) ...". reuse של הפרסר היחיד, בלי regex מקביל. - web/app.py (ענף ועדת-ערר): fallback דרך case_number_from_citation; אם אין מספר — HTTPException 400 "נא להזין מספר-תיק ידנית" במקום השתלת ציטוט-מלא. - db._canonical_case_number: מוקשח לחלץ את אסימון-המספר (זורק זנב שמות-צדדים), כך ששדה-המזהה לעולם לא נשמר מזוהם — גם בקריאה ישירה (committee + active cases). מספר נקי חוזר ללא שינוי; חודש לא מומצא (X1 §1). - תיקון-נתון: scripts/fix_137_committee_case_number.py (בוצע) — 1bf0bae0: case_number→85074-04-25, case_name→צדדים, token ב-citation_formatted. אומת היחיד עם canon(num)≠num ב-internal_committee. אידמפוטנטי. מחוץ-לתחום (תועד כ-follow-up): מסלול external (precedent_library) משתמש בציטוט- מלא כמזהה-מורשת — זהו פריט-המיגרציה X1 §5 (138 רשומות external/cited_only), לא הבאג הזה. prefill ב-UI של /missing-precedents — דורש שער Claude Design. בדיקות: test_court_citation (case_number_from_citation: party-strip/forms/empty), test_canonical_case_number (harden). כל 339 בדיקות mcp עוברות. guards נקיים. Invariants: G1 (נרמול-במקור), INV-ID1/ID2 (מזהה מנורמל, אין ציטוט-מלא כמזהה), G2 (פרסר יחיד), G12 (leak-guard נקי). Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
This commit is contained in:
@@ -21,6 +21,7 @@
|
||||
| `test_retrieval_by_name.py` | python | בדיקת אחזור-לפי-שם (#52/RC-A) — מאמת ש`search_precedent_library`/`search_internal_decisions` מדרגים את ההחלטה עצמה (אגסי) מעל מי שמצטט אותה, + רגרסיות לשאילתות מהותיות. הרצה: `DOTENV_PATH=/home/chaim/.env DATA_DIR=.../data mcp-server/.venv/bin/python scripts/test_retrieval_by_name.py` (exit 0 = עבר). | ידני אחרי שינוי שכבת חיפוש |
|
||||
| `fu2b_reconcile_internal_case_numbers.py` | python | **FU-2b (GAP-07/08) — תיאום `case_number` של `internal_committee`** מציטוט-מלא למספר-בסיס קנוני (X1: trim·prefix-strip·`/`→`-`, חודש נשמר). דטרמיניסטי (token יחיד; 0/>1 → flag). `--dry-run` (ברירת-מחדל) מפיק טבלת-תיאום ל-`data/audit/fu2b-reconciliation-*.{csv,md}` עם flags (DUP_CHECK / PROC_MISMATCH / MISMATCH). `--apply --approved <csv>` מגבה ואז מעדכן רק שורות שאושרו ע"י היו"ר. scope: internal בלבד (external → #68). FK-safe. | חד-פעמי, **chair-gated** (apply רק אחרי אישור דפנה) |
|
||||
| `fu2c_reconcile_external_case_numbers.py` | python | **FU-2c (GAP-08, #68) — תיאום `case_number` של פסיקה חיצונית** (`source_kind <> internal_committee`) מציטוט-מלא לצורה קנונית **מציין-הליך + docket** (החלטת-יו"ר 2026-05-31, Option A: `/` נשמר, *לא* `-`; תואם db.py:369 ו-INV-ID2). דטרמיניסטי (designator+docket; 0/>1 docket → flag). `--dry-run` (ברירת-מחדל) מפיק `data/audit/fu2c-reconciliation-*.{csv,md}` עם flags (MISMATCH / NO_CITATION / CIT_NO_DOCKET / DESIG_MISMATCH / DUP_CHECK). `--apply --approved <csv>` מגבה ואז מעדכן שורות לא-חוסמות (כולל ADVISORY/NO_CITATION). `--overrides <csv>` (id,proposed_canonical,reason) פותח שורות-חוסמות בהכרעת-יו"ר מפורשת (למשל פס"ד מאוחד — ראה `data/audit/fu2c-overrides.csv` לרשומת לויתן/קלמנוביץ). לוגיקת-החילוץ + פיצול flags אומתו offline על 24 רשומות. scope: external בלבד (internal = FU-2b). FK-safe. | חד-פעמי, **chair-gated** (apply רק אחרי אישור דפנה) |
|
||||
| `fix_137_committee_case_number.py` | python | **#137 — תיקון-נתון חד-פעמי**: רשומת `internal_committee` בודדת (1bf0bae0) שבה ציטוט-מלא זיהם את שדה-המזהה (case_number=`85074/0425`, case_name=ציטוט שלם) — הפרת INV-ID2 ממסלול `missing_precedent_upload` (לפני תיקון-הקוד ב-#137). מתקן `case_number`→`85074-04-25`, `case_name`→צדדים, ו-token ב-`citation_formatted`. אומת היחיד עם `_canonical_case_number(num)≠num` ב-internal_committee (138 ה"מזוהמים" האחרים = מקור-חיצוני/cited_only מקודמים-קידומת, X1 §5 — מחוץ-לתחום). `document_id=NULL`, 0 ציטוטים-נכנסים → ללא נתיב/קובץ לשנות. guard-התנגשות על `(case_number,proceeding_type)`. אידמפוטנטי, dry-run כברירת-מחדל / `--apply`. הרצה: `HOME=/home/chaim PYTHONPATH=mcp-server/src mcp-server/.venv/bin/python scripts/fix_137_committee_case_number.py --apply`. | חד-פעמי (בוצע 2026-06-15) |
|
||||
| `eval_gold_bootstrap.py` | python | **FU-5 (GAP-11) — bootstrap ל-gold-set** של הערכת-אחזור ל-`data/eval/gold-set.jsonl`. שני מקורות: `--source citations` (cited==relevant מ-`search_relevance_feedback`; ריק עד שייצברו ציטוטים) ו-`--source known_item` (query=שם-תיק → relevant=עצמו; אות אמיתי היום). Idempotent — שומר שורות `source=chair`, מחדש `bootstrap_*`. דורש POSTGRES. | לפני eval; חוזר כשנצבר ground-truth |
|
||||
| `eval_retrieval.py` | python | **FU-5 (GAP-11, INV-RET4/G8) — harness הערכת-אחזור** — מריץ את מסלול-האחזור בייצור (`search_library`/`search_internal`) על ה-gold-set, מחשב precision@k/recall@k/MRR/nDCG@k (k=5,10), מצרף overall+per-corpus+per-PA ל-`data/eval/eval-report-<ts>.{json,md}` + delta מול `data/eval/baseline.json` (מתעד retrieval_config). `--self-test` בודק את המטריקות offline; `--update-baseline` מאמץ snapshot. **שער-CI במשמעת:** הרץ לפני/אחרי כל שינוי בשכבת-האחזור באותו קונפיג. דורש POSTGRES+VOYAGE_API_KEY. | לפני/אחרי שינוי RRF/k/embedder/rerank |
|
||||
| `legal-court-fetch-service.config.cjs` | pm2/js | **שירות-מארח Tier-1 לאחזור פסקי-דין מנט המשפט (X13)** — 2 apps: (א) `legal-court-fetch-xvfb` (Xvfb :99, צג-וירטואלי ל-Camoufox); (ב) `legal-court-fetch-service` (`python -m legal_mcp.court_fetch_service.server`, bound `10.0.1.1:8771`, Bearer `COURT_FETCH_SHARED_SECRET` מ-`~/.legal-court-fetch-service.env`, `DISPLAY=:99`). מריץ Camoufox דרך חבילת-הפייתון (in-process) כי הקונטיינר לא יכול דפדפן. תלות: `pip install -e "mcp-server[court-fetch]" && python -m camoufox fetch`. אחזור = ניווט→צופה→`GetImages`(X-Requested-With)→PDF, ללא CAPTCHA; כשל→`ok:false`→orchestrator מסלים ל-fallback אנושי. **אומת על עת"מ 46111-12-22 (34 עמ').** מראָה לדפוס `legal-chat-service.config.cjs`. ספ: `docs/spec/X13-court-fetch.md`. התקנה: `pm2 start scripts/legal-court-fetch-service.config.cjs && pm2 save`. בריאות: `curl http://10.0.1.1:8771/health`. | pm2 (host-side) |
|
||||
|
||||
100
scripts/fix_137_committee_case_number.py
Normal file
100
scripts/fix_137_committee_case_number.py
Normal file
@@ -0,0 +1,100 @@
|
||||
#!/usr/bin/env python3
|
||||
"""One-off data fix for TaskMaster #137 — committee precedent whose identifier
|
||||
field was polluted by a full citation.
|
||||
|
||||
Background: ``missing_precedent_upload`` (committee branch) fell back to the raw
|
||||
``citation`` when the form left ``case_number`` blank, so a citation like
|
||||
``ערר (ת"א 85074-04-25) רפאל לוי ואח' נ' הוועדה … - חולון`` landed as the
|
||||
identifier / display name (INV-ID2 violation). The code fix (PR for #137)
|
||||
prevents recurrence; this script corrects the one already-stored row.
|
||||
|
||||
Scope: a SINGLE internal_committee row (1bf0bae0). Verified the only
|
||||
internal_committee row where ``_canonical_case_number(case_number) != case_number``
|
||||
(the legacy 138 "polluted" matches are external/cited_only PREFIXED numbers —
|
||||
the X1 §5 external-identifier item, deliberately out of scope here). The row has
|
||||
``document_id = NULL`` (no file/storage key to rename) and 0 incoming citations,
|
||||
so only three columns change: ``case_number``, ``case_name``, ``citation_formatted``.
|
||||
|
||||
Idempotent: if the row already carries the canonical number it is a no-op.
|
||||
Dry-run by default; pass ``--apply`` to write.
|
||||
|
||||
Run (local, reads ~/.env for POSTGRES_URL):
|
||||
HOME=/home/chaim PYTHONPATH=mcp-server/src python scripts/fix_137_committee_case_number.py [--apply]
|
||||
"""
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import sys
|
||||
|
||||
import asyncpg
|
||||
|
||||
from legal_mcp import config
|
||||
|
||||
# The verified target row + its corrected values (see module docstring).
|
||||
CASE_LAW_ID = "1bf0bae0-1cb7-4110-ba1b-b956e42b0355"
|
||||
BAD_CASE_NUMBER = "85074/0425"
|
||||
NEW_CASE_NUMBER = "85074-04-25"
|
||||
NEW_CASE_NAME = "רפאל לוי ואח' נ' הוועדה המקומית לתכנון ובניה - חולון"
|
||||
|
||||
|
||||
async def main(apply: bool) -> int:
|
||||
conn = await asyncpg.connect(config.POSTGRES_URL)
|
||||
try:
|
||||
row = await conn.fetchrow(
|
||||
"SELECT case_number, case_name, citation_formatted, proceeding_type "
|
||||
"FROM case_law WHERE id = $1",
|
||||
CASE_LAW_ID,
|
||||
)
|
||||
if row is None:
|
||||
print(f"row {CASE_LAW_ID} not found — nothing to do")
|
||||
return 0
|
||||
|
||||
if row["case_number"] == NEW_CASE_NUMBER:
|
||||
print(f"already canonical (case_number={NEW_CASE_NUMBER!r}) — no-op")
|
||||
return 0
|
||||
|
||||
if row["case_number"] != BAD_CASE_NUMBER:
|
||||
print(
|
||||
f"UNEXPECTED current case_number={row['case_number']!r} "
|
||||
f"(expected {BAD_CASE_NUMBER!r}) — refusing to guess; inspect manually"
|
||||
)
|
||||
return 1
|
||||
|
||||
# Collision guard: the (case_number, proceeding_type) partial-unique key.
|
||||
clash = await conn.fetchval(
|
||||
"SELECT id FROM case_law WHERE source_kind='internal_committee' "
|
||||
"AND case_number = $1 AND proceeding_type = $2 AND id <> $3",
|
||||
NEW_CASE_NUMBER, row["proceeding_type"], CASE_LAW_ID,
|
||||
)
|
||||
if clash:
|
||||
print(f"COLLISION: {NEW_CASE_NUMBER!r}/{row['proceeding_type']!r} "
|
||||
f"already exists as {clash} — aborting")
|
||||
return 1
|
||||
|
||||
new_citation = (row["citation_formatted"] or "").replace(
|
||||
BAD_CASE_NUMBER, NEW_CASE_NUMBER)
|
||||
|
||||
print("WILL UPDATE:")
|
||||
print(f" case_number: {row['case_number']!r} -> {NEW_CASE_NUMBER!r}")
|
||||
print(f" case_name: {row['case_name']!r}\n -> {NEW_CASE_NAME!r}")
|
||||
print(f" citation_formatted: {row['citation_formatted']!r}\n"
|
||||
f" -> {new_citation!r}")
|
||||
|
||||
if not apply:
|
||||
print("\n(dry-run — pass --apply to write)")
|
||||
return 0
|
||||
|
||||
await conn.execute(
|
||||
"UPDATE case_law SET case_number = $2, case_name = $3, "
|
||||
"citation_formatted = $4 WHERE id = $1",
|
||||
CASE_LAW_ID, NEW_CASE_NUMBER, NEW_CASE_NAME, new_citation,
|
||||
)
|
||||
print("\n✓ updated")
|
||||
return 0
|
||||
finally:
|
||||
await conn.close()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(asyncio.run(main("--apply" in sys.argv)))
|
||||
Reference in New Issue
Block a user