Chaim
638eef6803
הדף הציג את התורים באופן לא-אחיד (by_status גולמי), בלי הבחנה בין "ממתין"
(בקלוג: status=pending) ל"בתור" (התור הפעיל: requested_at IS NOT NULL), בלי
הצגת הפריט שרץ כרגע, ובלי שום שליטה בתהליכים.
מה נוסף:
1. כרטיסי-תור אחידים — בתור / ממתין(בקלוג) / בעיבוד / הושלם / נכשל + "רץ עכשיו"
(citation/case_number של הפריט בעיבוד) לכל drain (אחזור-פסיקה, מטא-דאטה,
הלכות, יומונים). שערי-אנוש (אישור-הלכות, פסיקה-חסרה) נשארים מוני-סטטוס.
2. פאנל ניהול-תהליכים בסגנון "שירותי Windows":
- דמון (court-fetch-service/xvfb/chat/reaper): הפעל-מחדש / עצור / הפעל.
- cron drain: "הרץ עכשיו" (pm2 restart) + מתג הפעל/כבה תזמון.
3. כל תגי-הסטטוס מתורגמים לעברית.
מנגנון:
- הפעל/כבה תזמון = דגל ב-DB (טבלה drain_controls). pm2 cron_restart מחיה תהליך
שעוצר ב-stop, לכן ה"כיבוי" האמין הוא דגל שכל drain בודק ב-startup (no-op מיידי
כשכבוי). הקונטיינר כותב/קורא ישירות מ-DB.
- הרץ-עכשיו + restart/stop/start = proxy ל-pm2 דרך endpoint חדש בגשר-המארח
(court_fetch_service /pm2/control), מאובטח Bearer + whitelist ל-legal-* בלבד.
- יומונים: drain_digests הועבר מ-crontab ל-pm2 (legal-digest-drain.config.cjs)
כדי שיופיע ויהיה שליט כמו כל drain. drain_halacha_queue.py הובא לבקרת-גרסאות.
Invariants: מקיים G2 (הרחבת /operations + הגשר הקיים, לא מסלול מקביל) ו-G1
(drain_controls = מקור-אמת יחיד לכיבוי, נורמליזציה במקור ולא תיקון-בקריאה).
אין בליעת שגיאות שקטה (הגשר מחזיר {ok,error}; המוטציות מציגות toast).
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
50 lines
2.0 KiB
Python
50 lines
2.0 KiB
Python
"""Drain the X13 court-verdict fetch queue (jobs the digest trigger fills).
|
|
|
|
When a digest points at a court ruling not yet in the corpus, the digest
|
|
trigger enqueues a ``court_fetch_jobs`` row (status=pending). This script
|
|
drains those: for each pending/failed job it runs the full Tier-0/Tier-1 fetch
|
|
(via the host browser service) + the canonical ingest, then links the verdict
|
|
back to its source digest. Serial with a cooldown (INV-CF4); failures are
|
|
recorded and retried until they escalate to ``manual`` (INV-CF3).
|
|
|
|
Host-only: ingest drives halacha extraction via the local ``claude`` CLI (same
|
|
constraint as ``drain_halacha_queue.py``). A no-op (fast) when the queue is
|
|
empty. Scheduled hourly by ``legal-court-fetch-drain`` (pm2 cron); also runnable
|
|
by hand:
|
|
|
|
mcp-server/.venv/bin/python scripts/drain_court_fetch.py [limit]
|
|
"""
|
|
|
|
import asyncio
|
|
import os
|
|
import sys
|
|
|
|
sys.path.insert(0, os.path.join(os.path.dirname(__file__), "..", "mcp-server", "src"))
|
|
|
|
from legal_mcp.services import court_fetch_orchestrator as orch
|
|
from legal_mcp.services import db
|
|
|
|
|
|
async def main() -> int:
|
|
# /operations "disable" switch — no-op immediately if turned off (pm2
|
|
# cron_restart can still fire a stopped job, so the gate lives in the DB).
|
|
if await db.is_drain_disabled("legal-court-fetch-drain"):
|
|
print("===SKIP=== legal-court-fetch-drain disabled via /operations", flush=True)
|
|
return 0
|
|
limit = int(sys.argv[1]) if len(sys.argv) > 1 else 5
|
|
res = await orch.drain_pending(limit=limit)
|
|
print(f"===court-fetch drain=== processed={res.get('processed', 0)} "
|
|
f"ingested={res.get('done', 0)}", flush=True)
|
|
for r in res.get("results", []):
|
|
line = f" [{r.get('status')}] {r.get('citation', '')}"
|
|
if r.get("error"):
|
|
line += f" — {r['error'][:120]}"
|
|
if r.get("case_law_id"):
|
|
line += f" → case_law {r['case_law_id']}"
|
|
print(line, flush=True)
|
|
return 0
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(asyncio.run(main()))
|