ezer-mishpati/legal-ai
1
0
Fork 0
Code Issues 29 Pull Requests 1 Actions Packages Projects Releases Wiki Activity

INV-STG1 Phase 2: read-wire ה-pipeline ל-ensure_local → כתיבת-בלוב ל-S3 בלבד (ללא דיסק) #440

New Issue
Open
opened 2026-08-05 11:01:13 +00:00 by chaim · 0 comments
chaim commented 2026-08-05 11:01:13 +00:00
Owner
Copy Link

What & Why

להשלים את INV-STG1: לחווט את כל קוראי-הקבצים (ingest/extract/OCR/embed/processor) דרך storage.ensure_local במקום פתיחת file_path ישירה מהדיסק, כך שאתרי-ההעלאה יוכלו לכתוב ל-S3 בלבד (להפיל את עותק-הדיסק שה-seal של Phase-1 משאיר). תנאי-קדם לניקוי-הדיסק (#128). נפתח 2026-06-11 אחרי Phase-1 (PR #205).

הקשר ופירוט

רקע: Phase-1 (PR #205) אטם 15 אתרי-כתיבה ב-dual-write (דיסק ל-pipeline + storage.mirror ל-S3). ה-pipeline עדיין דיסק-תלוי (קורא לפי documents.file_path/cases.active_draft_path וכו' מהדיסק) → לכן ה-seal משאיר עותק-דיסק. Phase-2 = להפיל את עותק-הדיסק.

עבודה:

  1. למפות את כל קוראי-הקבצים: grep ל-open(/read_bytes/read_text/Path(...).exists על נתיבי-DATA_DIR ב-ingest.py, extractor.py, processor.py, ocr, embeddings, block_writer, docx_*, וכל מי שקורא file_path מ-DB.
  2. להחליף כל קריאה ב-await storage.ensure_local(key) (מוריד ל-/tmp תחת s3; מחזיר נתיב-דיסק תחת filesystem) + cleanup של ה-temp.
  3. אחרי שכל הקוראים מחווטים: להמיר את 15 ה-seals מ-dual-write ל-storage.put בלבד (להסיר את כתיבת-הדיסק + ה-# noqa: STG1). ה-leak-guard יאכוף שלא נשארו.
  4. research_md.py — read+write דרך storage (פותר את ה-in-place-edit staleness שסומן ב-Phase-1).
  5. אימות: upload→ingest→extract→embed→search→export→download — הכול בלי קובץ חדש ב-data/{cases,...} (tripwire --since = 0).

הקשר: services/storage.py (ensure_local קיים) · web/app.py (_seal_blob, 15 sealed) · test_storage_write_leak_guard · scripts/storage_leak_tripwire.py · docs/spec/X14-storage-minio.md INV-STG1. סיכון: נוגע ב-pipeline-העיבוד הקריטי → לבדוק כל endpoint חי. אחרי Phase-2 → #128 (ניקוי-דיסק) בטוח.

Acceptance Criteria

לכל endpoint שמעלה/מעבד: לרוץ end-to-end ולוודא tripwire --since=עכשיו מחזיר 0 קבצים חדשים בדיסק. ה-leak-guard עובר גם אחרי הסרת ה-dual-writes (אין write_bytes לא-מסומן). regression: serve/ingest/extract/export ירוקים.

הועבר מ-TaskMaster (tag legal-ai, id 129, status היה pending) ב-2026-08-05. הפניות (#129) בהודעות-commit ישנות מתייחסות למזהה ה-TaskMaster, לא למספר ה-issue הזה.

## What & Why להשלים את INV-STG1: לחווט את כל קוראי-הקבצים (ingest/extract/OCR/embed/processor) דרך storage.ensure_local במקום פתיחת file_path ישירה מהדיסק, כך שאתרי-ההעלאה יוכלו לכתוב ל-S3 **בלבד** (להפיל את עותק-הדיסק שה-seal של Phase-1 משאיר). תנאי-קדם לניקוי-הדיסק (#128). נפתח 2026-06-11 אחרי Phase-1 (PR #205). ## הקשר ופירוט **רקע:** Phase-1 (PR #205) אטם 15 אתרי-כתיבה ב-dual-write (דיסק ל-pipeline + storage.mirror ל-S3). ה-pipeline עדיין דיסק-תלוי (קורא לפי `documents.file_path`/`cases.active_draft_path` וכו' מהדיסק) → לכן ה-seal משאיר עותק-דיסק. Phase-2 = להפיל את עותק-הדיסק. **עבודה:** 1. למפות את כל **קוראי-הקבצים**: grep ל-`open(`/`read_bytes`/`read_text`/`Path(...).exists` על נתיבי-DATA_DIR ב-ingest.py, extractor.py, processor.py, ocr, embeddings, block_writer, docx_*, וכל מי שקורא `file_path` מ-DB. 2. להחליף כל קריאה ב-`await storage.ensure_local(key)` (מוריד ל-/tmp תחת s3; מחזיר נתיב-דיסק תחת filesystem) + cleanup של ה-temp. 3. אחרי שכל הקוראים מחווטים: להמיר את 15 ה-seals מ-dual-write ל-storage.put **בלבד** (להסיר את כתיבת-הדיסק + ה-`# noqa: STG1`). ה-leak-guard יאכוף שלא נשארו. 4. research_md.py — read+write דרך storage (פותר את ה-in-place-edit staleness שסומן ב-Phase-1). 5. אימות: upload→ingest→extract→embed→search→export→download — הכול בלי קובץ חדש ב-data/{cases,...} (tripwire --since = 0). **הקשר:** services/storage.py (ensure_local קיים) · web/app.py (_seal_blob, 15 sealed) · test_storage_write_leak_guard · scripts/storage_leak_tripwire.py · docs/spec/X14-storage-minio.md INV-STG1. **סיכון:** נוגע ב-pipeline-העיבוד הקריטי → לבדוק כל endpoint חי. אחרי Phase-2 → #128 (ניקוי-דיסק) בטוח. ## Acceptance Criteria לכל endpoint שמעלה/מעבד: לרוץ end-to-end ולוודא tripwire --since=עכשיו מחזיר 0 קבצים חדשים בדיסק. ה-leak-guard עובר גם אחרי הסרת ה-dual-writes (אין write_bytes לא-מסומן). regression: serve/ingest/extract/export ירוקים. --- <sub>הועבר מ-TaskMaster (tag `legal-ai`, id **129**, status היה `pending`) ב-2026-08-05. הפניות `(#129)` בהודעות-commit ישנות מתייחסות למזהה ה-TaskMaster, לא למספר ה-issue הזה.</sub>
chaim added the area:infrastatus:readypriority:p2-normaltype:chore labels 2026-08-05 11:01:13 +00:00
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels
area:agents
סוכני Paperclip, תזמור, שער-הפלטפורמה (X15)
 area:backend
FastAPI web/, endpoints
 area:ci
Gitea Actions, שערי-CI
 area:docs
ספ-המערכת, תיעוד, תכנון
 area:extraction
קליטה, OCR, חילוץ הלכות/מטא/טענות/תכניות
 area:frontend
web-ui/ (Next.js), RTL
 area:infra
Deploy, Coolify, MinIO, אחסון, גיבויים
 area:mcp
שרת ה-MCP וחוזה-הכלים (X9)
 area:retrieval
RAG, חיפוש, קורפוס, גרף-ציטוטים, יומונים
 area:security
אבטחה, סודות, PII, audit
 area:writing
12 הבלוקים, סגנון דפנה, QA, רכישת-סגנון
 priority:p0-blocker
Blocks everything
 priority:p1-high
High priority
 priority:p2-normal
Normal priority
 priority:p3-low
Low priority / nice to have
 size:l
a week+ — consider splitting
 size:m
2-3 days
 size:s
~1 day
 size:xs
< half a day
 status:blocked
Waiting on another issue/decision
 status:deferred
Decided to defer — parked backlog; not auto-picked
 status:good-first-issue
Small, self-contained starting point
 status:in-progress
Being worked on (a branch/worktree exists)
 status:in-review
A PR is open for this issue
 status:needs-decision
Requires a call before proceeding
 status:ready
Scoped + pickable (has acceptance criteria + size)
 type:bug
Something works incorrectly
 type:chore
Infra, deps, refactor, CI, docs
 type:feature
New capability
 type:spike
Time-boxed investigation -> a decision/doc
No Label area:infra priority:p2-normal status:ready type:chore
Milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
chaim
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: ezer-mishpati/legal-ai#440
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?