refactor(digests): single source of truth — drop processed/ folder state (X12) #122

chaim · 2026-06-07T20:33:35Z

chaim commented

2026-06-07 20:33:35 +00:00

לפי בקשת היו"ר — מקור-אמת יחיד לקליטת יומונים: טבלת digests ב-DB (סטטוס + content_hash ל-idempotency).

ingest_digests_batch.py העביר קבצים incoming/→processed/ — state מבוסס-תיקיות מקביל ל-DB (הפרת-G2 קטנה: שני מקורות-אמת).

הוסר ה-move ל-processed/ (+ import shutil, PROCESSED). הסקריפט מסתמך על dedup ב-content_hash (ingest_digest מחזיר exists לקיימים) → הרצה חוזרת בטוחה ואידמפוטנטית.
תיקיות (incoming/) = staging בלבד, לא state.
X12 INV-DIG2: תועד "מקור-אמת יחיד" + ההפרה-שתוקנה (processed/).
SCRIPTS.md עודכן.

מסלול ה-n8n→API (הנוכחי לקליטה) ממילא לא נגע ב-processed/. עכשיו שני המסלולים מתכנסים ל-DB יחיד. תיקיית data/digests/processed/ (4 יומונים מקוריים, כפילות מיותרת — קיימים ב-DB+incoming+Gmail) תימחק בנפרד.

🤖 Generated with Claude Code

לפי בקשת היו"ר — **מקור-אמת יחיד** לקליטת יומונים: טבלת `digests` ב-DB (סטטוס + `content_hash` ל-idempotency). `ingest_digests_batch.py` העביר קבצים `incoming/`→`processed/` — state מבוסס-תיקיות **מקביל** ל-DB (הפרת-G2 קטנה: שני מקורות-אמת). - הוסר ה-move ל-`processed/` (+ `import shutil`, `PROCESSED`). הסקריפט מסתמך על dedup ב-content_hash (`ingest_digest` מחזיר `exists` לקיימים) → הרצה חוזרת בטוחה ואידמפוטנטית. - תיקיות (`incoming/`) = staging בלבד, לא state. - `X12 INV-DIG2`: תועד "מקור-אמת יחיד" + ההפרה-שתוקנה (processed/). - `SCRIPTS.md` עודכן. מסלול ה-n8n→API (הנוכחי לקליטה) ממילא לא נגע ב-processed/. עכשיו שני המסלולים מתכנסים ל-DB יחיד. תיקיית `data/digests/processed/` (4 יומונים מקוריים, כפילות מיותרת — קיימים ב-DB+incoming+Gmail) תימחק בנפרד. 🤖 Generated with [Claude Code](https://claude.com/claude-code)

chaim added 1 commit 2026-06-07 20:33:36 +00:00

refactor(digests): single source of truth — drop processed/ folder state (X12) fb40ec8565

ה-DB (`digests`) הוא מקור-האמת היחיד למצב-קליטה. ingest_digests_batch.py העביר
קבצים incoming→processed/ — state מבוסס-תיקיות מקביל ל-DB (הפרת-G2 קטנה).

- הוסר ה-move ל-processed/ + import shutil + PROCESSED. הסקריפט מסתמך על
  dedup ב-content_hash (ingest_digest מחזיר 'exists' לקיימים) → הרצה חוזרת בטוחה.
- תיקיות (incoming/) = staging בלבד, לא state.
- X12 INV-DIG2: תועד מקור-אמת-יחיד + ההפרה-שתוקנה (processed/).
- SCRIPTS.md עודכן.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

chaim merged commit 6468e151d9 into main

2026-06-07 20:33:44 +00:00

chaim deleted branch worktree-digests-single-truth

2026-06-07 20:33:44 +00:00

chaim referenced this issue from a commit

2026-06-07 20:33:45 +00:00

Merge pull request 'refactor(digests): single source of truth — drop processed/ folder state (X12)' (#122) from worktree-digests-single-truth into main

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: ezer-mishpati/legal-ai#122