Sascha/perinco-CRM
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

fix(postfach): Zeitgrenze gilt auch in Folgelaeufen des Erstabgleichs

Browse Source 
Lehnt Graph den Serverfilter ab, laeuft der Erstabgleich ohne Filter - und zieht
sich dann ueber mehrere Laeufe. Der Merker dafuer galt nur im ersten Lauf, in
allen folgenden waere der Rest des Postfachs trotz eingestellter Grenze
hereingekommen. Die Grenze wird jetzt immer geprueft, und zwar nur fuer noch
unbekannte Mails: eine bereits gespiegelte Mail soll auch dann aktualisiert
werden, wenn sie aus dem Zeitfenster gelaufen ist.

insertCandidates() gibt die Zeilen jetzt in der Form der Datenbank zurueck. Die
Umformung an der Aufrufstelle waere bei jedem neuen Feld still auseinandergelaufen
und haette es bei der automatischen Uebernahme verloren.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
This commit is contained in:
Sascha Wolf
2026-08-11 00:08:33 +02:00
co-authored by Claude Opus 5
parent 6fd713497d
commit 8090d0aae1
3 changed files with 60 additions and 65 deletions
Download Patch File Download Diff File Expand all files Collapse all files
server/src/mail/store.js
+26 -22
View File
@@ -158,39 +158,43 @@ const CANDIDATE_COLUMNS = [
/**
* Vorschlaege zu einer Mail speichern. INSERT IGNORE zusammen mit dem
* Unique-Schluessel (message_id, dedupe_hash) macht den Aufruf wiederholbar.
* Zurueck kommen die tatsaechlich neu angelegten Zeilen.
*
* Zurueck kommen die tatsaechlich neu angelegten Zeilen - und zwar in der Form
* der Datenbank (snake_case), damit sie direkt an adoptCandidate() weitergegeben
* werden koennen. Eine Umformung an der Aufrufstelle wuerde bei jedem neuen Feld
* still auseinanderlaufen.
*/
export async function insertCandidates(messageId, candidates) {
const created = [];
for (const candidate of candidates) {
const values = [
messageId,
candidate.dedupeHash,
candidate.firstName,
candidate.lastName,
candidate.salutation,
candidate.email,
candidate.phone,
candidate.mobile,
candidate.company,
candidate.position,
candidate.street,
candidate.zip,
candidate.city,
candidate.website,
candidate.linkedin,
candidate.origin,
candidate.confidence,
];
const row = {
message_id: messageId,
dedupe_hash: candidate.dedupeHash,
first_name: candidate.firstName,
last_name: candidate.lastName,
salutation: candidate.salutation,
email: candidate.email,
phone: candidate.phone,
mobile: candidate.mobile,
company: candidate.company,
position: candidate.position,
street: candidate.street,
zip: candidate.zip,
city: candidate.city,
website: candidate.website,
linkedin: candidate.linkedin,
origin: candidate.origin,
confidence: candidate.confidence,
};
const [result] = await pool.query(
`INSERT IGNORE INTO crm_mail_contact_candidates (${CANDIDATE_COLUMNS.join(', ')})
VALUES (${CANDIDATE_COLUMNS.map(() => '?').join(', ')})`,
values
CANDIDATE_COLUMNS.map((column) => row[column])
);
if (result.affectedRows > 0) created.push({ id: result.insertId, ...candidate });
if (result.affectedRows > 0) created.push({ id: result.insertId, ...row });
}
return created;
server/src/mail/sync.js
+25 -39
View File
@@ -136,16 +136,16 @@ function initialDeltaUrl(since) {
/**
* Delta-Seite holen. Der erste Aufruf versucht es mit Zeitfilter; lehnt Graph den
* ab (die Filterunterstuetzung in Delta-Abfragen ist eng begrenzt), wird ohne
* Filter wiederholt und der Zeitraum stattdessen beim Speichern beachtet.
* Filter wiederholt. Der Filter ist damit reine Ersparnis - die Zeitgrenze wird
* beim Speichern in jedem Fall geprueft.
*/
async function fetchDeltaPage(url, { allowFilterFallback = false, since = null } = {}) {
async function fetchDeltaPage(url, { allowFilterFallback = false } = {}) {
try {
return { data: await graphRequest(url), url };
return await graphRequest(url);
} catch (err) {
if (allowFilterFallback && err instanceof GraphError && err.status === 400) {
console.warn('[Mail] Delta mit Zeitfilter abgelehnt - wiederhole ohne Filter.');
const fallback = initialDeltaUrl(null);
return { data: await graphRequest(fallback), url: fallback, filtered: false, since };
return graphRequest(initialDeltaUrl(null));
}
throw err;
}
@@ -182,21 +182,12 @@ export async function runMailSync({ trigger = 'manuell' } = {}) {
const cutoffSql = toSqlUtc(cutoff.toISOString());
let url = state.delta_link || initialDeltaUrl(cutoff.toISOString().replace(/\.\d{3}Z$/, 'Z'));
// Wird nur gesetzt, wenn Graph den Zeitfilter ablehnt und wir ohne Filter
// durchlaufen - dann muss die Zeitgrenze hier greifen.
let applyCutoffLocally = false;
let deltaLink = null;
let hasMore = false;
while (url && pages < MAX_PAGES_PER_RUN) {
const page = await fetchDeltaPage(url, {
allowFilterFallback: isFirstRun && pages === 0,
since: cutoff.toISOString(),
});
if (page.filtered === false) applyCutoffLocally = true;
const data = (await fetchDeltaPage(url, { allowFilterFallback: isFirstRun && pages === 0 })) ?? {};
pages += 1;
const data = page.data ?? {};
for (const raw of data.value || []) {
if (!raw?.id) continue;
@@ -208,11 +199,20 @@ export async function runMailSync({ trigger = 'manuell' } = {}) {
}
const message = normalizeMessage(raw);
// Beim Ersatzweg ohne Zeitfilter greift die Grenze hier.
if (applyCutoffLocally && cutoffSql && message.receivedAt < cutoffSql) continue;
const existing = await getMessageStateByHash(message.graphIdHash);
/*
* Zeitgrenze - immer geprueft, nicht nur wenn der Serverfilter versagt
* hat. Ein Erstabgleich ohne Filter zieht sich ueber mehrere Laeufe; in
* den folgenden waere ein an den ersten Lauf gebundenes Merker-Flag
* verloren, und der Rest des Postfachs kaeme trotz Grenze herein.
*
* Nur fuer unbekannte Mails: eine bereits gespiegelte Mail soll auch dann
* aktualisiert werden, wenn sie inzwischen aus dem Zeitfenster gelaufen
* ist.
*/
if (!existing && cutoffSql && message.receivedAt < cutoffSql) continue;
if (!existing || !existing.hasBody) {
try {
Object.assign(message, await loadBody(message.graphId));
@@ -236,31 +236,17 @@ export async function runMailSync({ trigger = 'manuell' } = {}) {
const created = await insertCandidates(stored.id, candidates);
newCandidates += created.length;
/*
* Automatisch uebernommen wird nur, wer eine echte Adresse hat und aus
* Absender oder Empfaengerliste stammt. Signatur- und Textfunde liegen
* unter der Schwelle und warten auf eine Entscheidung.
*/
if (settings.autoContacts) {
for (const candidate of created) {
if (!candidate.email) continue;
if (candidate.confidence < AUTO_ADOPT_MIN_CONFIDENCE) continue;
try {
const result = await adoptCandidate(
{
id: candidate.id,
message_id: stored.id,
first_name: candidate.firstName,
last_name: candidate.lastName,
salutation: candidate.salutation,
email: candidate.email,
phone: candidate.phone,
mobile: candidate.mobile,
company: candidate.company,
position: candidate.position,
street: candidate.street,
zip: candidate.zip,
city: candidate.city,
website: candidate.website,
linkedin: candidate.linkedin,
},
{ mode: 'automatisch' }
);
const result = await adoptCandidate(candidate, { mode: 'automatisch' });
if (result.status === 'uebernommen') adoptedContacts += 1;
} catch (err) {
console.warn(`[Mail] Kontakt-Vorschlag konnte nicht uebernommen werden: ${err.message}`);