Vai al contenuto
Blog

AI

Monitoraggio degli AI Agent Schedulati: Rilevare le Esecuzioni che Non Partono Mai

Il monitoraggio degli AI agent schedulati va oltre gli alert sugli errori. I monitor heartbeat rilevano le esecuzioni che non sono mai partite segnalando un'assenza, non un'eccezione.

Di Pykero Agency · Engineering team27 ago 20265 min di lettura

TL;DR

Un AI agent schedulato che non parte mai appare, dall'esterno, identico a uno che ha eseguito senza produrre risultati. Il monitoraggio heartbeat rileva la differenza segnalando l'assenza di un check-in atteso, non solo quando il codice genera un'eccezione.

dashboard di monitoraggio server con alert, Come rilevare un'esecuzione schedulata di un AI agent che ha fallito in silenzio

Un AI agent schedulato che non parte mai appare, dall'esterno, esattamente come uno che ha eseguito senza produrre risultati. Nessuno riceve un'email di errore. Nulla compare nel tracker delle eccezioni. L'unico segnale è un'assenza, e le assenze sono facili da ignorare finché un cliente, un revisore o una settimana di lead persi non porta il problema alla luce. Un monitor separato, esterno all'agent, che si aspetta un check-in regolare e avvisa qualcuno quando quel check-in non arriva, rileva ciò che l'alert sugli errori all'interno del codice non può cogliere.

Il punto cieco nel monitoraggio standard degli AI agent schedulati

La maggior parte dello sforzo ingegneristico va nella gestione degli input errati: retry, fallback, log strutturati degli errori. È utile, ma presuppone che il processo dell'agent sia effettivamente partito. Le esecuzioni che non avvengono mai falliscono di solito per ragioni che non toccano affatto il codice applicativo:

  • Una voce cron o una configurazione dello scheduler viene modificata o rimossa durante un deploy e nessuno se ne accorge.
  • L'host, il container o la funzione serverless è inattivo, limitato o ha esaurito la quota.
  • Una chiave API o un token OAuth scade e il processo termina prima che il proprio sistema di logging si inizializzi.
  • Una coda o un orchestratore (Airflow, Temporal, una Lambda con trigger cron) perde silenziosamente il trigger durante un riavvio.

Nessuno di questi scenari produce un'eccezione all'interno del codice dell'agent, perché quel codice non viene mai eseguito. Qualsiasi sistema di alert configurato dentro l'agent è cieco esattamente rispetto alla modalità di fallimento che più conta in questi casi. Si tratta della stessa classe di problema trattata nella nostra checklist per la valutazione dei vendor di AI agent: il rischio non è nella logica che è stata testata, ma nelle condizioni al contorno per cui nessuno ha scritto un test.

Il pattern: un dead man's switch, non un alert sugli errori

La soluzione standard è un monitor heartbeat, detto anche dead man's switch: un servizio separato, semplice ed estremamente affidabile che si aspetta di ricevere un segnale secondo una schedulazione e avvisa quando quel segnale non arriva entro una finestra di tolleranza. L'agent non deve riportare il successo o il fallimento in dettaglio. Deve solo fare un check-in.

Un'implementazione minimale ha questo aspetto:

```

all'avvio del job schedulato

curl -fsS https://your-monitor.example/ping/start-token

... l'agent svolge il proprio lavoro ...

al termine del job (successo o fallimento gestito)

curl -fsS https://your-monitor.example/ping/finish-token ```

Se finish-token non arriva entro, ad esempio, 15 minuti dalla schedulazione prevista, il monitor avvisa qualcuno. Non importa se il job ha subito un crash, se il container non si è mai avviato o se l'intero account è stato sospeso: l'assenza del ping è il segnale. È lo stesso principio descritto nella documentazione sul monitoraggio cron di Healthchecks.io, una delle implementazioni più diffuse di questo pattern. Funziona sia che l'agent sia un singolo cron job sia che si tratti di un gruppo di worker basati su LLM.

Cosa monitorare concretamente

Non limitarsi a monitorare se il processo è uscito con codice 0. Per un AI agent specificamente, è opportuno verificare i passaggi rilevanti per il risultato di business:

  • Ha avviato secondo la schedulazione (rileva i fallimenti dello scheduler e dell'infrastruttura)
  • Ha prodotto un output della forma attesa (rileva un modello che restituisce risposte vuote o malformate in silenzio)
  • L'azione a valle è effettivamente avvenuta (email inviata, record scritto, ticket creato), non solo "la chiamata LLM ha risposto"

Il terzo punto è più importante di quanto sembri. Un agent può completare il proprio ciclo, registrare il successo e aver comunque deluso chi lo attendeva a valle, se la scrittura finale nel CRM o nel database ha fallito silenziosamente senza effetto. Il heartbeat deve essere sull'esito, non sul processo.

Un esempio concreto: un agent di outreach notturno

Gestiamo un agent di outreach self-hosted che analizza il sito di ogni prospect e redige un'email personalizzata per azienda su base notturna. All'inizio avevamo solo il logging a livello applicativo: se lo scraper o la chiamata LLM generava un errore, lo vedevamo. Quello che non abbiamo rilevato, per una settimana scomoda, è stata una configurazione errata dello scheduler dopo una migrazione del server, che faceva sì che il job non partisse mai. Nessun errore, nessun alert, solo una settimana di lead che non hanno mai ricevuto un'email. Un controllo heartbeat che si aspettasse un ping giornaliero avrebbe identificato il problema in un giorno invece che in una settimana. È una piccola aggiunta rispetto all'agent stesso, ma fa la differenza tra "il sistema è degradato" e "il sistema ha smesso di esistere e nessuno se n'è accorto."

Implicazioni per le decisioni build vs. buy

Se si sta valutando un'agenzia o un vendor per costruire o gestire un AI agent schedulato, è utile chiedere direttamente: come rilevate un'esecuzione che non è mai avvenuta? Un vendor che risponde indicando un monitor specifico, un periodo di tolleranza e un percorso di escalation ha effettivamente riflettuto sull'affidabilità operativa. Un vendor che risponde "lo vedremmo dai log" sta descrivendo un sistema che richiede a un essere umano di andare a cercare il problema, che è esattamente la modalità di fallimento che un dead man's switch è progettato per eliminare. Questo si ricollega direttamente ai costi di manutenzione degli AI agent: l'infrastruttura di monitoraggio è economica da aggiungere fin dall'inizio e costosa da implementare a posteriori dopo che la prima esecuzione mancata ha causato un danno concreto. Vale anche la pena chiarire chi viene avvisato e quando, il che si sovrappone alla definizione dei percorsi di escalation per l'agent nel suo complesso.

Checklist pratica

  • Aggiungere un ping di avvio e di completamento a ogni agent schedulato critico per il business, non solo l'alert sugli errori
  • Impostare il periodo di tolleranza in base alla gravità reale di un'esecuzione mancata: minuti per gli agent critici per i ricavi, ore per i job di reporting
  • Monitorare l'esito a valle (record scritto, email inviata), non solo il codice di uscita del processo
  • Assicurarsi che l'alert raggiunga una persona, non solo una dashboard che nessuno controlla
  • Testare periodicamente il percorso dell'alert stesso: un alert che nessuno nota equivale a nessun alert

Gli agent schedulati falliscono in silenzio molto più spesso di quanto falliscano in modo evidente. Una maggiore gestione degli errori all'interno del codice non intercetterà questa classe di fallimento. Ciò che la intercetta è un sistema separato, semplice e affidabile che monitora l'assenza dell'agent.

Se si stanno costruendo o gestendo sistemi agentici e si desidera un secondo parere su come vengono monitorati, parliamone.

ai agent missed run monitoringscheduled ai agent monitoringdead man's switch monitoringheartbeat monitor cron jobai agent silent failuremissed cron job detection

Domande frequenti

Cos'è un dead man's switch nel monitoraggio software?

Un monitor che si aspetta un segnale periodico dal job e invia un alert quando quel segnale smette di arrivare, invece di attendere che venga sollevato un errore.

In cosa si differenzia il monitoraggio heartbeat dal normale alert sugli errori?

L'alert sugli errori scatta solo quando il codice in esecuzione genera un'eccezione. Se il processo non si avvia affatto, a causa di una configurazione errata del cron, di un container che ha smesso di funzionare o di una chiave API scaduta, non c'è nessuna eccezione che possa essere intercettata.

Cosa devo chiedere a un'agenzia riguardo al monitoraggio prima di approvare un AI agent?

Chiedere esattamente come viene rilevata un'esecuzione mancata, qual è il periodo di tolleranza prima che scatti un alert e chi lo riceve. Se la risposta è "ce ne accorgeremmo dai log", non si tratta di monitoraggio.

È necessario per ogni agent schedulato che si gestisce?

Occorre dare priorità agli agent legati ai ricavi, alle scadenze di compliance o a qualsiasi processo su cui altri dipendono a valle senza verificarlo manualmente.

Come può aiutare Pykero

Servizi collegati a questo articolo.

State costruendo qualcosa di simile?

Pykero Agency progetta e rilascia prodotti web, mobile, SaaS e AI pronti per la produzione.

Parliamone

Discussion

Be the first to comment.

Letture correlate