Langfuse — Observability per applicazioni AI
Langfuse è il componente di ProxyPT dedicato all'osservabilità delle interazioni AI. Registra e analizza ogni richiesta inviata ai modelli, fornendo visibilità su qualità, costi e performance.
A chi serve
Langfuse è utile principalmente per due profili:
- Amministratori che vogliono analisi dettagliate sulle interazioni degli utenti, debug di comportamenti anomali, o metriche di qualità sulle risposte
- Sviluppatori che integrano ProxyPT tramite API e vogliono instrumentare le proprie applicazioni con tracing granulare
Per l'utilizzo quotidiano dell'interfaccia chat, le metriche di consumo già disponibili nel pannello admin sono sufficienti.
Cosa traccia Langfuse
Per ogni richiesta ai modelli vengono registrati:
- Timestamp e durata
- Utente e sessione
- Modello utilizzato
- Token di input e output
- Costo stimato
- Esito (successo / errore)
- Valutazione qualitativa (se l'utente ha dato un feedback pollice su/giù)
Per le applicazioni che usano il Langfuse SDK è possibile aggiungere metadati personalizzati (es. dipartimento, caso d'uso, identificativo della conversazione).
Accesso alla dashboard
La dashboard Langfuse è raggiungibile all'URL comunicato in fase di attivazione. L'autenticazione avviene tramite Keycloak.
Le sezioni principali sono:
- Traces — lista di tutte le richieste con dettaglio di ogni passo (utile per debug di pipeline multi-step)
- Analytics — aggregazioni su costi, latenza, volume e qualità per periodo, modello o utente
- Users — metriche aggregate per singolo utente
Integrazione SDK per applicazioni custom
Se si costruiscono applicazioni personalizzate che chiamano la ProxyPT API, è possibile strumentarle con il Langfuse SDK per ottenere tracing granulare di pipeline complesse (RAG, multi-step, function calling).
Il SDK è disponibile per Python e JavaScript. La documentazione ufficiale è su langfuse.com/docs.
Per la configurazione dell'SDK nell'ambiente ProxyPT (chiavi API Langfuse, host endpoint) contattare il team di supporto.