Come una direzione d’orchestra: costruire un sistema AI conversazionale in tempo reale

Abstract

Quando immaginiamo un’AI che ci parla in tempo reale pensiamo subito “al modello”. In realtà dietro c’è una catena di elementi eterogenei – chi ascolta, chi capisce, chi risponde, chi dà voce e volto – che devono lavorare insieme e restare in sincrono, tutto nell’arco di frazioni di secondo. Basta che uno solo rallenti e il sistema si inceppa.

Questo talk racconta come abbiamo progettato e portato in produzione un sistema AI conversazionale con sessioni concorrenti, su infrastruttura reale e accessibile via browser.

Come vedremo, le criticità non risiedevano nei singoli componenti, ma nella loro coesistenza. Audio bidirezionale in tempo reale nel browser, con playback PCM a 24kHz e barge-in nativo come caso limite che mette alla prova la robustezza dell’intera pipeline. Pixel Streaming di Unreal Engine via WebRTC su rete reale, con NAT traversal, monitoring di qualità continuo e degradazione graceful come requisito di design. Orchestrazione LLM con state machine iniettate dinamicamente per vincolare il comportamento del modello – non correggendolo, ma cambiando strutturalmente quello che può fare. Tool calling per il controllo real-time delle espressioni facciali, su tre canali paralleli sincronizzati. GPU scaling guidato dalle prenotazioni, non dal traffico: un modello diverso dall’auto-scaling classico. Resilienza client-side con semantica esplicita degli errori: backoff esponenziale, flapping detection e close code custom per distinguere a livello applicativo le cause di disconnessione.

Faremo il punto sulle scelte che hanno retto e su quelle da cui siamo tornati indietro, perché far funzionare una demo presenta dei problemi, ma far funzionare un sistema in produzione, ogni giorno, presenta problemi diversi.