Contesto e conversazioni lunghe
Una conversazione non può crescere all’infinito: a ogni risposta il modello rilegge quello che vi siete detti, e c’è un limite a quanto riesce a considerare. Questa pagina spiega come vedere a che punto sei, cosa fa Userbot quando la chat si riempie e cosa succede quando finisce l’utilizzo incluso.
L’anello Contesto e utilizzo
Sotto il campo di scrittura, accanto al selettore del modello, c’è un piccolo anello: è il pulsante Contesto e utilizzo.
L’anello stesso si riempie seguendo il valore più alto fra sessione e settimana, e diventa rosso quando l’utilizzo incluso è finito.
La finestra di contesto comprende tutto quello che il modello considera in un turno: i messaggi, i file allegati e i risultati degli strumenti, come le pagine web lette o le ricerche nei documenti. Il limite è di 200.000 token, cioè le unità in cui i modelli contano il testo; come ordine di grandezza, un token è poco meno di una parola.
Quando la conversazione si riempie
Quando la conversazione arriva all’80% della finestra, Userbot la compatta: i messaggi più vecchi vengono riassunti per il modello, e gli ultimi 20 restano com’erano, parola per parola.
Te ne accorgi dalla riga Conversazione compattata che compare nella risposta, con quanti messaggi precedenti sono stati riassunti. Aprendola vedi un’anteprima del riassunto.
Il riassunto riguarda solo quello che viene mandato al modello. A schermo la conversazione resta tutta com’era, e puoi rileggerla e copiarne qualunque parte.
Un riassunto perde i dettagli. Se all’inizio della chat avevi dato un dato preciso (una cifra, un nome, una clausola) e la conversazione è stata compattata, il modello potrebbe non averlo più parola per parola. Quando conta, ripetilo nel messaggio.
Quando aprire una chat nuova
La compattazione evita che la chat si blocchi, ma non la rende migliore. Apri una chat nuova quando:
- passi a un argomento diverso: il modello resta più preciso e non si porta dietro contesto inutile;
- la finestra di contesto è oltre metà e le risposte iniziano a dimenticare cose dette all’inizio;
- hai allegato molti file pesanti e non ti servono più.
Se il lavoro dura giorni e ti serve lo stesso contesto in più chat, mettilo in un progetto: le istruzioni del progetto valgono in ogni chat che ci apri dentro, senza occupare spazio con la cronologia. → Lavorare per progetti
Quando l’utilizzo finisce
Quando l’utilizzo incluso è esaurito, Userbot non si ferma: continua a rispondere con GPT-OSS 120B, il modello di base. Nel selettore compare «Crediti esauriti: puoi usare solo GPT-OSS.», e tutti gli altri modelli, Auto compreso, hanno un lucchetto. Cliccando quella riga arrivi alla pagina del tuo utilizzo.
Sopra il campo di scrittura compare anche un avviso, con un testo diverso a seconda della causa:
Premendo Richiedi estensione la richiesta arriva agli amministratori; se l’avevi già chiesta da poco, Userbot ti dice che sono già stati avvisati. Se nella vostra area di lavoro le richieste di estensione non sono attive, l’avviso non compare e resta solo il lucchetto nel selettore.
Quanto hai consumato e quando si azzera lo vedi nel dettaglio nella pagina del tuo utilizzo. → Quanto sto consumando