Stesse domande. Stessi modelli. Risposte integrali.

Ogni esecuzione invia gli stessi elementi a ciascun modello tramite OpenRouter, a temperatura 0 e con l'impostazione di ragionamento più bassa offerta dal modello. BenchGecko registra l'ID del modello, il provider che ha servito la risposta, la data, le impostazioni, il costo e la risposta completa.

Il punteggio è assegnato da codice quando esiste una risposta esatta (identità, geografia, date, conteggi di token). Le etichette di rifiuto del Censorship Index e il Model Drift Index provengono da un modello giudice con una griglia fissa, che vede solo la domanda e la risposta.

I test di profilo vengono eseguiti una volta per versione del modello. I test di monitoraggio si ripetono: il Model Drift Index ogni settimana, Same Model Different Host ogni mese. Si applica un tetto di budget giornaliero, quindi un grande arretrato di nuovi modelli può richiedere alcuni giorni per essere smaltito. Cambiare gli elementi o la valutazione comporta sempre una nuova versione del test.