I nostri test sull'IA · Risposte grezze incluse

I benchmark misurano ciò che un modello sa risolvere. I Gecko Tests misurano come si comporta: se sa chi lo ha creato, come disegna il mondo, cosa rifiuta, dove si ferma la sua conoscenza, quanto costano le altre lingue e se cambia senza preavviso.

I test di profilo vengono eseguiti una volta per versione del modello, appena compare un nuovo modello. I test di monitoraggio si ripetono sugli stessi modelli: il Model Drift Index ogni settimana, Same Model Different Host ogni mese. Ogni esecuzione è datata e ogni risposta è conservata.

I risultati più rilevanti sono pubblicati come approfondimenti sul blog. Punteggi, elementi di test e risposte grezze sono riutilizzabili liberamente con licenza CC BY 4.0: in JSON su ogni pagina di test e come esportazioni giornaliere nel repository dei dataset di BenchGecko su GitHub.