BenchGecko Labs

我们自己的 AI 测试 · 附原始回答

由 BenchGecko 设计并运行 · 数据遵循 CC BY 4.0

BenchGecko Labs 运行 Gecko Tests:由我们自行设计并运行的自动化测试,针对每个被追踪实验室的最新模型。新模型通常在进入目录后一天内完成测试。分数、测试题和原始回答均公开。

已测试模型

有数据的测试

最近运行

基准测试衡量模型能解决什么问题。Gecko Tests 衡量模型的行为方式:它是否知道自己由谁打造,如何描绘世界,会拒绝什么,知识截止于何处,其他语言要多付多少成本,以及它是否会在不通知的情况下发生变化。

档案测试在新模型出现后,对每个模型版本运行一次。监测测试会对相同模型重复进行:Model Drift Index 每周一次,Same Model Different Host 每月一次。每次运行都标注日期,每个回答都会存档。

值得关注的结果会作为发现发布在博客上。分数、测试题和原始回答可依据 CC BY 4.0 自由复用:每个测试页面提供 JSON 下载,每日导出文件位于 GitHub 上的 BenchGecko datasets 仓库。

博客上的所有发现

Gecko Tests 的结果、测试题和原始回答可依据 CC BY 4.0 自由复用。可从任意测试页面下载 JSON,或在 GitHub 获取每日导出文件。

GitHub 上的 BenchGecko/datasets
BenchGecko Labs 是 BenchGecko 对 AI 模型运行自有自动化测试的地方:身份(Who Are You)、地理(World Map)、拒答(Censorship Index)、知识截止(Knowledge Horizon)、语言成本(Tokenizer Tax)、静默变更(Model Drift Index)以及服务商质量(Same Model Different Host)。Gecko Scorecard 对这些结果进行汇总。