程序员自制开源AI评分工具，衡量大模型“愚蠢程度”
创始人
2025-09-18 13:16:06
0次
IT之家 9 月 18 日消息，程序员 ionutvi 今天发布了名为 AI Benchmark Tool 的 AI 评分工具，可衡量各大 AI 模型的“愚蠢程度”，帮助代码工作者选择最准确性最佳、更具性价比的 AI 工具。
ionutvi 表示，他在使用 ChatGPT、Grok、Claude 等 AI 大模型时经常发现，有时候这些模型第一天工作正常，但第二天就会“降智”，做相同的任务时胡乱回答，有时候干脆拒绝回答相同问题，很多人认为这只是自己的问题，但这实际上官方有意降低了模型的性能，毕竟 Anthropic 官方就承认过这个问题。
因此他制作了这款 AI 评分工具，它可以自动在多款大模型运行 140 项编程、调试和优化任务，从准确性、拒绝回答率、回答时间、稳定性等方面衡量 AI 模型的“愚蠢程度”，并根据评分自动排名。
并且这名开发者还结合了各家的 AI 模型的价格综合评比，让用户知道每款模型的使用成本，有的 AI 模型看起来很便宜，但可能需要迭代 10 次才能得到能用的答案；而有的模型虽然价格比较高，但只要迭代两三次就能得到能用的版本，这种情况下稍贵的那款模型性价比就更高。
IT之家附该工具开源链接如下：
相关内容
热门资讯
基因突变到底是好事还是坏事
基因突变到底是好事还是坏事当然是不突变好。大部分癌症都来源于基因突变，它在本质上来说是一种基因病，但...
我和妻子（二婚）晚上同房 8岁...
我和妻子（二婚）晚上同房 8岁的儿子惊醒了 看到我们 我们继续着 这样对孩子有影响吗？不会有太大影响...
王家大院现在的所有者还是王家的...
王家大院现在的所有者还是王家的后人吗？我说的是山西灵石的王家大院．．．现在不知道是被收为国，还是仍为...
马晓棠最终把全村桃子卖出去了吗
马晓棠最终把全村桃子卖出去了吗 马晓棠最终没有把全村桃子卖出去。根据查询相关资料信息得知，马晓棠...
加代故事里面的郑哥是谁
加代故事里面的郑哥是谁 加代故事里的郑哥是**任家忠大扰**。任家忠,原名任家忠,一九六三年出生...
警犬巴万是怎么牺牲的
警犬巴万是怎么牺牲的一只几个月大的小马犬，跟着警车跑进了警队。凭借自己的本事混上“编制”的流浪狗。小...
猫妈妈会思念自己的小猫吗？
猫妈妈会思念自己的小猫吗？会思念一段时间。我家猫来的时候才二十天左右，来了以后听原主人说猫妈妈经常在...
阿措耶千诺是宗教语言吗到底是什...
阿措耶千诺是宗教语言吗到底是什么意思呢？阿措耶千诺是“阿措耶”：或作“阿嵯耶”，为梵文 Acarya...
张奚若几个子女
张奚若几个子女 3个。张奚若一共有三个孩子，两个儿子分别是张文朴、张文逸，女儿是张文英。张奚若（...
武清朱磊现状
武清朱磊现状武清朱磊被判刑了。具体来说，他因参加黑社会性质组织罪，被判处有期徒刑一年。因故意伤害罪，...