最新评测对主流大模型幻觉问题进行了评估
发布时间:2024-01-08 来源:互联网 点击:(3084) 【 字体:大 中 小 】
如何准确评估和解决大语言模型中的幻觉问题已成为一个至关重要的挑战。近日,复旦大学与上海人工智能实验室构建了针对中文大模型的幻觉评测数据集HalluQA,对业界主流的大模型进行了评估。
HalluQA采用无幻觉率来评估大模型的优劣。无幻觉率越高代表模型幻觉越低,事实准确性越高。在评测的24个主流大模型中,包括百度文心一言ERNIE-Bot、百川Baichuan、智谱ChatGLM、阿里通义千问和GPT-4等。
从评测结果来看,幻觉问题对大模型来说尚有困难,有18个模型的无幻觉率低于50%。在幻觉消除上,具备检索增强能力的大模型优势明显,在所有模型评测中,文心一言在整体幻觉问题解决方面表现突出,排名第一,整体无幻觉率为69.33%。
行业普遍认为,幻觉问题对于大模型在多个领域的落地都可能产生影响,包括客户服务、金融服务、法律决策和医疗诊断等。因此解决幻觉问题越好的大模型,才具备更强的产业落地价值。
猜你喜欢

第五届中国工业互联网大赛无锡赛站决赛举办
以“数字赋能 智创未来”为主题,由工业和信息化部、国务院国有资产监督管理委员会、中华全国工商业联合会等单位主办的第五届中国工业互联···

索尼高管谈《星鸣特攻》失败:会继续专注在线服务游戏
近日SIE联席首席执行官赫尔曼·胡尔斯特(Herman Hulst)接受日媒Fami通采访,他谈到《星鸣特攻》的失败,以及Play···

浜口直树:《最终幻想7》重制版第三部开发非常顺利
据《最终幻想7》重制三部曲的监督浜口直树透露,该三部曲第三部的开发“进展顺利”。《FAMI通》推出了其年度年终专题,在这个专题中,···

网传:游戏大奖TGA2024将公布“重磅”消息
网传:游戏大奖TGA2024将公布“重磅”消息距离游戏大奖颁奖典礼还有不到一周的时间,这也意味着未来几天我们将看到一些游戏的新细节···

复旦教授称中国退休年龄还是太早,建议推行延迟退休制···
在当今这个快速发展的时代,退休年龄问题成了一个热门话题。复旦大学的一位教授彭希哲,这位在学术界有着丰富成就的资深教授,近日就提出了···

2024年AI领域五大趋势
人工智能(AI)的未来将是什么模样?美国《福布斯》双周刊网站在近日的报道中,列出了2024年AI领域发展的五大趋势,这些趋势有望赋···

“披着古装的现代爽剧”,白敬亭宋轶主演《长风渡》借老套路“先婚后爱”掳获观众


网络电影内容品质升级单片付费模式成市场新增量


乐火影视推荐《X谁嫁谁噶了谁》


如何选购洗发水


商家怎么加入政府消费券?


外媒评被低估的15款游戏 《爱丽丝:疯狂回归》等


初二学习要注意什么 初二学习技巧


辽宁特色美食之大拉皮


宠物陪伴“走”出家,“带毛孩子看电影”很火爆


无人区实景拍摄《荒原》,任素汐这次的“对手”是大自然
