简讯:MetAI 联合多所大学推出基准数据集,测试大语言模型因果推理能力
来源: 品玩    时间:2023-06-12 15:59:34


(资料图)

品玩 6 月 12 日讯,据 huggingface 页面显示,Meta AI 近日联合香港大学以及密歇根大学发布了一款基础数据集,用来测试大语言模型的因果推理能力。

这款数据集收录了超过 40 万个样本,并制定了一个名为 Corr2cause 的新任务。它通过一组相关语句来确定变量之间的因果关系。研发团队目前已经通过该数据集评估了 17 款现有的大模型产品。

通过实验,团队评估现有的 17 个大型语言模型没有一个在这项纯粹的因果推理任务上表现良好。

X 关闭

Copyright ©  2015-2022 华声手机网版权所有  备案号:京ICP备2021034106号-36   联系邮箱:55 16 53 8 @qq.com