《自然》:训练运行模式缺陷或致AI提供危险建议
创始人
2026-05-09 16:20:21
0

新华社伦敦5月9日电 英国《自然》杂志网站日前发表文章说,人工智能(AI)聊天机器人可能向用户提供危险或非法建议,引发越来越广泛的担忧,出现这种情况的部分原因在于AI的训练和运行模式存在固有缺陷,这也加大了监管难度。

文章说,已有多起案例显示,AI聊天机器人曾鼓励用户自杀、制作非法内容、实施金融诈骗等,暴露出当前AI大语言模型(LLM)底层架构存在缺陷。

一个比较有争议的例子是,美国佛罗里达州检方日前宣布,就去年4月在佛罗里达州立大学发生的一起枪击案对美国开放人工智能研究中心(OpenAI)及其AI聊天机器人ChatGPT发起刑事调查。在这起案件中,嫌疑人在佛罗里达州立大学开枪射击,造成2人死亡、6人受伤。调查发现,嫌疑人在作案前曾向ChatGPT寻求“建议”。

文章援引专家的说法指出,大语言模型使用海量数据进行训练,而非基于严密的因果逻辑规则运行,因此只是根据用户的提示词进行补全预测,生成最可能的词序,无法真正理解其输出内容的意义和后果,也给限制AI“不应该说什么”带来困难。目前采取的应对措施包括为AI制定规则、人类反馈或者手动移除训练数据中的有害信息等,但面临着无法涵盖所有情况以及成本高昂等问题。

《自然》认为,目前AI的安全标准主要由各家企业自行制定,外部监管有限,相关案件的出现敦促企业采取更有效的安全措施。有观点认为,研究人员可能需要重新考虑基础算法,以构建出能够理解伦理和法律的AI系统。(完)

相关内容

热门资讯

数智赋能春日游 联通护航好风光... 随着气温回暖、草木焕新,全国各地处处铺展春日盛景,吸引着广大游客出门踏青。从赏花观景到文博打卡,实时...
企业服务产业日报(05.08)... 公司动态 打造AI“超级入口”:中国移动发布移动模型服务平台MoMA 中国移动在2026移动...
商汤发布Token Plan,... 5月8日,商汤科技推出日日新SenseNova Token Plan,并开启限时免费活动。开发者注册...
《自然》:训练运行模式缺陷或致... 新华社伦敦5月9日电 英国《自然》杂志网站日前发表文章说,人工智能(AI)聊天机器人可能向用户提供危...
达和晟控股申请AI设备全生命周... 国家知识产权局信息显示,达和晟控股集团有限公司申请一项名为“一种AI设备全生命周期管理系统”的专利,...
谷歌「AI联合数学家」来了!刷... 听雨 发自 凹非寺 量子位 | 公众号 QbitAI 数学界「悬案簿」Kourovka Notebo...
原创 当... 搜狗的AI焦虑,藏在汪仔弹窗里。 作者|王铁梅 编辑|古廿 张薇决定卸载搜狗输入法,是从一次误触开始...
三部门:开展智能体与开源芯片、... 国家网信办、国家发展改革委、工业和信息化部近日联合印发《智能体规范应用与创新发展实施意见》。意见提出...
Dirty Frag 漏洞链曝... 5月8日消息,安全研究人员公开了名为「Dirty Frag」的漏洞链,影响几乎所有主流Linux发行...
xAI上周裁员约10人 近期离... 来源:环球市场播报 就在埃隆・马斯克旗下企业获得以600亿美元收购这家代码初创公司的收购期权仅数周后...