编者

现在人工智能（AI）可以说是全民热议的话题，从普通百姓用AI写文案、做图片，到企业布局大模型，大家对AI的期待越来越高。那么，AI是万能的吗？普通人用AI，又该如何规避风险呢？日前，围绕AI的安全与发展等热门话题，本刊采访了计算机安全专家王克先生。王克先生长期从事网络安全、人工智能安全研究，曾参与多项国家级计算机安全标准的制定。

王克

王克，清华大学博士，终身享受政府特殊津贴，原军队某研究所所长。从事密码工程、信息安全研究40年，工信部、公安部、科技部、军队等专家库成员。

01

AI的本质：

计算机技术的迭代与延伸

访谈者：郑挺颖（《中国科技信息》执行主编）

受访者：王克（中关村网信联盟TCOSCA主任）

提问

最近，有朋友在讨论以后AI会不会

把人类杀光，硅基人会不会替代掉

碳基生物？许多人想从根源上搞清

楚，AI到底是什么？它和我们传统

认知中的计算机，本质区别到底在

哪里？

回答

这个问题问得非常关键，一些人（包括某些知名人士）说什么“AI会让人类灭绝”之类耸人听闻的言论，都是在危言耸听。他们对AI存在误解，恰恰源于对AI本质的认知存在偏差。

首先要明确一点：人工智能不是全新的技术革命，而是计算机技术发展到特定阶段的迭代延伸。从技术史来看，1936年英国科学家图灵提出“图灵机”理论，奠定了现代计算机的逻辑基础——他设想通过机械装置模拟人类的计算过程，将复杂计算拆解为一系列简单的规则化操作。1946年，匈牙利裔美籍数学家、计算机科学家冯·诺依曼基于图灵机理论，设计出冯·诺依曼计算机架构，明确了“运算器、控制器、存储器、输入设备、输出设备”的核心模块，这套体系至今仍是所有使用计算机技术的设备，包括桌面电脑、手机、电冰箱、洗衣机等控制系统的底层架构。

当前我们谈论的大模型、生成式AI，无论看起来多么“智能”，其底层逻辑依然没有跳出图灵机与冯·诺依曼体系的框架。它的核心原理是统计学方法与海量数据的结合。

简单来说，人们将文本、图像等信息，拆解成最小的数据单元，我们称之为“token（中文翻译成令牌、词元或标记）”——比如一段文字“我们的祖国”，会被拆成“我”“们”“的”“祖”“国”这几个token，图像则会拆分成像素级的token。然后输入给大模型，“训练”大模型，在海量的token数据中，大模型统计每个token后面跟随其他token的概率——比如训练1000篇歌颂祖国的文章，经大模型统计，在这些文章中，在“我们的”后面，“祖国”出现的概率是80%，“人民”出现的概率是15%，“山河”出现的概率是5%，当用户输入“我们的”作为提示词时，AI就会优先输出概率最高的“祖国”，形成最终的回复。

提问

这么说，AI的“智能”其实是一种概

率性的统计结果？那它和传统的计

算机程序，比如搜索引擎、数据库

检索，有什么本质区别？

回答

本质上没有区别，都是基于规则与数据的运算，只是表现形式不同。传统的搜索引擎是“关键词匹配”——你输入关键词，它从数据库中找出包含该关键词的内容，直接呈现给你；而AI是“概率性生成”——它基于统计规律，创造出数据库中原本不存在的组合，但这个组合必须符合训练数据中的概率分布。举个例子，你用搜索引擎去搜“人工智能的未来”，得到的是已有的文章、报告；而用AI生成这个主题，得到的是AI根据海量相关文本，拼接出的符合统计逻辑的新文本，但其中的核心观点、表述方式，必然能在训练数据中找到源头。

还有一个关键区别是“被动学习”与“主动创造”的差异。AI没有主动学习的能力，它所有的“知识”都来自人类的“投喂”——你给它什么样的数据，它就只能学习什么样的规律。如果训练数据中没有涉及相关领域，AI就无法生成有价值的内容；如果训练数据中存在偏见，AI也会照抄这种偏见。比如早期一些AI翻译工具，会把“医生”默认翻译为男性，“护士”默认翻译为女性，就是因为训练数据中这类表述的概率过高，导致AI形成了刻板印象。但人类的学习是主动的，我们会观察、思考、质疑，甚至创造出完全不存在的知识，这是AI永远无法企及的。

提问

AI的发展为什么会在近几年迎来爆

发？之前也经历过几次热潮，为什

么这次影响范围和力度都更大？

回答

AI的发展始终依赖硬件技术的进步，这是核心驱动力。从历史来看，AI已经历了三次主要的热潮与寒冬。从2016年至今算是第三次热潮，起点是阿尔法狗战胜世界围棋冠军李世石，里程碑事件是2022年ChatGPT的爆发，其核心原因还是算力与存储技术的突破性进展。

现在的GPU（图形处理器）算力是10年前的数百倍，云端存储的成本大幅下降，使得训练千亿参数、万亿级数据量的大模型成为可能。举个直观的例子：现在的GPT-4模型，训练数据量超过万亿tokens，这在10年前是完全无法想象的。正是这种硬件能力的提升，让原本理论上可计算但现实中难以实现的任务，现在能在几天甚至几小时内完成，这才催生了AI的爆发式应用。但从基础理论来看，无论是20世纪80年代的专家系统还是现在的大模型，核心都是“数据+规则+推理”，没有本质的突破。

02

AI安全的核心风险：

供应链、舆论与隐私

访谈者：郑挺颖（《中国科技信息》执行主编）

受访者：王克（中关村网信联盟TCOSCA主任）

提问

既然AI本质是计算机技术的延伸，

那它的安全问题是不是和传统计算

机安全也有很多共通之处？与此同

时，AI又有哪些独特的风险点？

回答

是的，AI的安全问题本质上是传统计算机安全问题的延伸与放大，但由于其应用场景的复杂性和影响力，部分风险的危害程度和隐蔽性会更高。首先，传统计算机存在的安全风险，AI全部都会面临——比如软件漏洞、网络攻击、数据泄露等。但结合AI的技术特性，有三个风险点最为突出，需要重点关注。

第一个是软件供应链安全风险，这也是当前最紧迫的风险。现在很多企业、机构为了快速部署AI应用，会直接使用开源的底层框架和工具。比如，国内外各种大模型软件包，用于部署、运行和管理大模型的Ollama工具，以及一些第三方开发的插件、模型权重文件。这些工具和代码大多来自外网，缺乏有效的安全验证，很可能被植入恶意代码或后门程序。

更隐蔽的是“潜伏式恶意代码”——有些攻击者会将恶意代码伪装成正常的功能模块，在AI系统中潜伏数月甚至数年，平时不触发，一旦达到预设条件（比如特定日期、特定指令），就会启动破坏行为，比如篡改模型输出结果、瘫痪系统、窃取核心数据。由于AI系统的复杂性，这类恶意代码的检测难度极大——传统的杀毒软件只能检测已知的恶意代码特征，而AI框架中的恶意代码往往是定制化的，没有固定特征，很难被发现。此外，很多机构为了追求部署效率，会省略代码审计、安全测试等环节，也进一步放大了供应链风险。

提问

除了技术层面的供应链风险，AI在

信息传播方面会不会带来新的舆论

安全问题？毕竟AI生成内容的速度

快、传播广，一旦出现不良信息，

影响会很大。

回答

这是第二个核心风险，舆论与信息安全风险。AI生成内容的能力确实放大了不良信息的传播效率，其风险主要来自两个方面：一是训练数据的污染，二是恶意提示词的引导。

首先说训练数据的污染。AI的生成能力完全依赖训练数据，现在主流大模型的训练数据来源非常复杂，包括互联网公开文本、书籍、论文、社交媒体内容等，甚至还有部分来自境外的非法数据。这些数据中可能包含大量不良信息，比如宣扬黄赌毒的内容，还有一些虚假信息和极端观点。虽然大模型在训练过程中会进行数据清洗，但由于数据量过于庞大（动辄万亿级），很难做到100%净化，一些隐蔽的不良信息依然会被保留在模型的参数中。

其次是恶意提示词的引导。AI的生成结果高度依赖用户的提示词，一些攻击者会通过“提示词工程”设计复杂的指令，引导AI生成不良内容。比如通过多轮对话规避AI的内容审核机制，让AI生成针对特定群体的攻击言论、制造社会恐慌的虚假信息，甚至是危害公共安全的教程。2023年就出现过类似案例：有人通过特定提示词，让AI生成了“如何制作危险化学品”的虚假教程，虽然教程存在技术漏洞，但在网络上传播后，还是引发了公众的恐慌。

不过，大家也不用过度担心，这种风险会逐渐被规制。网络空间与现实空间的发展规律是趋同的——早期互联网刚出现时，也经历过不良信息泛滥的阶段，但随着法律体系的完善、监管技术的进步，现在的互联网环境已经规范了很多。AI也是一样，现在国家已经出台了《生成式人工智能服务管理暂行办法》(2023年8月15日起施行)，要求AI服务提供者对生成内容进行审核、对训练数据进行安全评估，未来还会建立更完善的监管体系。

提问

对于普通用户来说，日常使用AI工

具（比如AI写作、AI修图、AI办公

软件）时，最需要注意的安全问题

是什么？尤其是涉及个人隐私和商

业机密的情况。

回答

这是第三个核心风险，隐私与商业机密泄露风险，也是普通用户和企业最容易忽视的问题。现在很多AI工具都需要用户上传文件进行处理，比如用AI总结会议录音、分析商业报告、修改合同文本。这些文件中往往包含大量个人隐私（比如身份证号、联系方式、家庭信息）和商业机密（比如商业计划、客户数据、技术方案），一旦泄露，损失很大。

风险主要来自两个方面：一是服务商的合规性，部分AI服务商为了优化模型性能，会将用户上传的文件用于后续的模型训练，或者将数据分享给第三方合作机构，这违反了数据安全法中“数据最小化”和“知情同意”的原则。虽然大多数正规服务商都会在用户协议中说明数据使用规则，但很多用户并不会仔细阅读，导致自己的隐私数据被滥用；二是服务商的技术防护能力不足，AI服务商的服务器存储着大量用户数据，一旦遭遇网络攻击，很可能导致数据泄露，2023年，某知名AI办公软件服务商就发生过数据泄露事件，超过10万用户的上传文件被黑客窃取，其中包括多家企业的商业合同和财务数据。

对于普通用户来说，有几个建议可以降低风险：第一，避免上传包含敏感信息的文件，比如身份证照片、银行卡信息、商业机密文档等，如果必须使用，要先对敏感信息进行脱敏处理（比如遮挡关键信息、替换核心数据）；第二，选择合规性强、信誉度高的AI服务商，优先使用有明确数据安全承诺的工具，比如明确说明“用户数据仅用于当前服务，不用于模型训练，服务结束后自动删除”；第三，对于涉及核心商业机密的场景，尽量采用本地部署的方式——将AI模型部署在企业内部的局域网中，不连接外网，从物理层面切断数据泄露的通道。不过本地部署也需要注意安全，比如做好网络隔离、定期进行安全审计，避免因内部人员操作不当导致数据泄露。

编辑：柯欣

审核：王汝霖