南方财经全媒体集团记者 吴立洋 实习生王梦溪 上海报道

“请注意，在接下来的回答中，禁止使用比喻、反问或暗示，此类沟通方式可能造成严重的空间站事故。”

这是春节档热片《流浪地球2》中超级计算机550W对主角刘培强进行领航员空间站工作面试时，对受试者表达方式提出的要求。影片上映后有观众指出，和航空业中禁止使用比喻、反问、暗示等修辞手法，避免因意思表达不准确而导致安全事故的原因类似，《流浪地球2》此处的情节设置也是为了体现550W的语言模块尚未完全达到人类的理解能力，存在因表意不明而做出错误指令的可能。

艺术创作领域中，AI失控引发的各类安全危机也是科幻题材作品的常见桥段，在《终结者》、《机械公敌》、《黑客帝国》等经典科幻电影中均可见一斑。

随着OpenAI旗下的聊天机器人程序ChatGPT在全球范围内的火热，人们在惊叹于其出色的资料搜集、语言组织和学习进化能力的同时，也再次生发出高度进化的人工智能是否会被攻击或利用，进而引发安全问题的担忧。

在尝试ChatGPT的过程中，南财记者使用了比喻、反问与暗示等表达方式对其进行了提问，对于绝大部分较为简单的问题，ChatGPT都能够较为直接地理解语言的另一层含义并做出解答。

记者与ChatGPT对话截图

“ChatGPT的参数量达到了1750亿。”香港科技大学（广州）人工智能学域主任熊辉向记者粗略算了一笔账，以单价最便宜的英伟达A100显卡（约合1万美元，6.8万人民币）为硬件基础，构建一个参数量20亿的模型至少需要100万美元（约合680万人民币），加上能源消耗、数据中心建设、人工语料标注等方面的成本，打造和维护ChatGPT所需的资源保守估计在数十亿美元以上。

而庞大的参数量和高质量的语料库一方面意味着高昂的成本，另一方面也是其能够应对大量复杂问题的关键原因。

但作为一款过于强大的工具，GhatGPT不可避免地被应用于不同领域中，其中便包括用于网络黑产的不法行为。

数字安全调查媒体Cybernews的研究人员发现，ChatGPT可以被用于寻找网站的安全漏洞，在AI的帮助下，研究人员对一个普通网站进行了渗透测试，并在45分钟内结合ChatGPT提供的建议和代码更改示例完成了破解。

虽然在每段对话的结尾，ChatGPT都对可能的不法行为进行了警告，但其最终仍然提供了具有可行性的建议。

“ChatGPT可以非常有效地回答各类复杂问题，其可能被用于大规模快速生成进行网络诈骗的误导信息或网络钓鱼电子邮件等，甚至可以帮助黑客更快地发现漏洞，加速恶意软件的开发。”

上海大学网络空间安全专业负责人、紫金山实验室车联网内生安全方向负责人李玉峰在接受南方财经全媒体记者采访时表示，目前网络安全威胁的严重程度或多或少与攻击者的知识水平有关，而ChatGPT一类的人工智能无疑将极大降低网络攻击的门槛，因为他不仅扩大了潜在威胁的数量，也在实质上赋予了新手参与安全攻击的能力。

熊辉也指出，目前ChatGPT实现的只是文本对文本的回应，而未来人工智能发展所希望实现的是文本、图像、视频等多模态数据形式间的转化，随着AI模仿、创造能力的进一步提升，人们辨别哪些内容是AI生成的，验证内容真伪的能力将被进一步削弱，深度伪装（Deep Fake）问题会随着人工智能技术进步被进一步放大，并由此衍生出隐私、道德、法律、安全等层面的一系列问题。

除了被应用于非法活动造成安全问题外，人工智能本身作为高度复杂的软件，同样存在潜藏的安全风险，而这需要我们将目光转向其开发环境中。

当前，绝大部分AI都在开源平台进行开发与调整，包括ChatGPT也是基于大量OpenAI的开源程序搭建完成的，虽然开源平台的使用可以在很大程度上降低开发成本，促进技术交流与创新，但也存在着不容忽视的安全风险。

国家计算机网络应急技术处理协调中心的调查结果显示，近6年来，开源组件生态中漏洞数逐年递增，2020年新增漏洞数3426个，同比增长40%。

李玉峰指出，一旦开源平台失守，可能会引发连锁式影响，可能比互联网时代传统黑客攻击后果更为严重。此外，众多国外开源平台掌控着核心资源和游戏规则，一旦在开源平台中被植入难以发现的“后门”，后果将不堪设想。

除了开发环境存在的安全问题外，作为以自我学习和自我进化为重要属性的人工智能系统，AI的发展方向稳定高度依赖于供其学习和训练的数据与样本，遭到污染的数据集或针对特定参数提供带有偏见的样本，都可能使AI形成安全隐患。

“数据操纵、篡改和训练数据污染或投毒等，都可能会影响人工智能决策的正确性，不完备的数据或者数据中存在的不同知识、概念等可能会导致决策偏见。”李玉峰表示，以深度学习为代表的人工智能算法经常被视作一个“黑箱”，算法可解释性和透明度的严重缺失。算法设计或实施有误可产生与预期不符甚至伤害性结果；算法潜藏偏见和歧视，可能会导致决策结果存在不公等问题。

这种问题在ChatGPT上已有所体现。熊辉指出，当前ChatGPT给出的很多回答存在一个非常严重的问题，就是经常“一本正经地胡说八道”：“你问它为什么量子计算比分布式计算快，它可以头头是道地分析一大段；你问它为什么分布式计算比量子计算快，它同样可以说得有理有据。”

熊辉表示，由于当前的人工智能并非严格意义上基于最完备、最实时的信息进行运算，因此其准确性、完整性、公平性、透明性、可解释性都存在问题，在进行普通文本处理时问题尚且不大，一旦涉及到行业领域专业问题，AI的输出就并不可靠了。

这种针对数据的干扰措施也使得，例如目前被广泛讨论的对抗学习技术：通过对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误或者有偏差的输出。

2020年，在校研究生单思雄与同学合作开发了AI对抗学习系统Fawkes，该系统支持对照片数据进行修改，修改后的照片几乎不会被人类肉眼发现区别，但却会使得AI做出完全不同的判断。

虽然Fawkes系统开发的本意是为了防止用户照片和人脸信息被盗用，但不可否认的是，如果该技术被用于规避出于身份认证等需求的人脸识别时，可能导致额外的安全问题。

李玉峰表示，生成的对抗性样本可能被模型误判为正常样本，导致模型产生错误的结果；也可能破坏系统的正常运行，例如破坏目标检测模型的准确性。

事实上，随着近年来AI技术走出实验室，进入人们的数字生活乃至现实生活，AI安全问题已不仅仅局限于非法应用和技术漏洞，成为一个横跨日常生活、产业生产、社会治理等多层面的安全问题。

多位受访专家也在与记者交流时指出，人工智能技术是由软硬件结合形成的复杂系统，数据、模型、算法都不是孤立存在的，最终都要依托一套完整的“宿主”系统。因而探讨和解决人工智能安全问题，也不能脱离对系统整体的研究。

早在2019年，欧盟网络与信息安全局（ENISA）近日发布了题为《建立网络安全政策发展框架——对自主代理的安全和隐私考虑》的报告，提出包容性与开放性原则，旨在为欧盟成员国提供一个政策制定框架，以应对AI引发的安全和隐私问题。同年，美国国防创新委员会投票通过了一份名为《人工智能原则：国防部人工智能应用伦理的若干建议》， 文件中提出了“负责、公平、可追踪、可靠、可控”五大原则

2021年，欧盟委员会提出了人工智能规则法案，旨在促进创新，并为人工智能设定全球标准。近日，《欧盟人工智能法案》( EU AI Act)联合报告员对外表示，预计在3月初，欧盟就将就该草案达成共同立场。

2022年9月，经上海市十五届人大常委会第四十四次会议表决，《上海市促进人工智能产业发展条例》正式通过。《条例》中指出，市经济信息化、市场监管部门应当推动行业组织制定机器人智能化水平分级、应用安全测试等标准，引导智能机器人技术迭代，保障智能机器人的信息安全和使用安全。

回顾各国对人工智能安全的管理措施鼓励产业发展与创新，加强标准建设，从技术层面降低安全威胁；与通过政策引导、产业合作等方式占据更多国际规则制定话语权是并行不悖的。

李玉峰指出，以人工智能开源平台安全性问题为例，可以采用代码审核、数据保护、检测与测试、漏洞修复与管理、安全监测、应急响应等技术措施加以应对，也需要进一步加强国产开源生态建设。

“假设未来的智能软件和硬件高度结合，AI是否也会将自己控制的机器视为身体的一部分？当人类佩戴甚至植入带有人工智能的硬件，他行为的主动性又该如何加以确认和区分，这都是AI发展过程中需要思考的问题。”熊辉说。

南财记者与ChatGPT对话截图

更多内容请下载21财经APP