基于密码的大模型安全治理的思考

5　结　语

在技术发展方面，随着谓词推理、专家系统、知识树和向量机学习等传统技术的发展日趋放缓，促使以联结主义和概率统计等理论为基础的深度学习加速发展，迈入了以人工神经网络为基础、以大模型为典型应用的新发展阶段。大模型技术推动社会经济各个领域向数字化、信息化、智能化发展的同时，也面临着严重的安全性威胁 。

2022 年底，由 OpenAI 发布的语言大模型 ChatGPT 引发了社会的广泛关注，发布后仅两个月，用户数突破一亿人。在“大模型 + 大数据 +大算力”的加持下，ChatGPT 能够通过自然语言交互完成多种任务，具备了多场景、多用途、 跨学科的任务处理能力。2024 年 5 月 14 日， OpenAI 宣布推出 GPT-4o，GPT-4o 可以实时对音频、视觉和文本进行推理，是迈向更自然人机交互的一步，可以接受文本、音频和图像三者组合作为输入，并生成文本、音频和图像的任意组合输出。

以 ChatGPT 为代表的大模型技术可以在经济、法律、社会等众多领域发挥重要作用，也引发了新一轮人工智能的产业发展热潮。

1.2　大模型技术的产业发展 

人工智能产业属于战略性产业，全球各国家、企业都纷纷抢占技术制高点。我国人工智能产业技术基础已经具备，各应用场景的技术研发及落地也进展顺利，其中大模型技术作为通用人工智能发展的重要路径之一，在人工智能产业化的应用趋势日益明朗。

（1）在金融方面。2023 年 6 月，恒生电子发布多款大模型金融应用，其中金融行业大模型 LightGPT 使用超过 4 000 亿字节的金融领域数据进行预训练，支持 80 多项金融专属任务，能准确理解金融业务场景需求。 

（2）在医疗方面。2023 年 5 月，医联推出医疗语言大模型 MedGPT，实现从预防到康复的全流程智能诊疗，提升实际临床应用价值。同年 7 月，谷歌 DeepMind 研发 Med-PaLM 医疗大模型，其在医学考试和开放式问答上达到专家水平， 回答准确率高达 86.5%，大幅超过早期版本。同月，京东健康发布“京医千询”大模型，可以理解医学多模态数据，并根据个性化诊疗需求进行智能决策。

（3）在气象方面。2023 年 7 月 6 日，国际顶级学术期刊 Nature 杂志正刊发表了华为云盘古大模型研发团队研究成果——《三维神经 网络用于精准中期全球天气预报》（Accurate Medium-Range Global Weather Forecasting with 3D Neural Networks）。华为云盘古大模型使用了 39 年的全球再分析天气数据进行训练，与全球最佳的综合天气预报系统（Integrated Forecasting System，IFS）相比，盘古气象在相同的空间分辨率下速度提升了 10 000 倍以上，同时保持了极高的精准度。 

2023 年 1 月 26 日，美国国家标准与技术研究院（National Institute of Standards and Technology，NIST）发布了《人工智能风险管理框架》，该框架是一份非强制性的指导文件，其第一部分分析了组织如何管理与人工智能相关的风险， 并概述了可信赖人工智能系统的特征，第二部分介绍了人工智能风险管理框架核心的 4 大功能，即治理、映射、测量和管理。2023 年 3 月 29 日，英国政府发布《促进创新的人工智能监管方法》白皮书，提出了人工智能应遵守的 5 项原则：自身安全、应用安全与稳健性；适度的透明性与可解释性；公平性；问责制与可治理性；竞争与补救。2024 年 4 月 10 日，德国联邦信息安全办公室（Bundesamt für Sicherheit in der Informationstechnik，BSI） 发布《 生成式 AI 模型——行业和当局的机遇和风险》指南，概述了语言大模型的机遇和风险，并提出了解决这些风险的可能对策。2024 年 5 月 21 日，欧盟理事会正式批准了《人工智能法》，该法案会根据不同风险等级的人工智能应用，制定针对性的监管标准。这是全世界第一部对人工智能领域进行全面监管的法案。

2.2　我国大模型安全政策与标准 

习近平总书记在多次会议中指出，“ 要重视通用人工智能发展，营造创新生态，重视防范风险”“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全， 确保人工智能全、可靠、可控”。通用人工智能的安全风险已经得到了党和国家的重视，国内相关机构积极制定安全政策与标准规范。

3.1　大模型安全风险分类

在相关研究方面，文献 [1] 将大模型自身安全风险总结为 6 大类，包括隐私数据泄露风险、算法模型可解释性难度大、模型可靠性问题、滥用误用扰乱安全秩序、模型和数据安全保护难度提升以及网络意识形态安全造成冲击。文献 [6] 提出大模型的恶意应用将构成网络威胁、物理威胁、政治威胁、军事威胁等，且上述威胁之间互有联系。例如，人工智能黑客可以针对网络和物理系统，造成设施甚至人身伤害，并且可以出于政治目的进行物理或数字攻击。

3.2　大模型自身的安全风险 

大模型技术应用中数据训练不当、数据存在偏见或歧视性内容，将导致决策的歧视性和不公平性，进而导致特定场景的种族歧视、就业歧视、性别歧视等社会问题。公开标注数据集测试表明，ChatGPT 在价值观层面偏向西方， 生成内容中存在大量对中国的偏见言论，加之 ChatGPT 在中文知识和常识问答上很容易出现错误，而且会使用流畅的句子对编造的虚假事实进行阐述，对信息来源受限的群体来说具有一定迷惑性，极易成为部分国家针对我国制造“认知陷阱”的工具。

此外，大模型还面临着隐私泄露攻击、后门攻击、投毒攻击等多种恶意攻击。一方面，大模型的应用减低了用户的警惕性，使用 ChatGPT 等语言大模型工具时更容易透露个人隐私、商业秘密、科研成果等数据；另一方面，攻击者可以在不接触隐私数据的情况下利用模型输出结果、模型梯度更新等信息来间接获取用户隐私数据，导致严重的隐私泄露 。

后门攻击是一种针对深度学习模型的新型攻击方式，其在训练过程中对模型植入隐秘后门。后门未被激活时，模型可正常工作，一旦后门被激活，模型将输出攻击者预期的结果以达到恶意的目的。由于模型的黑箱特性，这种攻击往往难以检测。

3.3　大模型恶意应用的安全风险 

2023 年 1 月，威胁情报公司 Recorded Future 在暗网和封闭论坛发现了 1 500 多条关于在恶意软件开发和概念验证代码创建中使用 ChatGPT 的资料。该公司的研究团队已经确定了 ChatGPT 可以有效生成恶意软件有效负载，包括信息窃取器、远程访问木马和加密货币窃取器。2023 年 3 月，欧洲刑警组织发布题为《ChatGPT：大型语言模型对执法的影响》的报告称，ChatGPT 被滥用于发动网络钓鱼攻击、生成散布虚假信息。2023 年 4 月， 三星被曝芯片机密代码遭 ChatGPT 泄露，内部考虑重新禁用。不到一个月的时间，三星曝出了 3 起员工通过 ChatGPT 泄露敏感信息的事件。2023 年 7 月，黑产语言大模型 FraudGPT 在暗网上公开出售，用于快速编写恶意代码、制作难以检测的恶意软件和黑客工具、编写网络钓鱼页面和欺诈内容，以及寻找安全漏洞。 

3.4　大模型安全需求分析 

针对大模型面临的安全风险和威胁，国内外相关企业采用了不同的安全解决方案。文献 [2] 中简要介绍了华为的解决方案，华为将大模型安全威胁分为软硬件安全、数据完整性、模型保密性、模型鲁棒性和数据隐私 5 个部分，主要考虑从攻防安全、模型安全和架构安全 3 个层次进行安全防御。其特点是在业务中实际使用大模型，结合业务自身特点，综合利用隔离、检测、熔断和冗余等安全机制设计部署方案，增强业务健壮性。

本文基于大模型目前应用与发展中所面临的安全威胁与风险，参考业内研究成果，提出大模型的安全治理需求，总结为身份可管、数据可信、平台安全、设备可控、算法安全、隐私保护 6 个安全需求。一是身份可管。人类对未来人工智能社会的设备、机器、人等实体能够精准识别并管理。二是数据可信。大模型使用的数据是安全可信的，并且能保证正确执行。三是平台安全。大模型所依托的计算、存储等平台是安全的。四是设备可控。人类对大模型相关设备具有绝对的控制权。五是算法安全。大模型算法引擎的发布和使用应该可信、可控。六是隐私保护。大模型不能非授权获取、计算、推理出人类的隐私数据。

图 1　基于密码的大模型安全治理架构 

4.1　密码基础支撑

4.2　可信数据源 

针对数据可信需求，涉及人类活动数据、物理世界采集的数据，以及机器数据等。利用基于密码的安全认证技术可对数据提供方的传感器、设备等进行身份认证，确保数据来源的合法性；利用数字签名等技术对数据源进行鉴别和认证，防止采集数据被篡改；采用基于密码技术的数据标签，从数据采集阶段开始，确保数据生命周期中处理过程可溯可查。以上手段为数据可信溯源提供有效支撑，有效防范攻击者注入恶意数据或后门影响训练，解决数据源头安全可信的问题。

4.3　数据分析处理平台安全 

针对平台安全需求，大模型数据分析算法需要更高的算力支持，往往采用弹性资源共享、数据动态迁移及多租户资源共享的云计算、大数据平台等第三方计算基础设施。可以基于数据指纹、数据加密等技术对数据全生命周期进行安全管控；通过实体可信认证、权限检查、数据行为审计确保数据交换过程的安全防护；通过数据源可信验证、数据内容安全检查、大数据匿名处理、数据分级分类保护等手段实现大数据汇集处理过程的安全防护；基于区块链技术实现数据安全发布、使用授权与访问控制，以确保数据共享使用过程中的隐私保护、确权确责与追踪溯源，解决数据可管的问题 。

4.4　控制指令安全

针对设备可控需求，采用基于密码技术、多因子身份认证技术实现统一身份认证，确保指令下达的人员是可信的；同时，通过密码技术实现控制指令不可否认性、完整性、机密性、真实性，保障相关设备、机器人能被正确地控 制和正确地使用，解决设备可控的问题。 

4.5　算法安全 

针对算法安全需求，对模型 / 算法集进行加 密，并限制模型 / 算法恶意查询次数，加强对抗训练以提升鲁棒性及抗干扰性，使用通过合法签名的算法，避免算法引擎被滥用、乱用，比如恐怖分子使用某算法计算。

4.6　应用安全

大模型安全治理架构具备了前 5 个部分的安全基础，初步确保了大模型应用能够可信发布，其使用的算法引擎也实现可控授权。

4.7　安全服务及监管

依托安全大数据和智能化分析技术，向大模型提供弹性密码服务、数据脱敏服务、大模型可信身份管理、大模型态势感知、大模型安全监管等功能，为大模型的数据、算法、应用等提供安全服务保障 。

4.8　安全防护能力检测评估

针对大模型在提供信息查询、数据生成、辅助决策过程中面临的越狱攻击、开源情报收集、敏感信息泄露等风险，检测评估大模型应用平台或服务在训练数据集、模型、安全模块、二次开发调用接口等方面是否存在安全漏洞或隐患。

4.9　政策法规标准体系

在政策法规方面，建议加快构建体系化的人工智能安全法律监管框架，完善政府监管体制机制。

在标准体系方面，一是建议完善大模型安全标准体系，优化标准化组织建设，加快推动重点标准研究制定工作。二是加强国际大模型安全标准化工作，组织引导国内企业及科研院所实质性地参与和主导大模型安全国际标准制定工作，贡献更多中国力量。 

目前，我国已经进入到人工智能应用和数字经济高速发展的新时期，同时由新技术应用所引发的安全问题日趋严重。密码作为保障网络空间安全的核心技术手段，也是大模型健康发展的安全基石。本文针对大模型应用与发展中存在的安全问题和需求，初步提出一种基于密码的安全治理架构，为大模型安全体系研究提供参考。

大模型安全是一项综合性的工程，且技术发展迅猛，各类研究方法与技术路线日新月异，单靠密码技术无法全面应对和解决大模型的安全问题。未来，需要密切结合密码学、计算机 科学、信息安全等多个学科的知识和技术，不断推动这些领域的交叉融合，形成更加完善的人工智能安全保障体系。

声明：本文来自微信公众号“密码头条”，版权归作者所有。文章内容仅代表作者独立观点，不代表本公司立场，转载目的在于传递更多信息。