工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。定位于“信息通信技术前沿的风向标，信息社会政策探究的思想库”。

　　中国信息通信研究院泰尔终端实验室信息安全部、移动应用创新与治理技术工业和信息化部重点实验室工程师，主要从事移动互联网领域信息安全、个人信息保护技术检测与标准研制等方面的工作。

　　中国信息通信研究院泰尔终端实验室信息安全部主任，移动应用创新与治理技术工业和信息化部重点实验室副主任，主要从事移动安全、个人信息保护、数据安全等政策研究、标准制定工作。

　　中国信息通信研究院泰尔终端实验室信息安全部、移动应用创新与治理技术工业和信息化部重点实验室工程师，主要从事移动应用软件安全、Android恶意代码分析、移动应用自动化检测等方面的工作。

　　武林娜, 宋恺, 王淞鹤. 生成式人工智能对个人信息安全的挑战及应对策略[J]. 信息通信技术与政策, 2024, 50(1): 13-18.

　　2.移动应用创新与治理技术工业和信息化部重点实验室，北京 100191）

　　摘要：基于生成式人工智能的强通用能力、交互能力和生成能力，结合当前产业现状，总结了面向用户的生成式人工智能服务具有服务形态多元、交互方式革新、服务模式复杂的特点，梳理了生成式人工智能技术应用对个人信息安全带来的全方位影响及生成式人工智能模型本身带来的挑战。在此基础上，从监管治理、标准规范、企业管理层面给出提升个人信息安全的具体建议和方案。

　　生成式人工智能（Artificial Intelligence，AI）基于训练数据以及用户提示词创建新内容的能力，在教育、娱乐、医疗保健和科学研究等多个领域提供变革潜力，激发起前所未有的关注度和创造力浪潮，引发公众、学术和政府层面的广泛讨论[1-3]。生成式AI作为AI演化过程中的重要突破，为引领产业革新和数字化变革奠定了坚实的基础。根据麦肯锡报告，生成式AI每年或将为全球GDP增加2.6万亿~4.4万亿美元。

　　生成式AI表现出较强的通用、交互和生成能力，在创新服务形态、增强人机交互、丰富产品生态等方面给产业界带来深刻影响。区别于以往常应用于图像识别、推荐系统、语音识别等任务的决策式AI[4]，生成式AI可以完成更加自然的对话、更加快速的内容创建，具有更强的逻辑和组织能力[5]，实现了从简单感知到内容创造的跃迁，是迈向通用AI的重要技术探索。生成式AI在文本、图像、代码、音频、视频和3D模型等领域展现出强大的能力，可处理和关联多种模态的多源异构数据，实现跨模态任务处理，如给定文本生成一段对应的声音、图像/视频与文本的相互检索或生成等。生成式AI实现了高质量、高效率、多样化的内容生产，能够实现信息的快速收集、筛选、整合和推理，可作为技术底座，垂直应用于各产业和复杂场景，重塑和影响未来生活。

　　2023年3月，意大利个人数据保护局对外宣称，ChatGPT平台已出现用户对话数据和支付信息泄露情况，故而宣布封锁ChatGPT[4]。各国政府普遍认识到生成式AI的变革性影响，正积极应对由此带来的风险挑战。根据经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）人工智能政策观察站统计，已有70个国家和地区发布800多项AI治理相关政策。其中，防止用户隐私泄露、加强个人信息保护是各国治理政策中的重点关注议题。

　　生成式AI基于通用和跨场景能力，形成多元化的服务形态。在应用层面，传统的应用服务正在借助生成式AI的理解、生成、逻辑和记忆能力快速更新，以更加智能、高效、便捷的方式为用户提供服务，或将迎来应用上的爆发式增长[6]。例如，搜索服务不再只是给用户提供链接，而是通过对内容的理解，生成文字、图片、动态图表的多模态回答，让用户一步获取；文档服务通过对海量文档、图片和视频的理解和再生成，能够帮助用户提炼文章主旨和要点，快速生成演讲稿、宣传文案、调研报告等。在操作系统层面，操作系统基于AI能力探索应用生态新范式，具备更强的计算和存储能力、更高效的网络连接和处理速度。例如，vivo基于生成式AI技术自研蓝河操作系统（BlueOS），为智能家居、智能交通以及智能办公等多种场景提供了强大的支持，致力构建新的平台生态。在终端设备层面，生成式AI不仅快速赋能智能手机、电脑、手表、扩展现实设备等已有终端，甚至催生出更多新型的智能交互设备。例如，Humane公司发布的可穿戴AI设备——Ai Pin，无需屏幕，采用手掌投影的方式，通过集成生成式AI，分析用户的自然对话、识别语音指令，从而可提供语音通话、实时翻译、推荐餐厅等多种功能服务。

　　生成式AI的多模态处理和理解能力，为人机交互带来了前所未有的方式。人们从使用键盘、鼠标等与电脑交互，到使用手指操作屏幕与移动终端交互，再到用唤醒词与智能音箱交互，人机交互从识别机器指令，到识别人的动作、语音、环境，不断朝着更贴近人类习惯的交互方式演进[7]。生成式AI的出现，让人类有史以来第一次有机会用自然语言的方式与机器对话，而机器也拥有了极强的理解人类语言的能力，从而开创了一种全新的AI交互方式。人们只需给出任务目标，由AI智能体借助生成式AI技术自动分解任务、执行计划、完成任务。这种交互方式不仅提高了AI智能体的自主性和灵活性，同时也拓展了人与AI之间的交互方式，使得AI技术从“工具”演变成人类的“伙伴”。

　　生成式AI的涌现推动数字技术与传统服务快速融合，使得服务模式更加复杂多样。首先，生成式AI服务在响应用户需求时，表现出较高的实时性和即时性。这种短时间内对用户数据的快速处理方式，可能会增加隐私泄露的风险。其次，生成式AI服务的“幻觉”问题[8]会造成生成内容不可控，攻击者可能利用合成人脸图像、模拟语音等技术，生成虚假的侵害用户权益的视频、音频、图像、文本等，造成精神及财产损害[9]。最后，生成式AI服务在与用户交互的过程中，能够通过个性化的交流方式，更准确地识别和满足用户的个性化需求[8]。这种个性化服务需收集用户更多类型的个人信息，包括但不限于语言习惯、使用偏好等，增加了风险暴露点。此外，生成式AI模型的部署模式一般分为云端、本地、端云混合3种，不同的服务部署模式适用的场景和安全风险也存在一定差异。限于端侧的计算资源和性能，目前大多生成式AI服务采用云端或端云混合的方式部署，需要更多考虑个人信息的传输过程是否安全。与此同时，为加强个人信息安全和隐私保护，产业界也在加速布局端侧生成式AI。例如，2023年10月，高通的第三代骁龙8移动平台实现了在终端侧支持运行100亿参数的大模型，引发全球高度关注。

　　生成式AI收集的个人信息类型呈多样化、场景化特点。随着数字技术的融合发展，用户的身份与其电话号码、人脸等信息深度绑定，一旦泄露可能会造成无法估量的风险。与此同时，对用户的个人偏好、外貌、性格等描述信息的恶意利用也可能会导致个人身份的泄露。生成式AI服务由于交互方式的革新，不仅收集用户的邮箱、手机号等可唯一标识个人的信息，大多还会收集用户的全部文本或语音聊天记录。与此同时，生成式AI在垂直领域（如办公、医疗、教育等）的应用使得服务更具有场景化特点，由此引发的个人信息安全风险更严重。假设一个服务提供商希望通过部署一个不泄露个人信息的具有高实用性的生成式AI模型辅助撰写电子邮件。攻击者可以通过攻击生成式AI模型单独提取任何个人信息（如个人地址），从而造成隐私安全威胁。若攻击者将部分个人信息与上下文联系起来时，这种风险会更为严重。例如，通过分析邮件关联信息可得知“2022年5月，某员工接受了化疗”[10]。

　　生成式AI技术带来的生态主体复杂化，使得个人信息处理者的责任划分及判定成为一个突出问题。这种复杂化主要体现在生态系统中涉及的主体数量增加、各主体权责交叉、数据交互愈发复杂等方面。生成式AI技术的服务生态包括数据提供方、算法开发者、服务提供商、用户等多个参与方，这种生态主体的多样性使得个人信息在传播、使用过程中更加不可控。这些生态主体扮演的角色可能存在交叉，例如，一个供应商可能作为数据提供方提供数据，也可能同时作为算法开发者提供模型，而用户的数据使用也涉及多个生态主体。与此同时，数据交互的复杂性不断提升，大规模的数据收集、处理和共享涉及不同生态主体间复杂的数据交互流程，其中信息传递、共享和使用的路径变得更加模糊，增加了个人信息泄露和滥用的风险。

　　AI模型的构建主要基于深度神经网络算法，具有透明度低、可解释性差等特点，用户往往难以理解AI模型的决策过程，这一特点延续到了生成式AI模型之中。可解释性差导致AI模型的实际应用困难，同时给用户带来一定风险。例如，在医疗诊断、自动驾驶等需要模型高可靠和准确性的场景中，如果无法对AI模型的决策以及对个人信息的处理过程进行有效的可解释性评估，势必造成潜在安全隐患，降低用户信任度，同时影响模型的实际应用和推广。

　　当前业内暂无有效的AI模型可解释性评估方法，Lipton等[11]提出了事前可解释性建模和事后可解释性建模方案，通过构造简单的自解释模型分析各维度特征、模型节点、模型输出，解释AI模型的决策过程，但对于生成式AI模型中的海量参数、节点，该方法收效甚微。同时，业内暂无统一的AI模型可解释性评估标准，导致各种方法评估尺度不一、解释效果不理想，难以形成广泛的应用。

　　生成式AI在模型训练和学习前需对数据集进行清理，去除其中的错误信息、冗余信息、残缺信息等，但对于个人信息的清洗效果较差。一方面，由于个人信息的特异性，当前没有行之有效的个人信息清洗算法，存在一定的技术悖论，即想要清洗个人信息必先知之为个人信息。另一方面，对于生成式AI的海量数据集，通过人工方式清洗数据的成本极高，且存在个人信息二次泄露风险。相关研究[12]表明，基于命名实体识别的数据清理技术，对临床健康数据的召回率为97%（姓名）和80%（护理单元编号）。该研究说明在数据清理后生成式AI模型仍隐含了大量个人信息，基于个人信息训练的AI模型必然存在潜在攻击面，导致个人信息泄露的风险。

　　攻击者通过对AI模型生命周期的各个阶段构造攻击方法，如投毒攻击、提示注入、模型窃取等，试图获取用户隐私。生成式AI针对这些攻击以及潜在风险构造相应安全防御机制，如对抗训练、模型加密等。但正如没有绝对安全的操作系统，同样也没有绝对安全的AI模型。一方面，生成式AI的模型结构、训练过程复杂，面临的安全威胁多，相关安全干预措施或防御机制难以在日益加剧的技术对抗和恶意攻击中保证AI模型全生命周期安全。另一方面，针对AI模型安全防御策略的有效性、稳定性、时效性等难以评估，业内暂无统一的衡量标准，相关评估方法效果不明显。例如，当前业界常用的基于恶意输入语料库的AI模型安全测试方法，其语料库本身无法覆盖所有攻击面，即使AI模型通过特定训练和优化识别语料库中全部攻击样本，也不能完全证明其安全性。

　　安全研究人员[13]发现，生成式AI模型具备一定记忆能力，能够记忆和回溯特定训练数据集，其中可能包含潜在的个人敏感信息。即使数据被去除个人信息，生成式AI仍可能从匿名或去标识的信息中，通过数据关联和推理推断出个人的身份和特征信息。此外，攻击者可能通过构造带有启发性的输入问句进行攻击，诱导AI模型输出记忆数据，进而获取模型训练数据集，从而导致更大规模的泄露风险。然而，目前暂无通用的针对AI模型对个人信息遗忘能力的评测标准和方法，现有测试方法无法发现AI模型潜在记忆点。

　　首先，针对个人信息进行细致化的分类分级管理，特别是针对不同服务场景下的不同敏感程度的个人信息进行差异化管理，制定相应的信息披露可接受度规范，以保障用户对个人信息处理的知情权和选择权。例如，针对医疗健康领域的敏感性较高的问诊记录等信息，其披露应遵循更为严格的规定。其次，应结合实际应用场景，以及可能泄露的个人信息数量、类型及范围，严格定义不同等级的信息安全事件以及对应的响应机制和处理流程。针对从轻微到严重的信息安全事件等级，采取相应的处理方式，并及时进行披露和通报，以维护用户合法权益。此外，为促进行业的高质量发展，鼓励建设权威的第三方公共服务平台，用于提供数据集共建共享能力和AI模型透明度、安全风险等级、信息遗忘能力等的测评服务，帮助企业提升技术规范水平，整体提升行业的个人信息安全水平。

　　为覆盖生成式AI模型设计、训练和应用不同阶段的保护要求和策略，构建如图1所示基于生成式AI全生命周期的个人信息保护标准体系。其中，隐私声明告知部分，在设计阶段应遵循简明扼要、清晰完整的原则，制定隐私声明框架；在训练阶段应严格确保模型训练时涉及处理的个人信息与隐私声明保持一致；在应用阶段应明确告知的方式、内容以及如何更新，确保用户对模型处理个人信息的知情权。供应链管理部分，在设计阶段应建立供应链的选择评价机制，确定供应链的选择目标及类型，并进行权责划分；在训练阶段应保证模型与第三方供应链的交互安全；在应用阶段应保证涉及第三方的部署过程安全，并保障模型的运维安全。训练数据构建部分，在设计阶段应保障训练数据来源的合法合规，并通过技术手段进行个人信息清洗。模型规制控制部分，在训练阶段应建立对模型的管理监督评价机制，保障算法自动控制策略或人工控制策略的实施安全，防止因模型的缺陷泄露个人信息。输出策略控制部分，在应用阶段应制定输出控制策略，防止由于模型的推理、理解和记忆，导致不合理的个人身份推定或个人画像识别，并支持基于用户反馈的控制策略优化升级。个人权利响应部分，应明确响应查询、复制、更正、删除、拒绝等个人权利的原则和方式。二次开发管理部分，在应用阶段，应建立二次开发的接入管理机制，并做好安全保障措施，防止模型被恶意利用。

　　针对个人信息安全风险，企业应加强个人信息保护意识和责任意识，建立全面的内部管理制度，并保证制度实施的规范性。在AI模型设计阶段，企业应加强内部管理，建立健全的信息安全管理制度，包括制定明确的数据使用政策和流程、加强员工个人信息保护意识培训，以及进行定期的风险评估和安全审计，旨在从源头降低信息泄露的风险。在AI模型训练阶段，企业应实施严格的权限管理和数据加密措施，确保个人信息在传输和处理过程中的安全性，并研究使用差分隐私等隐私保护技术加强个人信息安全。在AI模型应用阶段，企业应建立完善的风险预警监测与应急事件响应机制，及时发现、跟踪、应对、记录信息安全事件，及时通报应急处理结果以及后续采取的个人信息保护措施，以最大程度地减少安全事件带来的损失和影响。

　　本文剖析了生成式AI服务的特征以及个人信息安全所面临的挑战，并给出了加强分类分级治理、细化标准规范体系、强化企业全流程管理的建议，对生成式AI技术的创新应用与发展具有指导意义。未来，业内需进一步研究差分隐私、同态加密等个人信息保护技术的应用与发展，努力实现技术创新与个人信息安全的有机平衡，确保生成式AI行业的健康发展，为用户提供更安全、更可靠的信息服务。

　　《信息通信技术与政策》是工业和信息化部主管、中国信息通信研究院主办的专业学术期刊。本刊定位于“ 信息通信技术前沿的风向标，信息社会政策探究的思想库 ”，聚焦信息通信领域技术趋势、公共政策、 国家/产业/企业战略，发布前沿研究成果、焦点问题分析、热点政策解读等，推动5G、工业互联网、数字经济、人工智能、区块链、大数据、云计算等技术产业的创新与发展，引导国家技术战略选择与产业政策制定，搭建产、学、研、用的高端学术交流平台。

　　为进一步提高期刊信息化建设水平，为广大学者提供更优质的服务，我刊官方网站已正式投入运行，欢迎投稿！

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。