使用说明 · 全书地图
本页是《ISACA AAIA 考试官方复习手册》的图解精讲版:在文字梳理版基础上,增加了 16 张流程/结构图、几十张对比表,并给每个知识点打上了标签法徽章(偏见 这类),方便你用老师的标签推理法对应复习。
考试权重 33% · 定规则
考试权重 46% · 建系统、管系统
考试权重 21% · 独立检查
建议顺序:先看 标签法 × 手册章节对照总表 建立"题型→章节"映射,再按第1→2→3章精读,考前只刷 易混淆辨析 和 术语速查。更详细的文字版见《AAIA手册知识梳理.md》。
第1章 人工智能治理与风险
本章对应考试领域1:人工智能治理与风险,权重 33%(约25题),是全书最重的一章。核心逻辑:治理定规则 → 运营照规则建系统、管系统 → 审计独立检查前两者是否有效。本章的治理逻辑链是:战略及角色职责 → 政策和程序 → 培训和安全意识 → 计划指标,再串起风险管理(识别→评估→监控)、数据治理与隐私、标准法规伦理。备考抓手:AI类型辨析、生命周期七阶段、NIST AI RMF四功能、风险偏好/容忍度、EU AI Act四级风险、三类偏见是反复命题的考点。
A部分 · 人工智能模型、考虑因素和要求
1.1 人工智能的类型
- 人工智能(AI):按预定规则模拟人类能力的高级计算机系统,由专门从事数据学习的算法组成;是广义术语(从 if-else 规则引擎到自动驾驶都算)。
- 机器学习(ML):AI 的子类别,根据输入数据建立预测模型的程序或系统——关键词是"数据";目前大多数所谓 AI 应用其实是 ML 工具。
- 深度学习(DL):ML 的多层次算法,逐步识别更高抽象程度的事物;在计算机视觉、语言翻译、语音识别中优于逻辑回归、SVM、随机森林等传统 ML。
- 层级关系:AI ⊃ ML ⊃ 神经网络 ⊃ DL(手册图1.1还并列数据科学、生成式AI)。
| 类型 | 核心特点 | 典型示例 |
|---|---|---|
| 反应式机器 | 最早最基本;对一组特定的、有限的输入自动生成响应,功能有限 | 深蓝、ELIZA、智能家居设备、工业机器人 |
| 有限记忆 | 记忆回忆短暂;有静态记忆库(对世界的特定再现)+动态存储器(短暂记忆),利用最近经验完成特定任务 | 自动驾驶、Siri/Alexa、推荐系统、聊天机器人 |
| 心智理论(ToM) | 理解和模仿人类思维模式、想法和决策过程,懂情感对社会互动的影响 | ChatGPT、CoPilot、社交机器人 Pepper/Sophia(手册注:仅早期例子) |
| 自我意识AI | 感知他人及自身的情绪和精神状态;目前没有分类的AI类型,仍是前沿研究方向 | 无 |
| 类型 | 定义 | 状态/关键点 |
|---|---|---|
| 狭义AI(ANI) | "弱人工智能",仅限特定领域,可模拟人类认知的特定部分;缺乏自我意识、意识、情感和真正的智能 | 目前大多数AI属此类;大多数AI属于有限记忆类别;可分为反应式AI和有限记忆AI |
| 通用AI(AGI) | 能承担人类能完成的任何智力任务;需感官知觉、精细运动技能、解决问题、导航、自然语言理解、创造力、社会情感参与 | 仍停留在理论层面;视觉和NLP进展大,但精细动作、常识、社会情感参与仍缺失 |
| 超级AI(ASI) | 未来AI超越人类智能的假设阶段,不仅能完成任何智力任务,还能超越人类 | 理论概念 |
- 生成式AI(GenAI):生成全新原创内容(图像、代码、文本、语音、音乐等),基于训练数据的模式和示例;法律道德风险:有害内容传播、版权/IP 问题加剧。
- GAN(生成对抗网络):双神经网络系统——生成器(造逼真样本)与判别器(分辨真假)同时训练、相互竞争,直到生成器骗过判别器。应用:深度伪造、风格迁移、数据增强、文本到图像、逼真语音合成。
- 代理式AI(Agentic AI):能自主决策并采取行动实现既定目标(如提高客户满意度);好处是更专业化、创新能力更强、比GenAI更少幻觉、更可信;但需人类监督,目标表述不清会极大阻碍任务完成。
- 预测模型:用历史数据+ML算法预测事件和趋势;最大风险在于用预测模型做业务决策——开发人员和用户须充分理解模型如何得出预测,确保决策基于可行事实。AI系统最大风险 透明度
- 章末案例 FibreCorp:第1题答案是 A. 有限记忆——聊天机器人通常归类为有限记忆AI;参考答案强调"有限记忆是对聊天机器人功能更精确的描述"(比"狭义AI"更精确)。
1.2 机器学习/人工智能模型
- ML 让机器无需明确编程从数据中学习;模型随数据量增长、微调技术不断进化。
| 范式 | 数据与原理 | 子类型/技术 | 审计关注的风险点 |
|---|---|---|---|
| 监督学习 | 用标注数据把输入映射到输出标签,预测新数据 | 回归(定量,如房价)/分类(定性,如垃圾邮件过滤) | 最大风险是数据质量与偏差问题(需大量尽可能无偏差的高质量数据)偏见 |
| 半监督学习 | 标注+未标注数据并用;标注贵/少时有利 | 用未标注数据更好理解问题空间 | 假设依赖风险 |
| 无监督学习 | 从未标注(原始)数据中学习,无人为干预;擅长发现潜在模式 | 聚类(K-均值/分层/基于密度等)、关联规则(Apriori)、降维(PCA、t-SNE、UMAP等) | 结果缺乏可解释性;评估时必须确保人机回环(HITL)透明度 |
| 强化学习 | 智能代理在不确定环境中通过最大化预期累积奖励、从奖惩中自主学习;侧重决策制定和运动控制 | Q学习、深度Q网络(DQN)、基于策略 | 风险源于模型自主性;探索阶段考虑安全道德;生产中用HITL避免危害 |
- 神经网络:模仿人脑识别模式的复杂算法集合,分三层——输入层(接收输入)→隐藏层(计算和学习,层越多学得越复杂)→输出层(最终预测)。三层以上(含输入输出层)即深度学习算法;DL 最大优势是自主进行特征提取和转换。
- 神经网络三类:FNN(前馈)(信息单向,无反馈;图像分类/回归、邮件过滤);RNN(循环)(专为序列/时间序列数据,序列间传递信息;语言翻译、语音识别、文本生成);CNN(卷积)(处理网格状数据如图像,卷积层检测边缘纹理物体;照片标记、物体检测、医学成像)。算法类型
- 欠拟合 vs 过拟合:欠拟合=模型太简单,训练和测试数据表现都差;过拟合=模型"记住"了数据(含噪声/异常值),训练集极好、新数据很差(如训练准确率0.98、测试0.7,原因是数据噪音或训练轮数太多)。审计师应验证训练过程并分析训练/测试结果。模型验证
1.3 算法
- 算法:解决特定问题或执行特定任务的逐步说明/规则;定义模型如何处理输入、提取特征、按反馈调参,指导学习过程。
- 超参数:在训练模型之前调整、引导算法运行方式的参数(如决策树学习率/深度、网络层数、学习速度);选对超参数与选对算法同等重要。算法类型 模型验证
- 算法类别速记:监督类——线性回归(房价预测)、逻辑回归(二元分类,垃圾邮件)、基于树的模型(非线性关系、信用风险评估)、SVM(超平面决策边界,数据量少也可靠,图像分类);无监督类——K-均值聚类(排他性聚类代表,需预设K)、分层聚类(基因图谱)、PCA(降维、图像分类);强化类——Q学习(机器人路径规划)、DQN(增强型自动驾驶)、基于策略(机械臂控制)。
- LLM(大型语言模型):海量数据(通常文本)上训练,使用 Transformer 架构权衡输入序列关系与重要性;用于聊天机器人、执行摘要、翻译。
- 提示(Prompt):启动 GenAI 输出的人类输入;输出准确性与提示的特异性直接相关。
- 基础模型:又称通用人工智能(GPAI),在广泛数据集上训练、可执行各种任务(原创艺术、音乐、新药/新分子发现)。
- NLP:使计算机理解、解释、生成人类语言的AI分支,结合计算语言学、ML、DL;是语音识别、文本分类、情感分析(又称"意见挖掘",分类称极性)的基础。
1.4 人工智能生命周期
- 采用 OECD 定义的七个阶段,与 SDLC 阶段没有太大区别。关键原则:在每个阶段都要考虑风险,并及时处理每个发现的风险;NIST AI 100-1 指出早期和后期衡量风险可能结果不同(有些风险随系统适应发展而增加);所有AI行为者都有责任设计、开发、部署符合目的、值得信赖的AI系统。
业务用例与初步风险评估"] --> B["阶段2 收集和处理数据
获取同意与数据清理"] --> C["阶段3 建立和或调整模型
选择校准训练与可解释性"] --> D["阶段4 测试评估核实和验证
偏见公平性检查"] --> E["阶段5 可供使用或部署
试点与兼容性"] --> F["阶段6 运行和监控
性能指标与合规审计"] --> G["阶段7 退役或弃用
数据迁移或删除"]
- 规划与设计:阐明概念、目标、假设、背景和要求,可建立原型反复测试验证假设;把问题和拟议方案记录在业务用例中;利益相关方尽早参与;建立明确领导角色和问责制;对拟议用例做初步风险评估(含伦理和社会影响);识别数据/算法偏差并制定缓解策略;建立数据管理框架。目标一致性
- 收集和处理数据:数据质量直接决定性能可靠性;应征得所有收集数据的同意,无同意和披露→违反隐私法、诉讼风险;数据清理(不一致/重复/错误);记录数据集特征(关键步骤,提供透明度和问责制):如何创建、数据构成、预期用途、长期维护(版本控制、保留政策)。隐私 透明度
- 建立和/或调整模型:模型选择、校准(多轮测试调参)、训练(大量数据);模型可解释性(了解模型如何得出预测);自动记录关键事件(所有行动决策全面记录,助监控审计);HITL监督(关键点人工判断验证决策,结合人类专业与AI效率)。透明度 模型验证
- 测试、评估、核实和验证:核实=检查模型是否按设计规范正确构建;验证=确保模型符合预期用途、输出准确可靠。遵循企业变更管理流程;测试类型:模型测试(准确率/精确度/召回率)、压力测试(极端条件鲁棒性)、比较分析、偏见和公平性检查、场景分析。经验教训在投产前修复;风险缓解计划纳入项目风险登记表;经授权才进入生产。模型验证 偏见
- 可供使用/部署:试点(受控环境测试、收集反馈、概念验证);检查与遗留系统互操作性(含第三方和下游部署者的安装/配置/故障排除说明);详细技术文档整个生命周期保留(含风险评估、合规映射);沟通和变革管理确保顺利过渡。变革管理
- 运行和监控:持续动态;维护日常运行+评估性能质量指标;建立质量管理体系(定期审计更新);必须有机制评估AI行动的预期和意外后果。漂移
- 退役/弃用:触发条件——不再适用预期目的、有更新替代方案、总体风险超过管理层定义的风险偏好(持续风险评估或审计可决定退役);制定详细退役计划,利用既定变更管理流程:数据迁移或删除、系统集成、运营连续性保证,过渡期与利益相关方清晰沟通。
1.5 业务考虑因素
- 任何拟议AI解决方案都应有有据可查的商业案例,至少含五要素:①要解决的问题;②拟议方案如何解决问题;③成本效益分析和投资回报预期;④确定的风险和缓解措施;⑤详细实施计划。无明确业务用例→实施失败风险。发现问题是构建用例的第一步(内部委员会、员工反馈、合格顾问)。评估方案要看成熟度(成熟方案如ChatGPT/CoPilot实施变数少)。Gartner 2024 AI技术成熟度曲线:创新触发期→期望膨胀期→幻觉破灭期→启蒙爬坡期→生产稳定期。目标一致性
- 成本效益:成本分三类——实施成本(开发、许可、培训)、运营成本(维护、能耗、新员工工资)、风险与合规成本(隐私保护、声誉管理);效益分三类——效率和自动化、决策(更大量化事实)、降低成本(人工、错误成本)。效益须与最初业务用例挂钩。
- 投资回报率(Google 对 2,500 名高级商业领袖的调查):约 74% 从 GenAI 获得 ROI;84% 在 6 个月内把 AI 用例转化为生产;86% 在生产中使用 GenAI 且收入增长的企业估计年收入增幅 ≥6%。注意:前期成本高、用户磨合期效率低→初期 ROI 可能较低,要在生命周期早期设定合理预期。
| 效益 | 限制 | |
|---|---|---|
| 内部托管 | 更多控制和定制能力;针对特定任务优化性能;更易控制数据安全和隐私 | 需额外计算资源且无法扩展;功耗资源消耗增加;需更多员工或技能组合 |
| 云托管 | 按需弹性扩缩资源;减少运维管理开销;减少前期实施成本 | 基础设施控制少、供应商锁定风险;网络延迟/共享资源性能问题;数据离开受控环境的安全隐私问题;成本波动不受企业控制;训练数据受隐私法保护时云提供商物理位置更受关注 |
- 供应商:上线和全生命周期都要适当审查;AI评估看统一AI战略和价值观、遵守道德规范(透明度可解释性)、数据安全和隐私保护;制定明确 SLA 并定期(基于风险)审查;对 AI 供应商的监督至关重要。
- 责任共担:明确界定企业与提供商之间的责任,完全在于购买解决方案的企业。关键风险:问责制和所有权不清、AI出错/引入偏见时责任归属不明、与第三方共享数据带来额外监管责任和攻击面。Microsoft AI 共担责任模型三层:IaaS(BYO模型)、PaaS(Azure人工智能)、SaaS(Copilot),客户与微软之间存在共享责任区。目标一致性
B部分 · 人工智能治理与计划管理
1.6 人工智能战略
- 人工智能战略:企业采用、开发、管理AI解决方案的方法;主动实现效益、系统管理风险。
| 层面 | 战略示例 |
|---|---|
| 国家/地区 | 使道德规范与国家/地区价值观一致、指导性法律和法规、促进国家安全 |
| 行业 | 促进行业创新、指导性原则和最佳实践、解读AI法规和指南 |
| 企业 | 确定竞争优势机会、确保符合适用要求 |
- OECD 人工智能原则(图1.15):五项价值原则——1.1 包容性增长、可持续发展和福祉;1.2 尊重法治、人权和民主价值观(含公平性和隐私权);1.3 透明度和可解释性;1.4 鲁棒性、安保和安全;1.5 问责制;+ 向政府的五项建议(投资AI研发、促进包容性AI生态、营造可互操作治理环境、培养人员能力、国际合作与衡量)。
- 战略制定要点:建立在商定最佳实践之上(可解释性、公平性、透明度、以人为本);必须得到高级管理层认可;由跨职能团队制定(IT、风险管理、法律、运营、财务);可求助IT指导委员会或创新委员会;AI技能稀缺,不需要明确的AI专家知识也能定战略;内部不懂时找外部专家/顾问。目标一致性
- AI 机会五类:提高创新能力、丰富的数据分析、改善客户服务、自动化、强化和持续监控。挑战:不仅是采用技术,还要重新设计关键业务流程甚至新业务模式。
- AI 价值一致性(WEF定义):设计行为符合人类价值观和道德原则的AI系统;共同要素:社区、道德基础、法律合规性、运营战略(如遵守GDPR、尊重普遍人类价值观、利益相关者参与设计和风险评估、可持续性公平性作KPI);由战略驱动,通过AI生命周期评估,靠治理流程实现。推动因素:框架与指导、人机交互、组织变革、审计和评估。
1.7 其他角色和职责
| 类别 | 角色 | 职责要点 |
|---|---|---|
| 领导和战略 | 执行管理层 / 首席人工智能官(CAIO)/ AI指导委员会 | 定愿景、目标和路线图;高层定调,签署AI战略,对AI影响负最终责任;CAIO向执行管理层报告;指导委员会提供跨职能战略见解(可纳入IT指导委员会或创新委员会) |
| 发展和业务 | IT开发 / IT运营 / 产品管理 | 创建、实施、维护AI解决方案;数据科学家/工程师/开发人员;产品管理在技术人员和最终用户间架桥 |
| 用户 | 最终用户 / 人力资源 / 客户服务 | 实际使用AI;HR做岗位分类和培训;客服支持客户最终用户 |
| 治理和监督 | 治理委员会 / 风险管理 / 信息安全和隐私 / 内部审计 | 确保AI符合道德规范、组织原则和合规要求;内部审计作为审计计划一部分评估AI相关风险审计如何利用AI |
- 高频考点(章首自我评估第1题):AI指导委员会的职责是战略建议(评估AI机遇和风险并确定优先级),不包括预算审批(属财务/执行管理层)、开发部署监督(属IT/开发)、技术细节审查(属技术部门)。
1.8 人工智能相关政策和程序
- 编写新政策前先检查现有IT和信息安全政策以便整合;可独立成文,也可把AI概念纳入现行政策。至少:企业对AI的立场记录在正式政策中并让所有适用利益相关方知晓;规定授权用途和禁止用途;对已实施AI解决方案的管理提出期望;利用普遍接受的框架。
- AI可接受使用政策(AUP):为合乎道德、负责任部署AI提供框架;鉴于 GenAI 快速发展,企业应做风险效益分析。有效AUP四要点:简单易懂(普通用户能理解)、确定经批准的AI解决方案、就企业数据的使用向最终用户提供指导、提供培训确保了解AUP。目标一致性
1.9 人工智能培训和安全意识
- 无适当培训→混乱、对实施不信任;员工担心被AI取代→怀疑甚至完全拒绝。WEF 2023研究:到2027年AI将影响 23% 的工作岗位(约 8,300万个);在 6.73亿个就业岗位中,预计增长 6,900万个,净减少 2%;供应链、运输、媒体、娱乐和体育影响高于平均,制造业、零售、批发低于平均。
- 岗位再设计四步骤(新加坡《AI时代的工作岗位再设计指南》):①转换工作岗位(评估每项任务可否自动化/增强还是必须人工);②绘制岗位间清晰路径(员工过渡需学习的任务);③扫清数字化转型障碍(应对挑战、为员工提供支持);④促进雇主与员工有效沟通(就AI为什么、做什么、如何增强人达成共识)。再设计后:各岗位AI相关任务标准化→规划转岗途径→识别缺失的技能。变革管理
- 员工负面看法对策(图1.18):不认识AI增强能力→宣传机会;抵制变革→提名创新卫士、找痛点机遇;扰乱业务→阶段实施、小批量培训;不同培训水平→适用且无障碍的培训。有效沟通应在实施之前、期间和之后都建立;利用组织单位拥护者。
- 员工需获得的AI技能四项:AI可接受使用政策、AI基础知识、道德意识(可解释性、偏见等基本道德原则)、针对解决方案的具体考虑(如用GenAI平台→培训用户有效创建提示)。
1.10 计划指标
- AI治理计划需要明确计划指标,监控评估AI设计、开发、部署流程有效性;指标通常对应AI道德原则(偏见、公平、透明、可解释性)。制定时首先考虑AI可能对人类造成的潜在伤害,兼顾业务因素(员工问题、客户体验、业务用例预期效益)。
- 衡量缺乏共识的原因:缺乏共识或标准指导、AI多样性与快速迭代、过度简化测量方法、机构伦理问题。
- OECD.AI 政策观察站维护技术指标列表,常见指标(图1.19)八项:问责制、公平性、人类福祉、性能、隐私与数据治理、鲁棒性和数字安全、安全、透明度和可解释性。企业应利用衡量标准不断改进。模型验证 偏见 透明度
C部分 · 人工智能风险管理
- 人工智能风险管理目标:最大限度减少AI对人员、企业、生态系统的潜在负面影响;开发人员和用户应在开发流程早期及整个生命周期内积极应对、记录、管理AI风险。
- NIST 人工智能风险管理框架(AI RMF 1.0 / NIST AI 100-1,2023年1月)核心功能(图1.20)——本章1.11→1.13的编排即按此顺序展开:
建立治理和风险管理计划"] --> B["Map 映射
识别和了解风险及其潜在影响"] --> C["Measure 衡量
量化分析和处理风险"] --> D["Manage 管理
持续监督更新风险管理计划"]
- 企业选框架时应考虑其行业或国家/地区的具体指导。AI系统最大风险
1.11 人工智能相关的风险识别
- 风险识别纳入企业整体风险管理计划:定期(如年度)识别评估、系统变更期间、新供应商加入期间;必须考虑AI独特属性(独特威胁行为者、风险、挑战)。人类可能认为AI本身健全值得信赖(如更客观、比一般软件更有能力)→ 评估人员应对AI采取适当程度的专业怀疑态度。
| 行为者 | 威胁示例 |
|---|---|
| 内部威胁 | 员工有意或无意利用AI伤害企业;如把机密信息输入公共AI解决方案;利用内部AI提取敏感数据谋利 |
| 民族和国家 | 推进战略利益:网络间谍、监视、战争;如用AI对公民监视、审查、监控,侵犯权利 |
| 网络犯罪分子 | 让攻击更有效、更难发现;如更有说服力的钓鱼邮件;开发高级恶意软件 |
| AI开发人员 | 创造不符合普遍道德标准的AI;如信用评级机构AI开发人员设计有偏见或不公平算法,不合理拒绝消费者信贷 |
- NIST AI RMF 伤害示例(图1.22)分三层:对人(个人:公民自由、权利、身心安全、经济;群体/社区:对人口亚群体的歧视;社会:民主参与、教育机会)、对企业(业务运营、安全漏洞或金钱损失、声誉)、对生态系统(相互关联的要素和资源、全球金融体系/供应链、自然资源/环境/地球)。
- OECD《AI系统分类框架》(2022年2月22日)判定风险等级三标准:规模(负面影响严重程度和概率)、范围(应用广度,如可能受影响人数)、可选性(受AI影响的自主选择程度)。
- 《欧盟人工智能法案》四类风险(图1.24,风险等级与监管水平一致)——必考:
禁止使用
如生物特征识别与社会评分"] --> B["高风险
严格监管要求
如关键基础设施与执法部门"] --> C["有限风险
透明度义务
如聊天机器人"] --> D["最小风险
无额外义务
如游戏与垃圾邮件过滤器"]
- 风险管理挑战六项:第三方解决方案(多重风险因素)、AI生命周期(不同阶段识别评估结果大相径庭)、可靠衡量标准可用性(缺乏共识,开发者可能自定有利标准)、真实世界环境(受控测试未考虑真实风险)、不确定性(有限可解释性导致固有不确定性)、人类基线(增强/取代人类活动的方案需基线指标比较)。
1.12 人工智能风险评估
- 风险评估纳入企业整体风险评估流程;定期进行,并在变更AI解决方案的任何内容时进行;以企业现行风险定义为基准,评估已识别风险发生概率及影响;缺失则更新流程。
明确记录风险识别阶段确定的衡量标准
咨询独立专家评估一线开发人员结论"] --> B["步骤2 评估可信特征
道德使用 偏见和公平性
透明度和可解释性 信任和安全性
数据安全与知识产权 人权 环境影响"] --> C["步骤3 建立AI风险跟踪机制
积极跟踪现有 未预见到
和新出现的AI风险"] --> D["步骤4 纳入利益相关方反馈
对测量措施效果的反馈促进机制"]
| 维度 | 风险偏好(Risk Appetite) | 风险容忍度(Risk Tolerance) |
|---|---|---|
| 定义 | 企业为实现战略目标而愿意承担的风险;接受风险是高层领导深思熟虑的决定 | 与风险偏好的可接受偏差;不损害战略目标实现前提下能承受的风险(常指愿意冒风险的资金量) |
| 性质 | 战略性,企业层面设定 | 战术性,可在部门或项目层面设定 |
| 示例 | 自动驾驶汽车开发商可能有较高风险容忍度(对其AI可能造成的任何伤害负责,包括人类意外死亡) | |
| 方案 | 含义 | 示例 |
|---|---|---|
| 避免 | 不开展产生风险的活动/流程/业务关系以消除风险 | 出于监管考虑不在产品开发中使用任何AI |
| 缓解 | 定义、实施、监控适当控制,降低风险事件可能性或影响 | 制定强大AI政策、把AI考虑纳入现有安全控制 |
| 共担或转移 | 合作分散影响,或以保险、合同协议转移给第三方 | 与AI供应商签订责任分担协议 |
| 接受 | 管理层承认风险存在并同意推进;风险不可避免时;容忍度内企业可独立吸收;实施正式监控 | 尽管客户对AI持负面意见仍推进聊天机器人计划 |
- 目标:根据风险偏好和容忍度将残余风险(风险处理后剩余的风险)降至可接受水平。不可能也不具成本效益地解决所有AI风险→优先排序(按风险程度等确定标准,遵循企业风险管理政策和程序)。
- 补救计划最佳实践(1.12.4):超出偏好/容忍度的风险→制定明确补救计划(明确步骤和预期结论数据);分配风险所有者(负责执行并向监督职能报告);时限超容忍范围→考虑补偿控制(向低风险用户交错推广、新政策、用户培训、技术安全控制);跟踪并给予监督;完成后独立核实。AI系统最大风险
1.13 人工智能风险监控
- 持续处理已识别风险,按已接受补救计划响应;包括评估新风险的程序、持续改进机制、事故和错误响应考虑。
纳入整体风险管理计划"] --> B["评估风险
概率乘影响
对照风险偏好"] --> C["响应风险
避免 缓解
转移 接受"] --> D["监控风险
KRI阈值预警
事故错误响应"] --> E["持续改进
补救工作 性能指标
第三方 事故教训"] --> A
- 持续改进四项意见来源(1.13.1):①风险缓解工作(按商定时间表实施补救,考虑新变化的风险/机会更新计划);②性能指标(功能或用户体验受质疑时审查,决定是否停用或更换);③第三方(持续监控提供/支持AI的第三方,更换不符要求的);④事故解决(从事故或连续性事件汲取教训)。记录跟踪并纳入中央风险登记表,与一般风险管理流程结合。
- KRI(关键风险指标):为潜在事故提供早期预警;通常含阈值,超过则向指定个人发警报。KRI取决于AI是企业自建还是第三方购买(购买的可按预期业务流程结果调整标准KRI流程)。AI系统最大风险 漂移
| KPI | 目标值 |
|---|---|
| 客户满意度得分 | ≥95% |
| 解决率(无人工干预解决咨询的百分比) | 至少90% |
| 误解率(无法理解或准确回应的交互百分比) | 低于1% |
| 上报率(上报至人工支持的百分比) | 少于10% |
- KAIRI 框架(关键AI风险指标):符合 SAFE——可持续性(针对异常或网络操纵的鲁棒性和稳定性)、准确性(预测与观察证据比较)、公平性(公平对待不同人群)、可解释性(主要利益相关方能解读模型)。自建AI的KRI依赖统计分析,需风险管理、审计、统计人员跨职能投入;示例:白箱回归用F检验、似然性、X²检验;公平性白箱用基尼系数、Kolmogorov-Smirnov检验等。模型验证 偏见
D部分 · 隐私和数据治理计划
- AI处理的数据量成倍于人类;不加控制→数据治理/隐私保护风险。AI也能简化治理:自动数据发现和分类、数据质量管理(检测异常并初步修正)、政策执行和合规性监控。注意:用于简化治理的AI,其自身输入数据的治理隐私问题应同等考虑。
1.14 数据治理
- 企业须编制详细的信息资产清单(定期审查更新);分类是确定保护等级的第一步;分类有助于统一看法、支持成本效益分析(实施适量控制防超支)。
- AI 特殊点:系统和用户操作之间的模糊性(自动决策AI尤其);偏见、透明度、可解释性等伦理问题须作为治理流程一部分。AI不免除员工的数据所有权责任;AI使用的数据须经数据所有者理解和批准;AI输出须有明确所有权;可解释性对GenAI至关重要。
- 数据最小化原则:AI仅访问执行批准目的所需的最少量数据;可用数据掩蔽或标记化最小化摄取/输出的敏感数据;AI输出须按数据分类保护。隐私
- 数据分类作为控制应定义五项:①数据的重要性;②数据所有者;③授予访问权限的流程;④批准访问权限和访问级别的负责人;⑤安全控制的程度和深度。高度敏感数据(如PII、商业机密)应标注;盲目把敏感数据输入有面向公众输出界面的AI→泄露风险。
| 级别 | 示例 | 说明 |
|---|---|---|
| 公开 | 营销材料、新闻稿 | — |
| 内部 | 业务计划、企业结构图、报告 | — |
| 机密 | 未公开财务信息、客户名单、支付卡信息、泄露有负面影响的合同 | 可能受HIPAA、PCI DSS管辖 |
| 受限 | 专有信息、受州和联邦法规保护的研究和数据 | 高度敏感,泄露可致刑事指控或法律罚款 |
- 数据同意:数据主体自愿提供的具体、知情、明确的声明或明确肯定行动。收集个人信息之前须获适当必要同意的三种情形:①开始搜集活动之前;②将个人信息用于最初搜集目的之外前;③将个人信息转移给第三方或其他司法管辖区之前。同意流程须满足使用AI(如自动决策技术)的明确通知要求。隐私
- 数据许可:规定AI开发者如何访问、使用、共享和分发另一实体数据的法律协议。三项考虑:数据所有权(明确输入和输出所有权,考虑IP)、许可限制(权限和限制;特殊条款如排他性、再分配权)、道德和法律合规性。数字:2023年4月–2024年4月,5%的所有数据和25%的最高质量来源数据受到了限制(Data Provenance Initiative)。Cambridge Analytica:未经适当数据处理协议或同意使用5,000多万Facebook用户个人信息→多国罚款→宣布破产。
| 大类 | 子类 | 含义 | 示例 |
|---|---|---|---|
| 定性数据(分类) | 名义 | 命名/标记,无法排序无法测量 | 男性/女性、眼睛颜色 |
| 序数 | 数据有顺序,除顺序外无其他含义 | A/B/C、1/2/3 | |
| 定量数据(数字,可测量) | 离散 | 有限单项、相互排斥 | 每周天数、儿童人数 |
| 连续 | 任何无限/有限数量 | 年龄/体重/大小 |
- GDPR第5(1)(b)条(目的限制):个人数据收集应基于明确、具体、合法的目的,不得以违背该目的的方式进一步处理。GDPR第5条(准确性):个人数据应准确、相关、最新,采取一切合理措施删除或纠正不准确数据。
- 数据清理五项任务:处理缺失值(估算或删除)、移除重复(重复带来偏差、扭曲分析)、纠正不一致(大小写/拼写/格式标准化)、修正录入错误、异常值检测和处理(移除/转换/保留)。
- DAMA 数据质量六个关键维度:唯一性(仅记录一次)、时效性、有效性(符合定义语法:格式/类型/范围)、准确性、一致性(同一事物的多个表述与定义比较无差异)。
- 数据保留:按计划、归档规则、数据格式、存储方法、访问和安全协议(标记化、加密、匿名化)保留;要求来源:内部要求(与数据使用限制政策一致)+法律法规外部要求;关注敏感数据(PII、PHI)。
| 硬聚类(排他性聚类) | 软聚类 | |
|---|---|---|
| 归属 | 每个数据点只能属于一个簇 | 每个数据点以0到1的概率关联,确定所属簇及隶属程度,可属于多个簇 |
| 典型示例 | K-均值聚类(K值代表分成多少个不同簇) | 模糊C-均值(FCM) |
| 特点 | 分组清晰明确 | 更灵活,捕捉微妙关系 |
- 聚类注意:开发者须确保适量人工参与;未经检查的无监督AI增加引入偏差的可能;基于AI聚类的决策责任须明确界定并建立问责制;建立监督机制发现改进道德问题。偏见
1.15 隐私考虑因素
- AI 数据隐私问题源于用含敏感/个人信息的大型数据集训练和运行AI系统。两种推断攻击:成员推断(确定训练数据集中是否包含特定样本)、属性推断(确定数据主体可能具有的敏感特征)。防御困境:模型在查询与训练数据一致的输入时表现最佳→提高数据相关性掩盖信息=刻意降低模型优化程度。
- 数据角色四分:数据保管员(负责存储和保护)、数据所有者(负责完整性、准确报告和使用)、数据保护官DPO(告知义务、监督遵守;GDPR下一些企业必须任命)、数据管理员(负责数据质量)。
| 法规 | AI相关条款 |
|---|---|
| GDPR(欧盟) | 个人有权不受自动决策技术制约;加强透明度和问责制,促进决策可解释性 |
| CPRA(加州) | 要求披露自动决策技术使用并提供选择退出功能;明确纳入推断攻击 |
| PIPL(中国个人信息保护法) | 使用AI系统决策时告知公民,并应要求对所做决定进行解释 |
- 共同主题:透明度(让用户了解AI决策过程及影响)、同意(明确同意)、公平性和问责制(不带偏见、可审计)、解释(有意义的决策逻辑信息)、选择退出选项。
- DPIA vs FRIA:DPIA(数据保护影响评估)是GDPR描述的风险评估形式,评估数据处理操作对个人数据保护的影响(尤其用新技术时);FRIA(基本权利影响评估)是《欧盟人工智能法案》第27条要求高风险AI进行的评估,评估对人类/社会基本权利的影响,DPIA不涵盖FRIA要求的权利范围。
E部分 · 人工智能的领先实践、伦理、法规和标准
- AI概念不新,但实际应用是新现实;最佳实践多未经检验;世界许多地方AI法规要么刚出台未经检验、要么空白。法律依赖最佳实践,最佳实践推动标准框架创建,标准帮助企业合规。
1.16 与人工智能相关的标准、框架和法规
- 最佳实践三来源:学术研究(如牛津AI问责制研究、斯坦福AI对美国黑人群体影响研究)、行业标准和框架(起草法律或制定法规时通常参考)、法律法规。目前大多数企业在三者+自身经验指导下制定自己的标准。
| 标准/框架 | 内容要点 |
|---|---|
| ISO/IEC 23053 | 使用机器学习的AI系统框架;描述使用ML技术的通用AI系统 |
| ISO/IEC 42001(手册作ISO/IEC 27001,疑为OCR误识) | 自愿性标准;信息技术-人工智能-管理系统;关注AI治理的道德使用、透明度和问责制;建立、实施、维护和持续改进AI管理系统的要求 |
| IEEE 7000-2021 | 系统设计过程中解决伦理问题的标准;在AI中植入人类价值观 |
| OECD人工智能原则 | 成员国建议;主要原则:透明度、包容性、可持续性、问责制 |
| NIST人工智能风险管理框架(AI RMF) | 协助企业识别、评估、降低AI系统风险 |
| 新加坡模型AI治理框架(PDPC制定) | 协助企业负责任地部署AI |
| 法规 | 内容要点 |
|---|---|
| 《欧盟人工智能法案》 | 根据风险程度对应用程序分类并提出相应要求(四级风险) |
| 《欧盟人工智能责任指令》 | 明确AI所致损害民事责任的指令提案 |
| 《美国算法问责法案》 | 要求公司评估自动决策系统影响并缓解风险 |
| 《美国国家人工智能法案》 | 加强AI研究、开发和部署;NIST AI RMF背后的推动力 |
| 中国《人工智能发展计划》 | 国家AI发展战略纲要(含道德准则和监管措施);以2021年《数据安全法》为依据 |
- 法规特点:为政府及其执法机构提供监督能力;相对较新、诉讼角度未经检验;多为国家层面草案;不合规可致罚款或其他处罚。
1.17 伦理考虑因素
- 开发人员须在项目启动前考虑伦理用例;总体原则:开发应用AI的方式符合社会核心价值观、促进社会公益、最大限度减少伤害;不应开发不符合这三项的AI。伦理审查尽早做,可纳入风险评估和变更管理流程。UNESCO EIA(伦理影响评估):评估AI整体设计开发部署,允许在系统向公众发布之前和之后评估风险。
| 类型 | 成因 | 案例 | 缓解 |
|---|---|---|---|
| 系统性偏见 | 源于特定机构的程序和做法,导致某些社会群体有利、其他不利;算法放大数据模式而不懂道德含义 | 2018年 Amazon AI招聘工具性别偏见(男性候选人更受青睐) | 部署前公平性限制或偏见审计 |
| 统计/计算偏见 | 样本不能代表总体而产生错误 | 2018年人脸识别研究:白人男性错误率0.8%、黑人女性34.7% | 改进训练数据集多样性 |
| 人为偏见 | 人类思维系统性错误,基于有限启发式原则(锚定偏差、确认偏差) | 不同用户为GenAI精心设计提示导致截然不同的结果和解释 | 用户意识培训;确保输出可引用、可解释 |
- 识别和解决偏差的工具:AIFairness360(IBM开源工具包,整个AI生命周期检查、报告、缓解ML歧视和偏见)、What-If Tool(Google开源,测试假设情况下性能、分析特征重要性、可视化模型行为)。差异性影响分析:各群体阳性检出率是否低于80%阈值,低于则存在歧视性影响。偏见
- 透明度和可解释性:AI应透明易解释,用户了解决策方式并验证有效性;当作黑箱→输出不值得信赖或意外后果风险更高。开发人员可能不愿披露过多(信息越多黑客越易发现漏洞);向非专业人士解释复杂程序难度高。IBM:透明度主要通过清晰的AI文档实现(模型信息、训练数据、假定偏差、公平性和可解释性指标、联系信息)。首要问题永远是"AI解决方案是如何得出结果的?",可用在输出中引用资料来源等方法解决。是许多新AI法律标准的核心要点。透明度
- 信任与安全:AI须按设计执行、不产生有害结果、值得信赖。Amazon招聘AI对候选人产生不利影响、失去信任后放弃使用(弃用成本高:沉没成本+潜在诉讼)。AI与真实世界交互时风险显著增加(如自动驾驶故障可致伤亡);最终开发AI的企业承担责任。AI系统最大风险
- 知识产权:未经授权使用受版权保护材料已致多起诉讼;Andersen诉StabilityAI案:艺术家对多个GenAI平台提起集体诉讼,指控未经许可使用原创作品。GenAI生成内容的版权所有者不确定(用户、开发者、训练数据所有者三方);企业政策应解决IP问题。
- 人权:AI缺陷(偏见歧视)可能侵犯人权→声誉受损、诉讼、财务风险。《欧盟人工智能法案》要求高风险AI进行FRIA:评估领域含识别分析AI系统、预期用途和决定对基本权利的影响、负面结果缓解计划;须考虑《欧盟基本权利宪章》。
- 对环境的影响:AI资源密集型→更多数据中心、电力。国际能源署(IEA):ChatGPT一次请求耗电约是Google搜索的10倍;爱尔兰到2026年数据中心能耗将占该国总量近35%;AI基础设施耗水量可能很快超过丹麦(600万人口)的6倍;关键矿物稀有元素多以不可持续方式开采。超过190个国家通过UNESCO关于AI伦理使用的非约束性建议;尚无专门针对环境的法律法规;开发者应主动考虑环境影响、提高算法效率。
本章高频考点速记
- AI类型辨析(功能 vs 能力):反应式/有限记忆/心智理论/自我意识 vs ANI(弱AI,限特定领域)/AGI(理论层面)/ASI(假设阶段)。聊天机器人=有限记忆AI(静态记忆库+动态存储器),是狭义AI的一种、是大多数AI所属类别。算法类型
- 三类偏见:系统性(机构程序/数据固有偏见,性别歧视)vs 统计(样本不具代表性,0.8% vs 34.7%)vs 人为(主观判断、启发式)vs 过拟合(捕捉噪声,影响准确性而非公平性)。差异性影响阈值80%。偏见
- 生命周期七阶段:规划与设计→收集和处理数据→建立和/或调整模型→测试评估核实验证→部署→运行和监控→退役/弃用;每个阶段都要考虑风险。核实=按规范正确构建;验证=符合预期用途、输出准确可靠。模型验证
- NIST AI RMF:治理(建立计划)→映射(识别了解风险)→衡量(量化分析处理)→管理(持续监督更新)。威胁四行为者:内部、民族国家、网络犯罪分子、AI开发人员。风险评估+专业怀疑态度。AI系统最大风险
- 风险偏好 vs 容忍度:偏好=战略性、企业层面、愿意承担的风险;容忍度=战术性、部门/项目层面、与偏好的可接受偏差(常指资金量)。风险处理:避免(消除)/缓解(降低)/转移(保险合同)/接受(承认+正式监控)。AI系统最大风险
- EU AI Act四级风险:不可接受(社会评分)→高风险(关键基础设施、执法)→有限风险(聊天机器人)→最小风险(游戏、垃圾邮件过滤器);监管水平与风险等级一致。AI系统最大风险
- 隐私法规AI条款:GDPR(不受自动决策制约权)/ CPRA(披露+选择退出+明确纳入推断攻击)/ PIPL(告知公民+应要求解释)。DPIA(GDPR数据保护影响评估)vs FRIA(EU AI Act第27条、高风险AI基本权利影响评估)。同意三情形:开始搜集前、超原目的使用前、转移给第三方前。隐私
- 数字阈值:聊天机器人KPI(满意度≥95%、解决率≥90%、误解率<1%、上报率<10%);KAIRI的SAFE(可持续性、准确性、公平性、可解释性);Google调查(2500人、74%获ROI、84%在6个月内投产、86%收入增幅≥6%);Cambridge Analytica(5000万用户);数据限制(5%/25%);环境(耗电10倍、爱尔兰35%、耗水6倍丹麦)。AI系统最大风险 模型验证
- 治理角色:AI指导委员会只做战略建议,不碰预算审批/开发监督/技术审查;CAIO向执行管理层报告;内部审计评估AI相关风险。AUP四要点:简单易懂、明确批准的解决方案、数据使用指导、培训。战略制定须高层认可、跨职能团队、不需要AI专家。目标一致性 审计如何利用AI
第2章 人工智能运营
本领域在AAIA考试中占 46%(约34道题),是全卷权重最高的领域,必须吃透。七个部分:A.针对人工智能的数据管理(2.1–2.7)、B.人工智能解决方案的开发方法和生命周期(2.8)、C.针对人工智能的变更管理(2.10)、D.人工智能解决方案的监督(2.11)、E.人工智能解决方案的测试技术(2.12–2.13)、F.针对人工智能的威胁和漏洞(2.14–2.15)、G.针对人工智能的事故响应管理(2.16–2.20)。
2.1 数据收集
- 核心论断:AI的基础始于良好的数据管理规范和控制措施;与AI相关的许多问题和风险都与数据问题有关(GenAI 幻觉 的关键因素:数据有偏差、不完整、标注不正确或不相关)。AI系统最大风险
- 数据与性能:数据大小、数量和种类与AI模型准确性能之间存在正相关。
- 大数据的五个V:速度(创建和传输的速度)、数据量、价值(企业能用数据做什么)、多样性、真实性(质量/准确性/完整性/可信性)。算法类型
- 同意:客户数据用于AI训练通常需要额外同意;GDPR要求处理个人数据前获得同意;《欧盟人工智能法案》第61条将同意扩展至在现实条件下测试高风险AI系统(须获知情同意)。客户拒绝/撤销同意 → 企业必须有流程把相关信息排除在训练数据集之外;授权方式可选 opt-in(选择加入)/ opt-out(选择退出)。隐私
- 切合目的:AI不切合目的的迹象 —— 数据企业有但模型拿不到/不好拿;数据的粒度、体量、真实性不够;用例属于法规限制/禁止的高风险场景。隐私
- 数据滞后 / 模型漂移:训练耗时数周到数月,训练时的数据与投入使用时的新数据存在差异 → 模型对实时决策的相关性和准确性下降。缓解:① 模型较小且权重已更新时,用更新数据重新训练新版本;② 应用 RAG(检索增强生成):基础模型不变,输入先以最新具体数据为基础建提示。漂移
2.2 数据分类
- AI背景下数据分类风险更严重;企业需按敏感度对数据组织分类。
- 匹配原则:模型训练所用数据的敏感性应与模型最终用户相匹配 —— 用于公共用途的模型若在机密客户数据上训练,会导致敏感数据泄露风险。隐私
2.3 数据机密性
- 要在整个AI开发生命周期和平台中保持数据机密性,各环节要点:
- 数据源:训练数据可能被混淆/加密(需知原则);提取时可能丢失元数据(所有者、分类),访问/掩蔽控制也可能带不到下一阶段。
- 数据湖:汇总结构化与非结构化数据便于建模;不同分类级别数据混合时须谨慎 —— 不保留访问控制则受限数据会被更广泛用户获取。
- 数据探索和训练平台(Jupyter Notebooks、SageMaker):不同分类数据可存于 notebooks 中。
- 矢量数据库:文档/图像/音频被处理成向量(数学表示+元数据),原始文本不存储;需新型访问控制模型。
- 生产型AI系统:模型经软件实施使用;实时生产数据经预处理管道产生推断结果;分类和处理协议也必须落实。
- 备考抓手:凡题干出现"数据湖""notebooks""向量数据库" → 想到跨环节访问控制断裂的风险点。隐私
2.4 数据质量
- AI输出结果仅与其训练数据的质量保持一致;数据质量往往与模型性能成正比。偏见
- 数据质量的六个维度(必记):
维度 含义 例子 准确性 数据无误,代表真实世界 客户地址的错别字、翻译或换位错误 完整性 包含所有必要字段和记录 必填字段填满、无截断 一致性 各数据集统一、标准 日期格式 2024/05/01 与 05/01/2024 及时性 数据最新、需要时可用 实时GPS导航需最新坐标 有效性 符合业务和技术逻辑 客户信息按活跃用户账户库验证 唯一性 无重复或多余记录 每位客户分配唯一标识
2.5 数据平衡
- 训练数据分布倾斜/不平衡 → 少数类样本不足 → 模型产生有偏差或不准确的结果;过度补偿少数类也可能超过现实分布。
- 缓解:在模型开发过程中尽早解决;剖析数据评估分布;过采样、欠采样、成本敏感算法。偏见
- 考试高频:AI输出对某些人群统计偏差 → 最佳对策是增强训练数据集的多样性(查算法错误/升算力都解决不了人口统计偏差)。偏见
2.6 数据稀缺
- 问题:数据总量大,但真正可用(已获同意/许可、兼顾合规)的数据严重不足。原因:数据质量问题、少数类/多样化数据缺、同意或许可缺、数据"被困"在其他源系统、标注数据缺。
- 缓解两条线:
- 数据增强:采购目标数据填缺;生成合成数据补数量/多样性缺口;精心选择算法估算缺失值;
- 模型选择:选择与数据集适配度高的模型,以避免过拟合。
- 题干若问"数据不足导致过拟合风险" → 模型验证的考点。偏见 模型验证
2.7 数据安全性
- 应在整个AI生命周期中评估数据安全风险和控制;执行GDPR等隐私法规;注意本地化数据驻留法对个人数据使用的限制。
- 数据编码:训练前需标记化(tokenization);标记化数据常存为二进制文件(TensorFlow的 TFRecords);训练中词元/嵌入存于内存或GPU;中间状态存为检查点(ckpt / pth);矢量数据库要访问控制+加密。隐私
- 数据访问:数据汇总到中央位置(数据湖)成为攻击者主要目标;数据科学家探索数据可能拓宽最小特权原则的定义;审查数据流,确保源到目标访问控制一致;数据仅能被已知且授权的系统访问。隐私
- 机密性/保密性:AI训练要求数据机器可读(BPE、WordPiece标记化用明文),敏感数据可能在生命周期中被解密;同态加密可在不解密下训练,但计算成本高、使用受限;补偿控制:限制访问未加密生产数据、监控敏感数据使用、磁盘级加密做深度防御。隐私
- 数据备份:AI新工件需备份 —— 后处理训练数据、标记化训练数据(二进制)、模型权重、模型架构参数(层数、嵌入大小,存JSON/YAML);GenAI模型非确定性,解释特定结果更困难 → 必须保存训练和测试数据集副本及性能与偏差测试结果。模型验证
- 数据完整性:危及情形有数据投毒(改训练数据影响行为)、模型篡改(改权重/结构/参数)、嵌入篡改(改嵌入矩阵);预处理 ETL(提取、转换、加载)各阶段都可能出错,定义/记录/测试ETL逻辑是完整性控制示例。AI系统最大风险
2.8 人工智能解决方案开发生命周期
AI开发是高度迭代的过程,每阶段依赖前一阶段;数据治理控制的可操作性至关重要;瀑布式和敏捷式都不能完全满足AI开发,混合使用两者效果更好。模型验证
- 2.8.1 用例开发:AI项目失败主因是业务用例不适合AI。失败共同因素:误解要解决的问题、缺乏高质量数据、没解决业务问题、基础设施不足、把AI用于AI解决不了的问题。好用例三属性:聚焦问题(聚焦业务问题而非技术、了解AI局限性)、数据质量(数量足、干净、有条理、标注正确)、业务和技术伙伴关系(成功指标是业务指标而非模型性能)。模型验证
- 2.8.2 设计:探索数据集确认数据是否适合解决问题;数据摄取汇总多源数据到数据湖;特征选择/特征工程 —— 特征过少 → 欠拟合(捕捉不了数据关系、泛化不足、可解读性不足);特征过多 → 计算成本高、可解读性差。深度学习可自动提取特征(LLM中标记化和嵌入的选择是间接的特征工程)。评估设计须确认算法和训练数据集是否符合目的;有监督模型更易评估,无监督自学模型需更深入检查;底层训练数据集是解释AI模型输出的关键。算法类型 模型验证
- 2.8.3 开发:
- 开发环境:AI开发中真实数据必不可少(传统软件非生产环境通常不用真实数据);治理控制应扩展到非生产环境甚至本地机器。
- 数据预处理:缺失值归因、归一化、去重、去异常值;降维技术助益其他ML模型;伦理合规:移除选择退出/敏感数据是防止模型输出泄露的关键;LLM需标记化。
- 数据集准备:监督学习需标注数据;数据集至少分成三块(交叉验证,减偏差、提泛化),拆分须保持分布一致:
数据集 占比 用途 训练数据集 60%–80%(最大) 训练模型 验证数据集 10%–20% 验证性能、调整超参数、选择最佳模型 测试数据集 10%–20% 全部训练完成后做最终评估 - 模型训练:设置超参数(批次大小、注意力头等);小模型训练几小时、大模型可能数周、成本可达约100万美元(还影响可持续发展目标);防过拟合:提前停止训练、训练中随机放弃节点(dropout);定期保存训练进度防中断丢失。
- 2.8.4 评估:用验证数据集评估精确度(precision)、召回率(recall),用F1分数结合两者;未达标则调整超参数反复训练,最后用测试数据集做最终评估;还要评估有害/恶意输出(GenAI有害内容多归因于数据集已有的有害有毒内容);必须保存测试与评估工件:模型可解释性证明与针对恶意/有害输出的测试措施。模型验证
- 2.8.5 部署:将模型封装在软件中供用户使用;新真实世界数据提交模型做推理(用训练好的模型对从未见过的数据产生输出)。模型验证
- 2.8.6 监控和维护:数据漂移(新输入特征变化,如季节性、偏好变化)与模型漂移(模型内部出现以前无法识别的新模式)统称漂移 —— AI系统性能随时间下降。必须监控性能、诊断漂移,必要时用新数据集更新模型;维护还包括改进架构、采纳用户反馈、抑制有毒/有偏见输出模式。漂移
- 2.8.7 弃用:弃用不只是关闭推断服务,基础AI模型的衍生版本也要纳入弃用范围;大模型靠剔除数据重训练实现部分"遗忘"不切实际。变革管理
↑ 漂移监控闭环(2.8.6 监控维护 + 2.11.2 AI可观测性)。题眼:"模型随时间性能下降" → 漂移,应对是持续监控 + 重新训练,注意与"验证(部署前)"区分。漂移
2.9 隐私和安全设计
- 2.9.1 隐私设计(Privacy by Design):从项目一开始就将隐私控制嵌入技术设计,而非事后补救;动机不是停止用数据,而是合乎道德地继续用数据;被公认为全球隐私标准。七项基本原则(Cavoukian):① 主动而非被动;预防而非补救;② 隐私作为默认设置;③ 将隐私融入设计(与性能/功能/可用性同等关注);④ 功能齐全:正和而非零和;⑤ 端到端全生命周期保护;⑥ 可见性与透明度(问责、信任度量);⑦ 尊重用户隐私、以用户为中心。另记英国ICO七隐私原则(含数据最小化、准确更新、保留期限、主体权利如访问请求/纠正/反对直接营销)。隐私
- 2.9.2 安全设计(Security by Design):设计之初就考虑网络安全;应用纵深防御;默认安全:产品自带针对最常见威胁和漏洞的保护措施,无需任何额外费用。CISA三项原则:① 对客户安全性结果负责;② 支持彻底的透明度和问责制;③ 建立实现目标的组织结构和领导能力。AI系统最大风险
- 2.9.3 可解释性(Explainability):AI模型庞大复杂(数十亿参数)、可自我学习,人类无法全面解读。GDPR赋予欧盟数据主体与自动化处理决策相关的权利;《欧盟人工智能法案》第86条进一步赋予个人决策解释权。提高可解释性的技术要点:解释AI治理规定;解释训练数据中的个人数据;解释同意与选择退出控制;解释数据清理过程;解释安全控制措施;记录模型设计/超参数/评估指标;解释训练-评估-验证流程(含对抗性、偏差和毒性测试)。透明度
- 2.9.4 鲁棒性(Robustness):意外输入/条件变化/网络攻击下仍能继续执行任务,以安全失效(safe failure)模式处理错误。实现技术:数据输入验证检查(净化数据,缓解提示注入等输入攻击);推断中限制和节流(防无限循环/资源失衡);输出不符合准确率/精确度/召回率/信任度/安全指标时安全方式失效,避免有害输出。AI系统最大风险
2.10 变更管理考虑事项
传统软件和AI系统的共同目标:所有参与/受影响方了解正在发生什么;服务质量和可用性影响微乎其微。实现要素:受控且结构化的变更流程与程序、测试的角色与重要性、回滚计划、利益相关方管理实践。AI带来额外差异,需针对AI变更管理风险实施额外控制。变革管理
↑ 通用变更流程 + 手册2.10的AI三点差异。说明:手册未给出逐字流程步骤,上图是把2.10要求的"受控且结构化流程、测试、回滚计划"与AI特有考虑结合的备考框架。
- 2.10.1 数据依赖性:AI模型对训练数据极其敏感,对数据源和预处理变化也很敏感;数据输入属性的意外变化会出问题。企业应记录模型需要的数据输入要求,确保与生产输入一致;数据变更需额外预处理(标准化和归一化);数据漂移监控必须纳入AI变更管理计划(自我评估Q2考点)。变革管理 漂移
- 2.10.2 人工智能模型:模型是AI系统核心,行为可在推断时按参数调整(如GPT-4的温度参数);模型可互换,输出可能剧变;对基础AI模型的治理应作为企业变更管理计划的一部分。变革管理
- 2.10.3 监管和社会影响:法规才刚开始跟上技术发展,监管环境将继续演变;社会既有拥护也有抵触,有人担心AI取代劳动力。变革管理
- 2.10.4 紧急变更:AI变更管理计划须涵盖紧急变更的授权与流程。变革管理
- 2.10.5 配置管理:AI开发中的可配置项目记录在案,按风险和安全要求配置、监控和修补;配置管理监控可提供风险检测与缓解。变革管理
2.11 人工智能自主行为能力
AI技术赋予AI自主行为能力(独立行动和决策的能力);AI代理常被用于执行特定任务、自主决策并据此行动。随着代理权和自主权增大,企业应立即实施指导和指示,监督AI的决策、输出和影响。AI系统最大风险
- 2.11.1 记录和监控:深度学习模型最难理解(数据规模大、计算维度高);应透明化、详细记录决策路径(让设计师看到"思维链"每条神经网络路径的输入输出);数据输入与推断输出配对创建审计日志;选择性记录关键步骤平衡详尽度与实用性;记录数据输入、模型参数和版本、数据输出可提供审计线索,用于排除性能问题。审计如何利用AI
- 2.11.2 人工智能可观测性:积极的AI监管方法,用实践和工具确保AI系统的可用性、可靠性、性能和可信度。四个类别:
解读深度学习模型的策略:反事实解释(最小改动特征值即改变预测);特征可视化(激活的学习特征可视化为易理解概念);影响实例(删除训练实例看行为变化;影响函数和删除诊断是AI模型的最佳调试工具)。漂移 透明度
类别 监控内容 数据管道 输入AI系统的数据,发现潜在滥用(如提示注入);预处理中数据质量问题可被观测解决 基础设施和系统 系统健康、功耗、处理遥测,防资源过载;支持SLA承诺;监控存储消耗管成本 模型性能 收集输入输出+用户反馈创建反馈回路,检测数据/模型漂移及幻觉 可解读性 收集分析遥测数据解读决策路径;回归树/决策树较易解读,深度学习隐藏层使解读难度倍增 - 2.11.3 人机回环(HITL):关键决策和行动的人类监督策略;人类是批准AI工作流程的最终决策人,须满足指定条件并明确批准后才能继续;会减慢AI系统,设计实施要谨慎。目标一致性
- 2.11.4 幻觉:AI预测与输入数据或现实不符,GenAI中更常见。常见原因:① 有缺陷的训练数据(未充分清洗/标注,含偏差或虚构数据);② 缺乏现实世界的基础(AI的"真理"存在于训练数据,预测词元生成的结论可能不存在/不可能);③ 数据输入不明确(输入不足或有偏见/有害)。减少策略:高质量、多样化、相关数据;输入和输出防护措施;使用模板(给输出结构、保一致性)。AI系统最大风险
2.12 将传统软件测试技术应用于人工智能解决方案
- 2.12.1 A/B测试:比较两种选项哪种更好;可用于AI —— 改变数据集不同特征评估特征对模型的影响;不同模型架构、超参数甚至算法都可用A/B测试。模型验证
- 2.12.2 单元测试和集成测试:把AI系统分解成更小组件做单元测试(如Google地图的多模型功能可单独测);集成测试测组件累积影响,数据流和AI流水线是重点(如净化提示注入指令的数据输入净化失效,AI可能执行恶意操作)。模型验证
- 2.12.3 目标核实:重新审视计划目标,确保实现KPI:预测准确率、推断时间、每千次预测的服务成本;高层批准投入使用前须核实目标已实现。模型验证
- 2.12.4 代码审查:AI仍经软件开发实施;代码审查是测试源代码的重要组成部分。但对大型复杂非确定性模型,代码审查不是完全解读决策的可行方法(超高维数字矩阵人类无法消化);对较简单确定性模型才有效。模型验证
- 2.12.5 黑箱测试:无源代码时系统性检查系统对不同刺激的响应;在某些情况下是测试AI模型的唯一方法 —— 改变数据输入可绘制AI系统的决策路径;缺点是耗费大量资源和时间。模型验证
2.13 针对人工智能的测试技术
- 2.13.1 模型卡:伴随AI模型的文件,提供架构、训练数据集、性能指标、用例限制的简明信息;提高透明度和信任度;不能完全依赖模板,可按企业需要调整。透明度 模型验证
- 2.13.2 偏差测试:训练数据集中的偏差会被模型继承(偏见形式:年龄、性别、种族、文化、宗教);必须在生命周期各个阶段明确测试偏差;"左移"(shift left) —— 在数据清理和预处理阶段早发现早纠正,避免代价高昂的重新训练;训练后重复偏差测试验证缓解,若偏差持续则重复清理+重训直到达标。偏见
- 2.13.3 对抗性测试:类似安全红队/道德黑客,故意输入恶意数据获意外错误响应,测试系统适应能力;MITRE ATLAS(《人工智能系统对抗性威胁全景图》)是供AI红队利用的对抗性战术与技术知识体系。AI系统最大风险
↑ 测试技术分类图。备考边界:代码审查对大型非确定性模型不可行 → 黑箱测试可能是唯一方法;偏差测试要"左移";模型卡提高透明度但不能完全依赖。模型验证
2.14 人工智能相关威胁的类型
背景数字:2010年代AI采用率徘徊在 20%–30%,自2023年以来飙升至 70%以上。按 OWASP AI Exchange,AI威胁分布于三大攻击面:开发时威胁(工程环境和供应链)、运行时安全威胁(传统IT漏洞,如SQL注入、密码猜测、绕过访问控制)、使用过程威胁(正常使用期间的输入输出活动)。AI系统最大风险
| 威胁(手册小节) | 原理 | 影响 | 应对 |
|---|---|---|---|
| 2.14.1 训练数据泄露 | 供应链系统访问控制薄弱(数据源、预处理平台、Jupyter等);训练平台缺数据外泄控制,一行Python代码即可把数据拷出企业控制范围 | 敏感/个人数据外泄 | 强大的基础设施和网络访问控制 + 应用级监控 |
| 2.14.2 数据投毒 | 训练数据集中插入恶意/错误数据;入口:数据源头、供应商、传输过程、预处理 | ① 创建后门/木马改特定行为;② 破坏模型(安全、信任、性能) | 数据完整性控制、供应链访问/变更日志监控、数据集版本和哈希值审查 |
| 2.14.3 模型投毒 | 三法:① 对数据投毒;② 直接改模型参数/架构/训练库;③ 从第三方预训练模型供应商处投毒 | 模型行为被操纵 | 访问控制并定期审查 |
| 2.14.4 模型窃取 | 攻击者进存储文件/内存/代码库;或运行时精心制作输入、分析输出,推断参数、特征甚至训练数据重建模型副本 | 知识产权损失;被窃模型助长后续对抗攻击 | 模型工件访问控制和最小特权 |
| 2.14.5 提示注入 | 针对GenAI的对抗性攻击;专门制作的文本提示让模型忽略原始指令、转而遵循攻击者指令(类似SQL注入);含直接注入和经由外部来源/RAG内容的间接注入 | 模型被诱导执行恶意操作 | 提示模板(强制结构、净化输入)+ 输入/输出验证 |
| 2.14.6 模型规避 | 攻击者专门修改数据以规避AI模型的正确预测并导致错误 | 错误分类、错误检测(如恶意邮件被误判为安全) | 输入验证/净化、鲁棒性设计 |
| 2.14.7 模型反演 | 攻击者研究输入输出、调整输入观察反应,提取敏感或私人信息;可实现属性推断、成员推断(特定记录是否在训练集中)、重建训练数据集 | 训练数据隐私泄露 | 正则化(模糊决策边界)、防御性蒸馏 |
| 2.14.8 使用供应商AI的威胁 | 企业用开箱即用(OOTB)GenAI模型;开发阶段威胁或非企业责任,但数据和模型中毒的影响仍会传导给企业 | 供应链风险外溢 | OWASP针对OOTB场景调整的威胁模型和控制 |
| 2.14.9 AI解决方案的颠覆 | 发送大量或计算密集型推断请求 | 拒绝服务(DoS)或性能下降 | 速率限制、资源节流 |
区分记忆:模型规避 = 欺骗模型(让它判错);模型反演 = 提取信息(从输出反推输入/训练数据)。提示注入的案例考点:GenAI发出逐步提高生产线速度、超越安全限制的指令 → 最可能提示注入(而非模型窃取/数据泄露/过拟合)。AI系统最大风险 隐私
2.15 人工智能相关威胁的控制措施
- 传统安全控制依然重要,是可信AI的基础。训练数据集用访问控制和最小特权防泄露和中毒;模型工件同样用访问控制和最小特权防被盗和中毒;访问控制扩展到供应链整个系统。
- 数据机密性、最小化、完整性控制保护个人数据隐私;训练要求数据可读,加密数据集不实用,但静态数据和传输中数据加密仍是适当控制;数据完整性是AI解决方案的重中之重,是防数据和模型中毒的关键。
- 安全性监控扩大到AI所有系统;AI可观测性检测运行时/使用中攻击;传统威胁与AI特定威胁的遥测结合,提供更广攻击链覆盖。
- 2.15.1 威胁和漏洞模拟:传统漏洞/代码扫描不能充分识别AI特有威胁(缺训练数据、算法、参数背景);但安全编码基本要素(速率限制、输入验证/净化、故障关闭)在AI开发中仍适用。AI系统最大风险
- 2.15.2 提示模板:控制AI数据输入,对指令标准化、净化,限制模型接受指令的多样性;有效预防/减少提示注入;作为额外预处理步骤;标准化还提高输出性能。(自我评估Q3考点:防提示注入最佳措施 = 提示模板)。AI系统最大风险
- 2.15.4 防御性蒸馏:训练两个模型 —— 原始教师模型和蒸馏模型(按教师结果训练、随后用于推断);蒸馏模型更鲁棒,更能抵御对抗性攻击。AI系统最大风险
- 2.15.5 正则化:防止过拟合、提升泛化能力;通过模糊决策边界降低推断类攻击的影响。AI系统最大风险
2.16–2.20 人工智能事故响应(ISO/IEC 27035-1:2023 五阶段)
传统事故原因易理解;ISO/IEC 27035-1:2023 概述处理安全事故的五阶段流程:准备 → 发现和报告 → 评估 → 响应 → 事故后。AI事故包括:滥用AI输出危害社会;披露训练数据中的机密/个人数据;错误、幻觉或有偏差的预测。AI系统最大风险
2.16 准备(阶段一)
- 事故响应政策应涉及AI特定威胁、检测和响应技术及伦理考虑因素;保存详尽文档(如模型卡)助调查;文档包括内外部利益相关方的沟通计划和上报协议。
- AI事故响应团队除传统IT/安全人员外,还应包括:数据管理员/所有者(领域专家)、数据工程师和科学家(解释异常输出)、隐私专家(数据主体权利与合规)、AI伦理学家(新型利益相关方)。
- 桌面演练:SOP训练(审计日志、取证工具、模型卡);数据中毒取证 ≠ 传统漏洞取证(需访问/复制数据中毒的数据湖,靠数据工程团队合作分析);演练调整为AI活动(数据集探索、数据输入输出分析)。AI系统最大风险
2.17 识别和报告(阶段二)
- 难点:AI输出基于数学概率,一定比例错误预测不可避免;设定阈值把错误预测归类为事故时,检测更具挑战性;AI可观测性对检测至关重要;需为AI性能和规范行为设定基线;有些检测靠工具自动化,其他需HITL主观判断。
- 常见攻击的检测技术:
攻击 检测技术 提示注入 评估和净化输入的流程;监控输入数据,识别与预期不典型的模式(代码式结构、特殊字符过度使用、大量但微妙的变化) 数据中毒 监控数据供应链系统的访问和变更日志;审查预处理脚本是否有未经授权更改;审查数据集版本和哈希值 对抗性推断 分析API调用日志;扫描系统性对抗性测试的异常模式 - 数据投毒比传统数据丢失/泄漏更难发现;恶意注入可发生在数据管道多个阶段。AI系统最大风险
2.18 评估(阶段三)
- 收集事实确定时间线、范围和影响(不损害调查完整性前提下尽快完成);AI模型的文档记录助评估。必问清单:事故已停止还是仍在进行?真相是什么?谁受影响、有何伤害?何时发现(决定违规通知要求)?发生了什么?哪些AI系统和数据受影响?用了哪些攻击战术?恢复所需还缺什么信息?AI系统最大风险
2.19 响应(阶段四)
- 分三步,传统策略仍适用但因AI复杂性和概率特性效果打折:
步骤 提示注入 数据投毒 对抗性推断 遏制 数据输入/输出验证 + 提示模板筛选净化滥用提示 取消数据管道所有系统对数据集的访问;禁止访问预处理代码/脚本 额外的数据输入节流、验证和净化 根除 重新训练/微调(LLM重训练不切实际时,输入/输出验证+提示模板是有效长期控制) 隔离移除中毒数据并重新训练;短期净化输出缓解;长期用干净数据选择性重训练迫使模型"遗忘" 正则化、防御性蒸馏 恢复 减少攻击面防复现;积极监控残余威胁;持续改进模型;实施更严格访问控制和新输入/输出验证;新控制经事故后验证并获所有利益相关方批准后重新启用 - 若人的生命和安全受威胁必须立即行动;因AI复杂性,隔离/禁用某些AI功能的遏制策略可能难以部署。AI系统最大风险
2.20 事后回顾(阶段五)
- 事后分析确定改进方面:数据预处理、安全控制、对抗测试充分性、输入/输出控制、输出的公平性、AI提供商的控制环境和流程;从被动响应转向主动准备,最大限度减少未来AI事故影响。AI系统最大风险
附:ML学习范式分支图(手册1.2.1/1.2.2)
机器学习主要有三大范式,另附深度学习(神经网络的延伸)。三大范式内容源自手册1.2.1正文,此处供2.8开发阶段"模型选择"时对照。算法类型
第3章 人工智能审计工具和技术
本章是领域3的核心(考试比重 21%,约16题),有两个主线:一是怎么审计AI(审计规划、测试、抽样、证据、报告),二是怎么用AI做审计(LLM、数据分析、持续监控提效)。手册把本章分成 A~E 五个部分:A.审计规划和设计(3.1~3.5)→ B.审计测试和抽样方法(3.6~3.9)→ C.审计证据搜集技巧(3.10~3.12)→ D.审计数据质量和数据分析(3.13~3.15)→ E.人工智能审计输出和报告(3.16~3.18)。
3.1 识别人工智能资产
- 人工智能解决方案(AIS)≠传统IT资产:一个AIS可能有多个所有者、多个模型和版本,包含多套数据集(训练数据集+生产数据源)、多种算法,涉及多个SDLC,还牵扯第三方工具(如开源AI、MLflow、Kubeflow、Amazon SageMaker、Azure Machine Learning)和多套法律法规。
- 发现AIS要结构化方法,结合治理、风险管理、IT运营和内部审计。内部审计不应领导或管理这项工作,应由负责企业AI和/或数据管理的部门牵头。
- 人工智能使用政策是AI清单的良好起点;清单至少每年更新一次;自主开发AIS的企业要建人工智能模型目录。
- 清单目标是确定正在使用的AI资产,而不是惩罚使用者——企业沟通要明确:无人会因披露AI使用而受训斥。
- 清单标准化字段(背下来):AIS名称、版本号、许可证、成本、部署方式、AIS目的、使用频率、利益相关方、企业负责人、第三方/供应商信息。
- 调查:一定程度的匿名鼓励如实回答;完全匿名降低问责性;量化问题便于结构化数据。
- 访谈:问题必须标准化;员工说"ChatGPT"时要追问区分 OpenAI / Claude / Google Gemini / Microsoft Copilot。
- 影子人工智能(Shadow AI):部门绕过IT从外部引入部署AIS,所有权分散。目标一致性
3.2 人工智能控制类型
审计师的角色是验证控制措施,而不是执行控制措施——验证"有没有用偏差检测工具、有没有做公平性测试",而不是亲自去跑工具。这是本章最高频的角色边界考点。
| 控制类别 | 核心内容 | 备考抓手 |
|---|---|---|
| 治理与组织 | 问责制(RACI矩阵)、CDO/CAIO、AI政策、AI资产管理(登记表:目的、利益相关方、成果、版本和生命周期)、风险管理(风险委员会、KRI、供应商风险)、AI法律合同 | 每项AI资产都要有明确的、记录在案的所有权 |
| 技术、安全与隐私 | 数据质量阈值与监控、访问控制(数据分类+MFA+定期重认证)、配置管理、测试框架(端到端、场景分析、偏见和公平性测试)、隐私(加密、哈希、去标识化、匿名化、密钥管理、隐私影响评估)、数据管理、AI事故管理 | 隐私三件套:加密、去标识化、匿名化 |
| 运行和生命周期管理 | 数据流图DFD(逻辑流、物理流、上下文流)、AI决策文件(可解释性文件讲清"数据输入→决策输出")、模型文档、版本控制、变更管理 | DFD三种流;可解释性文件 |
| SDLC | 控制取决于开发方法(DevOps/DevSecOps vs 瀑布式);大多数项目失败是因为需求不明确或不完整、领导力不佳 | 项目失败首因 |
| 法律、合规和监管 | 风险与影响评估(《欧盟人工智能法案》、纽约市地方法律第144条);高风险系统必须做FRIA基本权利影响评估;DPIA数据保护影响评估专管隐私风险;AI举报程序 | FRIA管高风险,DPIA管隐私 |
| 伦理与人文价值 | 伦理影响评估、同意管理(选择退出权、被遗忘权)、偏差管理、透明度和可解释性、人力监督(人工监督程序、AI决定的上诉流程、内部独立AI伦理审查、公平性指标的人为审查) | 可解释性工具三件套见下 |
- 可解释性工具:LIME(本地可解释模型,解释个别预测)、SHAP(给单个预测提供特征重要性)、基于规则的建模。透明度
- 偏差管理:评估测试过程和结果中的偏见;验证代表性数据取样;定期执行FRIA。经典案例 Gender Shades:深肤色女性错误率 34.7%,浅肤色男性仅 0.8%。偏见
- 隐私控制关键词:加密、哈希、去标识化、匿名化、密钥管理、日志监控、定期隐私影响评估。隐私
3.3 人工智能审计用例
本节是"用AI做审计"的集中展示,记住"AI能替审计师干什么"。
- LLM用例:①合同分析——把测试标准应用于全部合同(逐项比对服务报告 vs 合同约定);②数据分析——只读访问多个财务数据存储库,测以前测不了的领域(如虚假/重复发票);③风险评估——输入各部门+外部+第三方报告,预测风险随时间升高的领域,变被动为主动。
- 审计流程改进:报告和重复性活动自动化(如人工对账测试),审计师聚焦高技能领域;按能力/培训/兴趣模型分配审计师,定期轮换保客观、防共谋、防倦怠;AI虚拟助理做同行评审、写调查结果、生成状态报告;NLP记录访谈、总结内容、比对访谈差距;GenAI结合审计数据生成补救建议。
- GenAI用例:审计规划(研究新兴技术、定潜在风险领域、建议审计领域);生成指示性审计范围(含最新威胁漏洞风险的访谈问题)。
- 审计专用AI应用:①审计抽样——数据提取分析工具可对 100%总体做完整性测试(如100%变更工单按策略测试),取代手工抽小样本逐张核验;注意要保证对数据源和容器的只读访问。②本福德定律——测数据集总体分布,识别捏造或篡改。③异常检测——SIEM用机器学习建基线行为剖析、实时分析。④持续监控——自动测试+报告生成取代人工重复审计(如每月企业信用卡测试)。⑤流程自动化——每月自动访问、提取、加载、测试、识别异常、生成可视化报告。审计如何利用AI
3.4 人工智能使用内部培训
- 先统一定义:记住AI系统是为接受训练而创建的,编程方式与其他应用不同。
- AI层级:人工智能 → 机器学习 → 深度学习;数据科学、生成式AI也在层级视图中。
- 常用术语:AI(按预置规则模拟人类能力)、AGI通用人工智能(能做人类任何智力任务)、ANI狭义人工智能(限特定领域)、ML机器学习(按输入数据建训练预测模型)。
- 审计人员关键AI教育领域:技术知识、AI基本概念术语、常见模型应用、偏见、治理、道德、可信性、AI风险评估框架、针对审计的AI应用、监管合规要求。
- 偏见要点:AI非常善于区分,所以偏见往往是其设计中无意的一部分;测试AI成果、验证成果测试是审计人员基本技能。偏见
- 可信赖AI核心理念:可解释的、透明的、公平的、稳健/可靠的、可理解的、可问责的、安全的。
- 技能培养:IT+数据科学+道德+行业知识;案例研究、真实场景、模拟演练是最好的实践技能培养方式。
3.5 设计人工智能审计
- 先定审计范围和目标;伦理、可信度、隐私必须纳入审计工作。
- AI审计师必须确定并报告AIS的维度:效率、操作控制、安保、安全、监管合规、道德和信任,以及AI相关的企业治理、流程和问责制。
- 范围确定用自上而下方法论:高度依赖审计师及审计管理层对AI投资长期风险影响的关注——监管不合规、伦理问题、声誉损害、AI部署的可持续性/寿命/维护。
- AI审计总体目标(按手册顺序):①开发时采用与企业目标相一致的综合方法;②设计和拟议成果决策符合企业战略目标;③遵循并报告项目管理和财务报告与控制;④有效透明地监督SDLC;⑤验证符合法律法规;⑥向责任所有者和AI治理委员会提交成果、性能、义务和道德的指示性业务报告。目标一致性
- 资源:适当时用有技能的员工或外部顾问咨询/共担审计。
3.6 人工智能审计测试方法
图3.6把AI审计测试分成五个领域,按生命周期走:
AI的用途"] --> D2["开发
如何创建AI方案"] --> D3["测试
AI方案的性能"] --> D4["部署
如何发布使用"] --> D5["运行
如何监控使用"]
- 定义:业务案例需求(目标、问题陈述、业务价值)、变更管理、用例、数据来源、计划时间表、依赖项、风险识别、用户透明度(内外部)、伦理考虑、采用计划。
- 开发:数据治理(政策遵守、访问控制、数据保留);总体抽样(训练数据是否代表全部数据,含边缘案例、人口多样性、数据子群;1000条记录的数据集,100条样本在统计学上就够了);数据质量(是否"被污染":重复、错误、错字、特殊字符);抽样方法(随机、人工/随意、按关键参数分层);数据完整性(收集汇总移动的方法和控制、访问受控、原始集样本 vs 整合集样本比对)。
- 测试:模型开发调整(模型试验、公平性和算法偏差分析、透明度和可解释性措施、决策逻辑、向利益相关方披露、选择退出流程、用户权利);模型性能(预测正确频率、SLA符合性;分类模型看 F1分数、召回率、混淆矩阵);界面集成(总体性能、UAT、用户反馈);合规(ISO 27001、GDPR、CPRA、《欧盟人工智能法案》);伦理(问责、透明、可解释)。模型验证 隐私
- 部署:发布管理计划、回滚计划、内外部用户培训、部署流程、监管机构通知。
- 运行:用户支持、绩效报告(随时间推移和数据变化验证模型准确性)、运维一体化持续改进、模型/系统/接口更新修补。漂移
- 金融模型额外考虑:日记账测试(金融审计特有);验证AI决策生成的自动数据录入;引用测试日志(模型训练日志、金融决策日志、审计跟踪);职业怀疑——所有证据都要验证和质询:批判评估开发流程和控制、询问数据收集方法、探究错误/操纵/欺诈导致的错报、验证算法测试结果(如偏差)。
3.7 人工智能抽样
AI审计与传统审计的最大区别是数据量大、种类多,审计师测不完所有数据,必须抽样。抽样分两类:
概率抽样"] R --> N["非统计抽样
非概率抽样"] P --> P1["随机抽样
全部记录中随机选取"] P --> P2["分层抽样
按关键特征分层后抽取"] P --> P3["数据分割考虑
按训练验证测试比例抽取"] N --> N1["判断抽样
依审计师专业判断选取"]
| 方法 | 适用场景 | 优点 | 缺点/注意 |
|---|---|---|---|
| 随机抽样 | 总体同质、快速抽查(如100份简历选10份) | 每个数据点被选机会均等,简单无偏 | 可能覆盖不到复杂领域的特定特征 |
| 分层抽样 | 需保证代表性的场景,如医疗诊断AI要确保训练数据代表部署人群(按"经验/任职年限"等关键特征分层) | 划分为同质子群体后再抽,保证样本代表所有相关特征 | 要先识别出关键分层特征 |
| 数据分割考虑 | 数据已分为训练-验证-测试段 | 按原分割比例抽样,保持一致性 | 依赖原分割本身合理 |
| 判断抽样(非概率) | 验证结果准确性、训练数据是否真代表部署总体特征;如医疗诊断审计中审计师凭专业知识"筛选"样本 | 发挥专家经验,定位关键风险点 | 主观性强、有潜在偏差,需要学科专业知识 |
- 高频考点:医疗诊断等需确保训练数据代表预期部署人群 → 分层抽样最合适;系统化抽样(定期选点)可能遗漏子类别细微差别;判断抽样依赖审计师判断、带主观性和潜在偏差。偏见
- 全量测试可能可行也可能不切实际;数据量小的狭义AI可测选定样本,大多数算法训练和模型部署数据量太大测不完。
3.8 测试人工智能成果
审计师不亲自算错误率,但要引用测试结果、验证训练过程、分析训练和测试结果、询问数据质量和多样性。
| 维度 | 欠拟合(Underfitting) | 过拟合(Overfitting) |
|---|---|---|
| 本质 | 模型太简单,识别不出训练数据中的模式 | 模型训得太精确,"记住"了数据(含噪声、异常值、误差) |
| 表现 | 训练和测试数据上都差;不准确预测显示出偏差 | 训练数据上优异,新数据上差;对新数据错误预测时可能出现偏差 |
| 审计动作 | 确保有评估欠拟合原因并定解决方案的流程:是数据问题?数据太少?模型太简单/参数太少? | |
- 异常值(Outlier):偏离正态分布、异常大或异常小的值;训练/验证/测试数据都要做异常值检测;异常值在训练中引入故障、影响性能;审计师核实是否用工具技术测异常值、其存在是否符合设计预期;可把训练数据导入 Excel、PowerBI、Tableau 分析分布模式。模型验证
- 记住:AI已取代部分人工财务测试,但审计师不可或缺——要验证AI完成的工作及其输出所依据基础数据的准确性。
3.9 人工智能审计流程示例
图3.7给出高风险系统(按《欧盟人工智能法案》分类)的AI审计九步流程,可按"规划→执行→报告"三阶段记:
手册用招聘AI工具审计实例(图3.8)把九步讲透,关键数字背下来:
- 范围:AI模型、数据来源(申请表、求职信、简历、社交媒体)、定面试候选人的决策过程;考虑平等就业机会法和AI法。
- 数据收集:审查训练数据来源(历史招聘数据、人口统计、受保护类别、已录用者绩效);抽样核对HR记录验证完整性、多样性、无错误;确保候选人同意其数据用于招聘。
- 模型评估:问模型设计和训练方法;评估架构(决策树、神经网络)、可解释性、数据流;审查超参数文档;如预测"可接受"聘用准确率 85%,问F1分数及成功指标选择依据。
- 偏见与公平性评估:分析输出在性别、种族、年龄等受保护类别上是否有差异;如"可接受"候选人 75%是男性而申请者中只有 50%男性 → 可能存在偏见。偏见
- 透明度和可解释性:审查解释文档;候选人因特定技能高分被选中 → 标准必须已明确告知。透明度
- 合规性评估:个人数据和受保护类别数据处理是否合法、透明、用于特定目的;核实部署位置和管辖要求。
- 性能和结果:长期评估;AI聘用员工一年后留用率 90% vs 传统方式70%,证明模型有效。
- 报告:记录范围、目标、法规要求、已发现偏差、合规问题、性能问题、伦理漏洞、责任问题和建议(如用更多样化数据重训消除偏差);报告要获得管理层协议和所有权。
- 补救和监控:建议变成管理层要完成并向利益相关方报告的行动;用适当机制跟踪补救进展。审计如何利用AI
3.10 数据收集
| 数据类型 | 用途 | 审计询问点 |
|---|---|---|
| 训练数据 | 让模型学习模式和关系;监督学习有输入-输出标签对,无监督学习无标注、模型自发现模式;可结构化/非结构化/半结构化 | 用了哪些数据?有代表性吗?识别出过拟合/欠拟合了吗?使用前征得同意并保留授权证明了吗?高质量+能代表总体是基本要求 |
| 测试数据 | 验证模型在综合真实世界数据和场景下的功能、性能和输出;与训练数据不同,价值不同 | 测试与训练数据是否适当分离? |
| 合成数据 | AI生成的测试数据,可匿名化且多样全面;可用GAN(生成式对抗网络)、VAE(变分自动编码器)等生成 | 合成数据如何生成?是否遵守严格统计准则? |
| 生产数据 | 已部署模型的生产数据(可穿戴设备、购买、众包、内部收集) | 生产用哪些数据、如何获得、如何长期监控确保模型不漂移 |
- 非结构化数据:无预定义结构(Office文件、音视频图像、社交媒体、元数据);审计师要盯紧内部非结构化数据的存储位置和访问限制——如配置错误的Microsoft Copilot可能被授予受限共享访问权限,把数据索引分析后拿去回答内部问题。
- 结构化数据:按预定格式组织、存关系数据库;有架构和数据字典(数据类型、大小、格式、关系);审计师常查结构化数据做交易测试。
- ETL:提取(从数据存储识别提取,或经中间件放到审计部门管理的存储库/容器)→ 转换("清理"以便分析)→ 加载(到目标系统查询分析)。常用工具 ACL、Tableau、PowerBI;引入AI后可全自动化。
- 数据操纵挑战:①偏见——程序员/数据科学家无意或有意引入,训练数据偏差与损害特定群体结果明确关联;审计师选数据时也要克服自身偏见。②数据投毒——攻击者引入数据歪曲输出、让模型对攻击者有利;数据管理控制可发现篡改。③对抗性攻击——操纵输入欺骗模型,对LLM破坏性高;可用开源 LLM Fuzzer 测试LLM响应的鲁棒性。隐私 漂移 模型验证
- 刮削:聚合多网站数据的手段,现代动态网站刮削效果不如API;对需大量数据的LLM尤其有用。问:如何采集验证?效率?脚本要常调吗?人工清理介入是否带来完整性问题?
3.11 穿行测试和访谈
穿行测试和访谈是审计必备动作,基本顺序:①提出文件要求 → ②审查文件 → ③要求穿行测试(由关键人员执行)。穿行测试帮审计师发现潜在控制薄弱环节,评估控制的设计和实施。
图3.9按审计领域给了访谈问题示例,备考抓每类的"灵魂问题":
- 一般AI背景和业务:AI目的和业务背景、目标用户(设计阶段征求过意见吗)、必须遵守的规定、谁对模型决策和结果负责、风险评估做了吗(技术/项目/社会/道德/监管风险)、生命周期中如何重新评估风险。
- 数据收集:有没有数据登记表、数据哪来的、质量怎么评估、征得同意了吗、遵守内部政策和隐私法规了吗。
- 模型评估:预处理了吗(清理、匿名化、怎么验证匿名化)、数据规模多样性够代表用例吗、用的什么算法、为什么、是否向用户披露正在与AI互动、谁能把变更推上生产、决策过程有人监督吗、怎么衡量性能(长期检测模型漂移)、自动测试工具(pytest、PyTorch Lightning、TensorFlow Extended、GitHub Actions)结果如何。透明度
- 偏见与公平性:模型处理受保护类数据吗?做有害或敏感决定吗(关键基础设施、执法、生物识别、移民、招聘就业等)?识别数据偏差的措施?哪些属性算"敏感"?边缘案例测了吗?成果在不同群体中测过吗?偏见
- 性能和成果:性能测试措施及原因、用F1/召回率/混淆矩阵了吗、"真实世界"测试用真实数据模拟生产了吗、压力测试(负载、边缘、异常)结果如何。
- 合规性评估:相关法规怎么确定的、有没有合规登记表、符合法规吗、怎么报告(给谁、多久)、要不要告知监管机构(如欧盟AI法案)、利益相关方知不知道自己的权利(对AI决策提异议、选择不接受AI决策)。
3.12 使用人工智能的收集工具
审计部门已经在用的含AI组件的收集工具:
- SIEM汇总日志:用多种机器学习算法处理现代IT环境海量日志;汇总日志对审计师有用。
- 语音转文字:捕捉总结访谈记录、会议细节、模式匹配。注意两点风险:①有些工具要把音频带离现场处理 → 完整性和隐私问题;②部分司法管辖区要求事先获被访谈者明确授权才能采集处理存储,异地处理数据可能直接构成数据泄露事故。
- OCR光学字符识别:自 1914年起以各种形式在使用;AI+OCR让准确度显著提高。如读每份IT合同收SLA数据:OCR极短时间以100%准确率完成,建SLA矩阵、比对IT报告数据、生成未达标供应商报告。审计如何利用AI
C部分(审计证据搜集技巧)三节的关系总览:
训练 验证 测试 合成 生产数据"] A --> C["3.11 穿行测试和访谈
文件要求 审查文件 关键人员穿行"] A --> D["3.12 使用AI的收集工具
SIEM日志 语音转文字 OCR"] B --> E["审计证据"] C --> E D --> E
3.13 数据质量
| 七维 | 含义(数据质量保证流程评估数据集是否符合标准) |
|---|---|
| 准确性 | 数据真实正确 |
| 完整性 | 数据没有缺失 |
| 有效性 | 数据符合格式和业务规则 |
| 一致性 | 多处数据不矛盾 |
| 唯一性 | 没有重复记录 |
| 及时性 | 数据是最新的、不过期 |
| 适用性 | 数据适合当前用途 |
- 数据质量 vs 数据完整性 vs 数据剖析(图3.10):数据完整性只关注质量属性的一个子集(准确性、一致性、完整性),还侧重数据安全(防人为失误或恶意篡改破坏);数据剖析是关于数据的摘要数据/元数据。记住:数据质量对AI和AI审计的一切都至关重要。模型验证
- 数据优化(图3.11):让数据准确可靠、可用於分析和AI决策,技术包括数据清理、整合、扩充、转换;方面包括数据治理、数据存储、数据处理、数据清理和质量改进、数据完整性(多源合并成统一形式)、数据生命周期管理、查询和访问、成本、信息安全与合规、可伸展性。
3.14 数据分析
- 数据分析最基本的功能:对数据分析,提供事实性和可操作的见解。
- 审计应用:技术变更管理、企业信用卡分析、应付账款分析、欺诈检测等领域省去人工重复审计;AI自动化后,审计师把时间转到战略和项目审计。审计如何利用AI
- 情感分析(又称意见挖掘):分析大量数据判定表达的是正面/负面/中性意见,这种分类叫极性;常用于社交媒体舆情、调查反馈(满意度/声誉变化);审计师可用它验证AI部署是否成功、衡量利益相关方对企业用AI的看法。
- 情感分析两类:基于规则(训练对文本块中关键词分类)vs 机器学习(线性回归、朴素贝叶斯、支持向量机、深度学习,分析单词及其出现顺序衡量情绪)。
3.15 数据报告
- AI/数据分析给出见解后,用数据报告收集总结见解、改进决策;基础是数据可视化(把分析发现的事实模式图形化)。
- 可视化工具:R Studio、Python(Pandas、Matplotlib、Plotly)、Excel、PowerBI(含Azure PowerBI)、Tableau。
- 数据分析可生成缺陷和发现报告,识别风险、控制差距、流程故障;Tableau和PowerBI可建报告或仪表板。
- 仪表板:企业主要工具,由数据分析和可视化成果组成;可网页显示、导出他用、打印或导到PowerPoint;所有仪表板程序都提供报告机制、可扩展。审计如何利用AI
D部分数据链条(3.10→3.16)一图流:
含ETL提取转换加载"] --> B["3.13 数据质量
七维检查"] --> C["3.14 数据分析
事实性可操作见解"] --> D["3.15 数据报告
可视化与仪表板"] --> E["3.16 审计报告"]
3.16 报告
AI审计报告和传统审计报告细节和深度相同,再加数据和报告要点。图3.14结构:
| 报告部分 | 内容 |
|---|---|
| 执行摘要 | 主要调查结果和行动项目概述 |
| 审计结论和意见 | 总体审计评分 |
| 范围和目标 | 范围内的责任、系统、模型、数据、流程、控制措施;方法和目标(数据管理/质量/完整性、数据隐私、模型性能测试、F1分数等性能衡量、偏见和公平性结果、透明度和可解释性、安全测试、技术和流程测试、SDLC、变更管理、配置管理、发布管理、伦理测试、合规和监管、内外部政策义务) |
| 详细调查结果 | 与风险评估和控制评估映射;建议的行动项目和补救时间表;运营实践和财务考虑;管理层负责人及响应 |
| 附录 | 技术/统计细节等更多信息 |
- 咨询报告:内部审计以咨询业务形式生成,CAE向董事会或审计委员会汇报;咨询工作不是审计,目标要正式化、文档化并与利益相关方一致;审计师顾问可以就风险管理和控制改进给建议、补救中给指导,但不参与控制措施的设计、不对流程或控制拥有所有权。目标一致性
- 图表和可视化:所有数据分析可视化须完整记录,可引用或编入附录;仪表板对审计委员会和董事会重要,董事会成员用可视化快速评估报告;热力图按部门审计方法中的标准审计报告和评级生成,或用企业风险管理框架生成。
3.17 审计跟踪
- "跟踪"在AI审计中形式可能不同:跟踪AI项目和部署的审计师可实时观测补救措施的实施;报告发布、跟踪开始后,能更快看到补救成果、更快关闭行动项。
- 自动跟进:系统逐渐集成进生态系统流程,跟进活动有机会自动化,已结束行动项目的验证工作过渡到系统中。审计如何利用AI
3.18 质量保证
- QA对内审和AI审计都重要:内审部门指定一名高级领导担任QA审查员,评估部门工作质量、流程和实践卓越性;QA能发现没达到IIA和其他实体工作质量和文档完整性标准的情况,用于持续改进。
- 对AI审计工作的QA:审查员评估审计师如何支持其意见和调查结果时,参考3.11穿行测试和访谈中评估审计范围和测试计划完整性的框架。
- QA审查评估领域:目的、工作范围(AI系统评估和领域已纳入并明确缩小范围)、问责制、独立性、责任、授权范围、审计的有效性和效率、增值运营、持续审查、定期审查。
- 外部独立审计师定期(通常三至五年内)对内审部门做QA审计,向审计委员会或董事会提交报告。模型验证
标签法 × 手册章节对照总表
这是标签推理法的"作战地图":读题干找关键词 → 定细化标签 → 在本表找到对应行 → 按"一句话考点"在选项里找对应词。24个细化标签全覆盖,建议打印或收藏。
| 主标签 | 细化标签 | 手册章节 | 一句话考点 | 题型提示 |
|---|---|---|---|---|
| 偏见 | 偏见·来源 | 1.17.2 偏见与公平性 | 答案找训练数据:数据分布不真实、本身带偏见,推理就产生偏见 | "偏见产生的根本原因/来源是什么" |
| 偏见 | 偏见·检测 | 2.13.2 偏差测试 | 答案找80%阈值(差异性影响分析)/分层分析;分层准确度(=召回率)有用,总体准确率没用 | "如何检测/评估偏见""各群体检出率用什么指标" |
| 偏见 | 偏见·场景 | 1.17.2 偏见与公平性 | 见到招聘(简历筛选)/医疗/面部识别/信贷审批 → 答案找"偏见" | 场景型题干,关键词一出直接锁定偏见 |
| 透明度 | 透明度·解释工具 | 1.17.3 透明度和可解释性 | 答案找LIME / SHAP / 热力图(特征归因三件套) | "黑箱模型如何解释""哪种技术能解释单个预测" |
| 透明度 | 透明度·可追溯 | 2.11.1 记录和监控 | 答案找日志 / 审计轨迹 / 制度说明 | "如何落实问责制/可追溯性" |
| 模型验证 | 模型验证·部署前 | 2.8.4 评估 | 验证两件事:是否按批准的设计构建、泛化能力/性能好不好 | "部署前应验证什么" |
| 模型验证 | 模型验证·过拟合 | 1.2.1 基本模型 | 训练集极高(如0.98)、测试集低(如0.7)= 过拟合;训练测试都差 = 欠拟合 | 题干给出训练/测试准确度数字对比,问是什么问题 |
| 隐私 | 隐私·三件套 | 2.9.1 隐私设计 | 答案找最小化 / 脱敏(去标识化)/ 同意(知情同意)对应控制 | "姓名手机号等个人数据如何处理" |
| 隐私 | 隐私·PIA | 1.15 隐私考虑因素 | 高敏感数据系统上线前 → 首选 PIA(隐私影响评估;手册称 DPIA,专对数据保护风险) | "上线前应进行哪项评估" |
| 隐私 | 隐私·泄露 | 2.14.1 训练数据泄露 | 把数据粘贴进 AI 系统 → 泄露风险 | "员工把机密数据输入公有AI工具的最大风险" |
| AI系统最大风险 | 风险·幻觉 | 2.11.4 幻觉 | 重大决策/决策结果场景 → 最大风险是幻觉(模型"编造"不实信息) | "以下场景中AI系统的最大风险是" |
| AI系统最大风险 | 风险·泄露 | 2.14.1 训练数据泄露 | 个人隐私/个人信息场景 → 最大风险是泄露 | 同上,先看场景再选风险 |
| AI系统最大风险 | 风险·偏见 | 1.17.2 偏见与公平性 | 种族/民族/肤色/地区/歧视场景 → 最大风险是偏见 | 同上,先看场景再选风险 |
| AI系统最大风险 | 风险·透明度 | 1.17.3 透明度和可解释性 | 自动化决策场景 → 最大风险是透明度不足(无法解释决策) | 同上,先看场景再选风险 |
| 算法类型 | 算法·学习类型 | 1.3.1 算法类别 | 有标注=监督(分类)、无标签=非监督(聚类)、试错奖励=强化 | "以下属于哪种学习类型/三者区别" |
| 算法类型 | 算法·选型 | 1.2.2 神经网络 | 图像→CNN、序列/文本→RNN/Transformer、表格→树模型 | "某任务应选哪种算法" |
| 漂移 | 漂移·监控 | 2.8.6 监控和维护 | 部署后性能下降靠持续监控/阈值告警发现;记住:验证在部署前,漂移在部署后 | "如何发现模型性能随时间下降" |
| 漂移 | 漂移·重训练 | 2.8.6 监控和维护 | 答案找重新训练/更新模型(用能代表数据变化的新数据集) | "发现漂移后应采取什么措施" |
| 变革管理 | 变革·流程 | 2.10 变更管理考虑事项 | 生产变更走审批/变更控制流程 | "AI系统变更应遵循什么" |
| 变革管理 | 变革·人员 | 1.9 人工智能培训和安全意识 | 失败首要原因是人的因素:答案找培训/沟通/高层支持 | "新系统上线员工抵触怎么办" |
| 审计如何利用AI | 审计·提效 | 3.8 测试人工智能成果 | 答案找全量审计 / 异常检测 / 持续审计 / 提高效率 | "审计师用AI的主要好处" |
| 审计如何利用AI | 审计·注意 | 2.11.3 人机回环 | AI输出必须人工验证复核,不能完全依赖AI | "使用AI审计结果时应注意什么" |
| 目标一致性 | 目标·对齐 | 1.6.4 价值和一致性 | 答案找与业务目标/组织战略对齐 | "如何确保AI项目创造业务价值" |
| 目标一致性 | 目标·问责 | 2.11.1 记录和监控 | 答案找问责 / 日志 / 审计轨迹;问责制是OECD五项价值原则之一 | "如何落实AI治理的问责要求" |
口诀:偏见找数据、透明找工具、验证看部署前、隐私三件套+PIA、风险先看场景、算法看数据类型、漂移看部署后、变革看人、审计看效率+人工、目标看对齐。
易混淆概念辨析
19组"长得很像、考法很贼"的概念对:抓一个关键词区分,右边都给了手册依据。
| 概念A | 概念B | 一句话区别+手册依据 |
|---|---|---|
| 过拟合 | 欠拟合 | 过拟合是模型太复杂,记住了训练数据的奇异点和异常值;欠拟合是模型太简单,连数据的基本结构都没抓住。手册依据:词汇表"过拟合""欠拟合"定义。 考法提示:题干给训练集极高(如0.98)、测试集低(如0.7)→ 选过拟合;训练测试都差 → 选欠拟合。 |
| 数据漂移 | 模型漂移 | 都是"随时间推移性能下降",区别在发生位置:数据漂移是输入数据的特征变了(如季节性、偏好变化),模型漂移是模型内部发生了变化。手册依据:2.8.6"可能发生在数据内部(即数据漂移),也可能发生在模型内部(即模型漂移)"。 考法提示:问"漂移发生在哪里/如何区分"→ 抓"输入数据变了还是模型变了"。 |
| 偏见(偏差) | 方差 | 偏见是算法、数据或模型中的系统误差或扭曲,导致结果有偏;方差衡量模型在不同训练数据子集上训练时的变化程度,大方差模型对训练数据敏感、易过拟合。手册依据:词汇表"偏差""方差"定义。 考法提示:问"大方差导致什么"→ 答案找过拟合。 |
| 训练集 / 验证集 / 测试集 | (三者互辨) | 训练集用来训练模型;验证集用于初步审核/调优;测试集在通过验证集审核后做最终测试。手册依据:词汇表"测试集—模型通过验证集的初步审核后,用于测试模型的数据集子集"。 考法提示:问"最终测试用什么数据"→ 测试集;问"调参用哪个"→ 验证集。 |
| 监督学习 | 无监督学习 / 强化学习 | 监督学习有标签,学输入到已知类别的映射;无监督学习无标签,靠数据中的共同特征发现关联;强化学习无预设目标,靠决策结果的好坏信号学习。手册依据:词汇表"监督学习""强化学习"定义;手册"无监督学习…从未标注的数据中学习"。 考法提示:题干出现"标注/打标签"→ 监督;"聚类"→ 非监督;"试错、奖励"→ 强化。 |
| 机器学习 | 深度学习 | 深度学习是机器学习的子集(AI ⊃ 机器学习 ⊃ 深度学习),以多层神经网络为基础。手册依据:图1.1"人工智能、机器学习、深度学习和生成式人工智能的比较视角"。 考法提示:问"三者关系/谁包含谁"→ 从大到小:AI、机器学习、深度学习。 |
| 生成式人工智能 | 预测式人工智能 | 生成式 AI 负责生成新原创内容(图像、代码、文本、语音等);预测式 AI(预测性分析/建模)负责分析数据、预测未来事件,协助业务规划。手册依据:手册"生成式人工智能…生成新的原创内容";词汇表"预测性分析"。 考法提示:问"写代码/画图用哪种AI"→ 生成式;问"预测销量/风险"→ 预测式。 |
| 黑箱模型 | 白箱模型 | 白箱内部机理可见、可审查参数;黑箱决策过程不透明。审计时两者适用的测试方法不同(图1.27 SAFE 指标:可解释性白箱看估计参数,黑箱用 Shapley 值)。 考法提示:问"黑箱模型最大的审计挑战"→ 答案找"不可解释/输出不可信"。 |
| 数据中毒 | 模型中毒(投毒) | 数据中毒是篡改训练数据(源头、供应商、传输、预处理环节);模型中毒是直接改模型参数、架构或训练库,或经第三方预训练模型投毒。手册依据:2.14.2 数据投毒、2.14.3 模型中毒。 考法提示:问"攻击发生在哪个环节"→ 动数据=数据中毒,动参数/架构=模型中毒。 |
| 威胁 / 漏洞 | 风险 | 三者是成因与结果的关系——威胁和漏洞是安全管理的对象,风险是治理要管的结果。手册依据:领域2知识子域F"针对人工智能的威胁和漏洞"、2.15"威胁和漏洞模拟";1.12.2 风险偏好与容忍度。 考法提示:问"审计任务16评估什么"→ 威胁和漏洞管理计划。 |
| 幻觉 | 偏见 | 幻觉是模型"编造"出不准确或误导性信息;偏见是数据/算法/模型中固有的系统误差导致结果有偏。一个是输出失真,一个是输入/机制失真。手册依据:词汇表"幻觉""偏差"定义。 考法提示:问"最大风险"时先看场景:重大决策→幻觉,种族歧视→偏见。 |
| DPIA | PIA | DPIA(数据保护影响评估)专门针对隐私和数据保护风险,是 GDPR 语境下的一种风险评估形式;PIA(隐私影响评估)是更一般的隐私评估活动,需考虑相关法规。手册依据:"DPIA…专门针对隐私和数据保护风险";隐私控制清单"定期进行隐私影响评估(需要考虑相关法规)"。 考法提示:选项同时出现DPIA和PIA → 问"专门针对数据保护风险"选DPIA,问"一般隐私评估"选PIA。 |
| 风险偏好 | 风险容忍度 | 风险偏好是战略性概念——企业为实现战略目标愿意承担的风险,在企业层面设定;风险容忍度是战术性概念——与偏好的可接受偏差,可在部门等不同层面设定。手册依据:1.12.2。 考法提示:问"谁在企业层面设定"→ 风险偏好;问"部门层面"→ 风险容忍度。 |
| 透明度 | 可解释性 | 两者都是 OECD AI 原则,但侧重不同——透明度侧重信息公开、让人理解系统在做什么;可解释性侧重理解模型如何得出具体预测或决策。手册依据:1.17.3;"模型的可解释性…涉及了解模型如何得出预测或决策"。 考法提示:问"解释单个预测用哪种技术(LIME/SHAP)"→ 可解释性。 |
| 数据最小化 | 匿名化(去标识化) | 数据最小化是源头控制——只收集/保留必要最少的数据;匿名化/去标识化是事后处理——去除数据中的身份标识。手册依据:隐私控制清单并列"数据最小化"与"数据匿名化"、"加密、哈希运算和去身份识别"。 考法提示:问"从源头上减少隐私风险"→ 数据最小化;问"已收集数据的处理"→ 匿名化。 |
| 变更管理 | 配置管理 | 变更管理管"变"——控制对 AI 系统的变更走审批流程;配置管理管"态"——对可配置项目记录在案,按风险和安全要求配置、监控和修补。手册依据:2.10 及"可配置的项目都会记录在案…"。 考法提示:审计任务14=变更管理计划,任务15=配置管理计划,对号入座。 |
| 错误肯定 | 错误否定 | 错误肯定是把负类判成正类(误报);错误否定是把正类判成负类(漏报)。手册依据:词汇表"错误肯定""错误否定"定义。 考法提示:3.8.1"减少错误肯定"——问"误报对应哪个"→ 错误肯定。 |
| 联邦学习 | 集中式训练 | 联邦学习不集中原始数据,利用分散在设备(如智能手机)上的数据做分布式训练,隐私友好;传统集中式训练先把数据收集到一处再训练。手册依据:词汇表"联邦学习"定义。 考法提示:问"哪种训练方式隐私保护最好"→ 联邦学习。 |
| 确认(Validation) | 验证(Verification) | 确认是检查模型/系统是否满足业务与利益相关方需求(做对的事);验证是检查是否按设计正确构建(把事做对)。手册依据:图1.23 AI 生命周期"运行和监控…确认和验证";任务23/21 算法模型符合业务目标、政策和程序。 考法提示:模型验证标签的"部署前验证两件事"——是否按批准设计构建(验证)+ 泛化能力(确认)。 |
核心术语速查
78条核心术语,按主题分组。先看中文名想英文,再看一句话解释抓考点,最后看标签联想答题套路。
模型与算法
| 术语(中英) | 一句话解释 | 手册章节 | 标签 |
|---|---|---|---|
| 机器学习(Machine Learning) | 根据输入数据建立(即训练)预测模型的程序或系统 | 1.2.1 基本模型 | 算法类型 |
| 监督学习(Supervised Learning) | 系统被教授将输入分为特定已知类别的一类算法,依赖标注数据 | 1.3.1 算法类别 | 算法类型 |
| 无监督学习(Unsupervised Learning) | 无需标签、靠数据中共同特征发现关联的一类算法 | 1.3.1 算法类别 | 算法类型 |
| 强化学习(Reinforcement Learning) | 无预设具体目标、通过决策结果的好坏信号来学习的一类算法 | 1.3.1 算法类别 | 算法类型 |
| 深度学习(Deep Learning) | 以多层神经网络为基础的机器学习分支 | 1.2.2 神经网络 | 算法类型 |
| 生成式人工智能(Generative AI) | 能基于训练数据模式生成图像、代码、文本等新原创内容的 AI 分支 | 词汇表 | AI系统最大风险 |
| 预测性分析(Predictive Analytics) | 分析数据以预测未来事件,常用于业务规划;机器学习是其实现手段之一 | 词汇表 | 算法类型 |
| 预测性建模(Predictive Modeling) | 预测未来事件的统计模型 | 词汇表 | 算法类型 |
| 过拟合(Overfitting) | 模型因记住太多训练数据的奇异点和异常值而过于复杂,在新数据上表现差 | 1.2.1 基本模型 | 模型验证 |
| 欠拟合(Underfitting) | 模型过于简单、无法捕捉数据的复杂性和底层结构,训练和测试表现都不佳 | 1.2.1 基本模型 | 模型验证 |
| 泛化(Generalization) | 模型对以前未见过的新数据做出正确预测的能力 | 1.2.1 基本模型 | 模型验证 |
| 交叉验证(Cross-validation) | 用训练集中非重叠子集做测试、估计模型对新数据泛化程度的机制 | 2.8.3 开发 | 模型验证 |
| 训练(Training) | 确定模型理想参数的过程 | 词汇表 | |
| 模型(Model) | 机器学习中指训练过程的结果;训练好的模型可自动处理未见过的数据执行特定任务 | 词汇表 | |
| 标签(Label) | 监督学习中样本的答案或结果部分 | 1.3.1 算法类别 | 算法类型 |
| 超参数(Hyperparameter) | 指定学习过程细节的参数(区别于训练学到的权重) | 词汇表 | |
| 权重(Weight) | 线性模型中的特征系数或深度网络中边的系数 | 词汇表 | |
| 准确率(Accuracy) | 分类模型预测正确的百分比 | 词汇表 | 模型验证 |
| 方差(Variance) | 衡量模型在不同训练数据子集上训练时的变化程度;大方差易过拟合 | 1.2.1 基本模型 | 模型验证 |
| 分类(Classification) | 确定某个项目所属的两个或多个类别 | 1.3.1 算法类别 | 算法类型 |
| 聚类(Clustering) | 将数据实例分成若干组的算法;组别事先未定义,按实例相似性确定 | 1.3.1 算法类别 | 算法类型 |
| 回归模型(Regression Model) | 输出连续(通常为浮点)值的模型 | 1.3.1 算法类别 | 算法类型 |
| 决策树(Decision Tree) | 用树形结构表示若干可能的决策路径和每条路径的结果 | 1.3.1 算法类别 | 算法类型 |
| 朴素贝叶斯分类器(Naive Bayes) | 基于贝叶斯定理的分类算法集,假设被分类特征彼此独立 | 1.3.1 算法类别 | 算法类型 |
| 逻辑回归(Logistic Regression) | 与线性回归类似、但输出为特定类别而非连续值的模型 | 1.3.1 算法类别 | 算法类型 |
| 贝叶斯定理(Bayes' Theorem) | P(A|B)=(P(B|A)P(A))/P(B),已知关联事件为真时求某事为真概率的公式 | 词汇表 | 算法类型 |
| K-均值聚类(K-means) | 按对象属性/特征将其聚类为 K 个组的数据挖掘算法 | 1.3.1 算法类别 | 算法类型 |
| K-最近邻(K-Nearest Neighbors) | 基于样本与邻近样本相似性分类的算法,通过选择邻居数 k 和距离度量优化 | 1.3.1 算法类别 | 算法类型 |
| 判别模型(Discriminative Model) | 根据一组或多个特征预测标签的模型,定义输出的条件概率 | 词汇表 | 算法类型 |
| 决策边界(Decision Boundary) | 二元/多分类问题中模型学习到的类别分隔界面 | 词汇表 | 算法类型 |
| 神经网络节点/隐藏层(Node / Hidden Layer) | 隐藏层是输入层与输出层之间的合成层,常含激活函数(如 ReLU);深度网络含一个以上隐藏层 | 1.2.2 神经网络 | 算法类型 |
| 前馈神经网络(Feedforward Neural Network) | 没有循环或递归连接的神经网络,如传统深度神经网络 | 1.2.2 神经网络 | 算法类型 |
| 循环神经网络(Recurrent Neural Network) | 有意多次运行、每次部分结果反馈到下一次运行的神经网络 | 1.2.2 神经网络 | 算法类型 |
| 反向传播(Backpropagation) | 迭代调整神经网络权重的算法,常用于实现梯度下降 | 词汇表 | 算法类型 |
| 感知机(Perceptron) | 用 n 个二进制输入近似单个神经元的网络;计算输入加权和,达到阈值则触发 | 词汇表 | 算法类型 |
数据与隐私
| 术语(中英) | 一句话解释 | 手册章节 | 标签 |
|---|---|---|---|
| 训练集(Training Set) | 用于训练模型的数据子集 | 词汇表 | 模型验证 |
| 验证集(Validation Set) | 用于对模型做初步审核和调优的数据子集 | 词汇表 | 模型验证 |
| 测试集(Test Set) | 模型通过验证集初步审核后、用于最终测试的数据集子集 | 词汇表 | 模型验证 |
| 预处理(Preprocessing) | 清理、转换和格式化数据,提高数据质量与建模适用性的程序和技术 | 1.4.2 收集和处理数据 | |
| 降维(Dimensionality Reduction) | 提取一个或多个维度、尽可能捕捉数据主要变化信息的技术 | 词汇表 | 算法类型 |
| 主成分分析(PCA, Principal Component Analysis) | 通过识别数据最大方差方向确定首要主成分的算法 | 词汇表 | 算法类型 |
| 归一化(Normalization) | 消除冗余数据,或把数值范围转换为标准范围(通常 -1 至 +1 或 0 至 1) | 词汇表 | |
| 异常值(Outlier) | 数据中可能由测量/记录错误导致的极值,也可能是真实罕见事件的准确记录 | 词汇表 | |
| 噪声(Noise) | 导致接收方误解消息的数据传输或数据集干扰 | 词汇表 | |
| 垃圾进,垃圾出(GIGO, Garbage In, Garbage Out) | 无意义或有缺陷的数据必然导致无意义输出的概念 | 词汇表 | 偏见 |
| 零假设(Null Hypothesis) | 主张观测结果基于偶然性、实际不存在影响的假设;P 值越小,反驳证据越充分 | 词汇表 | |
| P 值(P-value) | 在零假设成立条件下,获得与实际观测相同或更极端结果的概率 | 词汇表 | |
| 置信区间(Confidence Interval) | 为估算值指定的范围,表示误差幅度及数值落入该范围的概率 | 词汇表 | |
| 正态分布(Normal Distribution) | 以均值为中心的对称钟形曲线,又称高斯分布 | 词汇表 | |
| 卡方检验(Chi-square Test) | 估计交叉表中两个变量是否相关的分析技术 | 词汇表 | |
| DPIA(Data Protection Impact Assessment,数据保护影响评估) | 专门针对隐私和数据保护风险的风险评估形式 | 1.15 隐私考虑因素 | 隐私 |
| PIA(Privacy Impact Assessment,隐私影响评估) | 评估隐私风险的评估活动,需考虑相关法规 | 1.15 隐私考虑因素 | 隐私 |
| 数据最小化(Data Minimization) | 只收集和保留实现目的所必需的最少数据的隐私控制原则 | 2.9.1 隐私设计 | 隐私 |
| 匿名化/去标识化(Anonymization / De-identification) | 去除数据中身份标识的技术;去标识化数据的合规关注度低于身份相关数据 | 2.9.1 隐私设计 | 隐私 |
| 联邦学习(Federated Learning) | 利用分散在设备上的数据训练模型、无需集中上传原始数据的分布式机器学习方法 | 词汇表 | 隐私 |
风险与治理
| 术语(中英) | 一句话解释 | 手册章节 | 标签 |
|---|---|---|---|
| 漂移(Drift) | AI 系统随时间推移性能下降的现象;分数据漂移(输入数据特征变化)与模型漂移(模型内部变化) | 2.8.6 监控和维护 | 漂移 |
| 数据中毒(Data Poisoning) | 在数据收集源头、供应商、传输或预处理环节篡改训练数据,以植入后门或破坏模型 | 2.14.2 数据投毒 | AI系统最大风险 |
| 模型中毒/投毒(Model Poisoning) | 直接更改模型参数、架构或训练库,或经第三方预训练模型植入恶意行为 | 2.14.3 模型中毒 | AI系统最大风险 |
| 幻觉(Hallucination) | 模型生成不准确或误导性信息的情况 | 2.11.4 幻觉 | AI系统最大风险 |
| 偏见/偏差(Bias) | 算法、数据或模型中的系统误差或扭曲,会导致有偏见的结果 | 1.17.2 偏见与公平性 | 偏见 |
| 敏感属性(Sensitive Attribute) | 出于法律、道德、社会或个人原因可能给予特别考虑的人类属性 | 1.17.2 偏见与公平性 | 偏见 |
| 风险偏好(Risk Appetite) | 企业为实现战略目标而愿意承担的风险;战略性、企业层面设定 | 1.12.2 风险偏好和容忍度 | AI系统最大风险 |
| 风险容忍度(Risk Tolerance) | 与风险偏好的可接受偏差;战术性,可在部门等层面设定 | 1.12.2 风险偏好和容忍度 | AI系统最大风险 |
| 残余风险(Residual Risk) | 采取风险处理措施后剩余的风险,目标是降至可接受水平 | 1.12.3 风险响应和优先排序 | AI系统最大风险 |
| 黑箱模型(Black-box Model) | 内部决策过程不透明的模型,输出可信度更难评估 | 词汇表 | 透明度 |
| 白箱模型(White-box Model) | 内部机理可见、可审查参数的模型 | 词汇表 | 透明度 |
| 可解释性(Explainability) | 了解模型如何得出预测或决策的程度;白箱看估计参数,黑箱常用 Shapley 值 | 1.17.3 透明度和可解释性 | 透明度 |
| 透明度(Transparency) | OECD AI 原则之一,要求 AI 系统的运作让人可理解 | 1.17.3 透明度和可解释性 | 透明度 |
| 人工智能可观测性(AI Observability) | 对模型进行监测和分析以确保其可靠、有效和正确的做法 | 2.11.2 人工智能可观测性 | 漂移 |
| 模型卡(Model Card) | 伴随 AI 模型的文件,提供架构、训练数据集、性能指标、使用限制等简明信息 | 2.13.1 模型卡 | 透明度 |
审计相关
| 术语(中英) | 一句话解释 | 手册章节 | 标签 |
|---|---|---|---|
| 错误肯定(False Positive) | 模型错误预测为正类的样本(误报) | 3.8.1 减少错误肯定 | 模型验证 |
| 错误否定(False Negative) | 模型错误预测为负类的样本(漏报) | 3.8.1 减少错误肯定 | 模型验证 |
| 分层抽样(Stratified Sampling) | 将总体划分为同质组(层)、再从每组抽取简单随机样本的抽样技术 | 3.7 人工智能抽样 | 审计如何利用AI |
| 便利抽样(Convenience Sampling) | 用非科学收集的数据集做快速实验的方法,后续须转用科学收集的数据集 | 3.7 人工智能抽样 | 审计如何利用AI |
| Keras | 一种流行的 Python 机器学习 API | 词汇表 | |
| TensorFlow | 大规模分布式机器学习平台 | 词汇表 | |
| Pandas | 深受数据科学家欢迎的用于数据操作的 Python 库 | 词汇表 | |
| Tableau | 数据科学项目中常用的商业数据可视化软件包 | 词汇表 |