数据质量与算法模型质量最佳实践

数据质量与AI算法测试典型问题分(fēn)析 ~ 0.5小(xiǎo)时

测试典型问题分(fēn)析

• 问题分(fēn)析
• 讨论

AI领域发展与应用(yòng) ~ 1小(xiǎo)时

AI领域发展与应用(yòng)

• AI在各行业的落地应用(yòng)
• 案例演示
• AI技术概览
• AI技术的四要素
• AI模型的研发流程
• 深度學(xué)习与神经网络
• 图像算法常用(yòng)应用(yòng)领域
• 语音算法常用(yòng)应用(yòng)领域
• NLP算法常用(yòng)应用(yòng)领域
• AI的未来发展趋势

AI领域的全局质量框架體(tǐ)系 ~ 1小(xiǎo)时

全局质量框架體(tǐ)系

• 需求质量
• 代码质量
• 数据质量
• 算法模型质量
• 产品质量
• 線(xiàn)上质量
• 运营分(fēn)析
• 【案例】AI微服務(wù)全局质量分(fēn)析

数据质量建设~ 5小(xiǎo)时

数据质量概述

• 数据质量定义
• 数据质量的维度
  • 完整性
  • 规范性
  • 一致性
  • 准确性
  • 唯一性
  • 及时性
  • 关联性
• 影响数据质量的因素
  • 信息因素
  • 技术因素
  • 流程因素
  • 管理(lǐ)因素
• 数据质量管理(lǐ)方法

数据源

• 生产回流数据
• 构造数据
• 数据增强
• 数据合成

数据回流

• 数据回流的意义
• 数据回流系统建立
• 数据回流原则

数据清洗

• 重复数据删除
• 无效数据删除
• 低质数据转存

数据脱敏

• 数据脱敏概述
• 脱敏包含数据类型
• 工程脱敏
• 静态脱敏
• 动态脱敏
• 去标识化
• 匿名化
• 随机值
• 数据替换
• 对称加密
• 平均值
• 偏移与取整
• AI脱敏
• 图像脱敏
• 语音脱敏

数据丰富与覆盖率

• 数据丰富度评价
• 数据覆盖率分(fēn)析

数据分(fēn)类

• 数据标签化
• AI标签化处理(lǐ)
• 图像CV自动分(fēn)类
• 语音ASR自动分(fēn)类
• 文(wén)本NLP自动分(fēn)类

数据质量评估

• 完整性评估指标
• 规范性评估指标
• 一致性评估指标
• 准确性评估指标
• 唯一性评估指标
• 及时性评估指标
• 关联性评估指标

数据质量监控

• 数据质量仪表盘设计
• 数据质量监控维度
• 监控告警

数据质量改进

• 数据质量改进闭环
• 数据质量分(fēn)析
• 数据改进措施
• 数据质量改进效果评估

标注数据质量建设~ 1小(xiǎo)时

标注数据质量建设

• 数据预标注
• 高价值数据筛选
• 标注数据平台建设
• 数据小(xiǎo)样试标注
• 标注数据需求对齐
• 标注数据质检
• 标注数据抽检
• 标注数据供应商(shāng)管理(lǐ)
• 标注数据供应商(shāng)绩效评价
• 标注数据质量分(fēn)析
• 标准数据质量提升举措
• 模型badcase与数据质量相关性分(fēn)析

算法模型质量建设~ 5小(xiǎo)时

常用(yòng)术语解释

• 过拟合
• 欠拟合
• 监督學(xué)习
• 无监督學(xué)习
• 强化學(xué)习
• 损失函数
• 正向传播
• 反向传播
• 梯度下降
• badcase

算法模型测试范围

• 算法模型功能(néng)测试
• 算法精度指标测试
• 算法模型性能(néng)测试
• 算法模型稳定性测试
• 算法模型健壮性测试
• 算法模型一致性测试
• A/B实验
• 線(xiàn)上模型效果评估

模型功能(néng)测试

• 数据设计
• 入参场景设计
• 出参校验

算法评测指标

• 准确度
• 精确度
• 召回率
• F1
• WER
• CER
• 一致性

精度指标计算

• 图像算法精度常用(yòng)指标
• 语音算法精度常用(yòng)指标
• NLP算法精度常用(yòng)指标
• 标注数据
• 精度指标计算脚本
• 精度指标分(fēn)析评价

算法性能(néng)测试

• 算法模型性能(néng)测试
• 性能(néng)指标统计
• 算法性能(néng)报告与jenkins集成

算法稳定性测试

• 算法模型稳定性测试
• 稳定性测试常态化
• 内存泄漏检测

算法健壮性测试

• 混沌测试数据集构建
• 模型崩溃检测

算法一致性测试

• 算法输出与工程输出对比
• 数据回放系统
• 对比结果分(fēn)析

A/B实验

• 什么是A/B实验
• A/B实验的价值
• A/B实验实现方案

線(xiàn)上模型效果评估

• 線(xiàn)上模型效果评估的价值
• 線(xiàn)上、線(xiàn)下的差异
• 如何常态化执行線(xiàn)上模型效果评估

用(yòng)模型测试模型

• 為(wèi)什么要用(yòng)模型测试模型？
• 图像领域模型测试模型案例
• 语音领域模型测试模型案例
• NLP领域模型测试模型案例
• 算法badcase自动化筛选
• badcase每日推送

算法测试自动化建设~3小(xiǎo)时

Python语言开发基础

• Python语言开发基础
• 脚本概念
• 脚本与程序对比
• 常用(yòng)脚本语言
• 脚本的运行机制
• Python语法规则
• Python运行方法
• Python运行机制
• 【案例】python脚本多(duō)个案例

Python开发进阶案例

• Python数据类型与变量
• 类与对象
• 面向对象编程
• Python控制结构
• Python函数
• Python列表与元组
• Python字典与集合
• Python基本文(wén)件操作
• 程序的错误与异常处理(lǐ)

算法测试环境自动化构建

• 依赖库自动安装
• 环境自动部署

算法测试自动化案例实践

• 精度指标计算脚本
• 自动化报告生成
• ROC曲線(xiàn)生成
• 与Jenkins集成

算法指标测试平台构建

• 平台建设目标
• 算法指标自动化评测
• 竞品分(fēn)析
• 精度迭代趋势折線(xiàn)图

课程总结与答(dá)疑 ~0.5小(xiǎo)时