数据质量与算法模型质量最佳实践

数据质量与算法模型质量最佳实践
    马上咨询

    数据质量与AI算法测试典型问题分(fēn)析 ~ 0.5小(xiǎo)时

    测试典型问题分(fēn)析

    • 问题分(fēn)析
    • 讨论

    AI领域发展与应用(yòng) ~ 1小(xiǎo)时

    AI领域发展与应用(yòng)

    • AI在各行业的落地应用(yòng)
    • 案例演示
    • AI技术概览
    • AI技术的四要素
    • AI模型的研发流程
    • 深度學(xué)习与神经网络
    • 图像算法常用(yòng)应用(yòng)领域
    • 语音算法常用(yòng)应用(yòng)领域
    • NLP算法常用(yòng)应用(yòng)领域
    • AI的未来发展趋势

    AI领域的全局质量框架體(tǐ)系 ~ 1小(xiǎo)时

    全局质量框架體(tǐ)系

    • 需求质量
    • 代码质量
    • 数据质量
    • 算法模型质量
    • 产品质量
    • 線(xiàn)上质量
    • 运营分(fēn)析
    • 【案例】AI微服務(wù)全局质量分(fēn)析

    数据质量建设~ 5小(xiǎo)时

    数据质量概述

    • 数据质量定义
    • 数据质量的维度
      • 完整性
      • 规范性
      • 一致性
      • 准确性
      • 唯一性
      • 及时性
      • 关联性
    • 影响数据质量的因素
      • 信息因素
      • 技术因素
      • 流程因素
      • 管理(lǐ)因素
    • 数据质量管理(lǐ)方法

    数据源

    • 生产回流数据
    • 构造数据
    • 数据增强
    • 数据合成

    数据回流

    • 数据回流的意义
    • 数据回流系统建立
    • 数据回流原则

    数据清洗

    • 重复数据删除
    • 无效数据删除
    • 低质数据转存

    数据脱敏

    • 数据脱敏概述
    • 脱敏包含数据类型
    • 工程脱敏
    • 静态脱敏
    • 动态脱敏
    • 去标识化
    • 匿名化
    • 随机值
    • 数据替换
    • 对称加密
    • 平均值
    • 偏移与取整
    • AI脱敏
    • 图像脱敏
    • 语音脱敏

    数据丰富与覆盖率

    • 数据丰富度评价
    • 数据覆盖率分(fēn)析

    数据分(fēn)类

    • 数据标签化
    • AI标签化处理(lǐ)
    • 图像CV自动分(fēn)类
    • 语音ASR自动分(fēn)类
    • 文(wén)本NLP自动分(fēn)类

    数据质量评估

    • 完整性评估指标
    • 规范性评估指标
    • 一致性评估指标
    • 准确性评估指标
    • 唯一性评估指标
    • 及时性评估指标
    • 关联性评估指标

    数据质量监控

    • 数据质量仪表盘设计
    • 数据质量监控维度
    • 监控告警

    数据质量改进

    • 数据质量改进闭环
    • 数据质量分(fēn)析
    • 数据改进措施
    • 数据质量改进效果评估

    标注数据质量建设~ 1小(xiǎo)时

    标注数据质量建设

    • 数据预标注
    • 高价值数据筛选
    • 标注数据平台建设
    • 数据小(xiǎo)样试标注
    • 标注数据需求对齐
    • 标注数据质检
    • 标注数据抽检
    • 标注数据供应商(shāng)管理(lǐ)
    • 标注数据供应商(shāng)绩效评价
    • 标注数据质量分(fēn)析
    • 标准数据质量提升举措
    • 模型badcase与数据质量相关性分(fēn)析

    算法模型质量建设~ 5小(xiǎo)时

    常用(yòng)术语解释

    • 过拟合
    • 欠拟合
    • 监督學(xué)习
    • 无监督學(xué)习
    • 强化學(xué)习
    • 损失函数
    • 正向传播
    • 反向传播
    • 梯度下降
    • badcase

    算法模型测试范围

    • 算法模型功能(néng)测试
    • 算法精度指标测试
    • 算法模型性能(néng)测试
    • 算法模型稳定性测试
    • 算法模型健壮性测试
    • 算法模型一致性测试
    • A/B实验
    • 線(xiàn)上模型效果评估

    模型功能(néng)测试


    • 数据设计
    • 入参场景设计
    • 出参校验

    算法评测指标

    • 准确度
    • 精确度
    • 召回率
    • F1
    • WER
    • CER
    • 一致性

    精度指标计算

    • 图像算法精度常用(yòng)指标
    • 语音算法精度常用(yòng)指标
    • NLP算法精度常用(yòng)指标
    • 标注数据
    • 精度指标计算脚本
    • 精度指标分(fēn)析评价

    算法性能(néng)测试

    • 算法模型性能(néng)测试
    • 性能(néng)指标统计
    • 算法性能(néng)报告与jenkins集成

    算法稳定性测试

    • 算法模型稳定性测试
    • 稳定性测试常态化
    • 内存泄漏检测

    算法健壮性测试

    • 混沌测试数据集构建
    • 模型崩溃检测

    算法一致性测试

    • 算法输出与工程输出对比
    • 数据回放系统
    • 对比结果分(fēn)析

    A/B实验

    • 什么是A/B实验
    • A/B实验的价值
    • A/B实验实现方案

    線(xiàn)上模型效果评估

    • 線(xiàn)上模型效果评估的价值
    • 線(xiàn)上、線(xiàn)下的差异
    • 如何常态化执行線(xiàn)上模型效果评估

    用(yòng)模型测试模型

    • 為(wèi)什么要用(yòng)模型测试模型?
    • 图像领域模型测试模型案例
    • 语音领域模型测试模型案例
    • NLP领域模型测试模型案例
    • 算法badcase自动化筛选
    • badcase每日推送

    算法测试自动化建设~3小(xiǎo)时

    Python语言开发基础

    • Python语言开发基础
    • 脚本概念
    • 脚本与程序对比
    • 常用(yòng)脚本语言
    • 脚本的运行机制
    • Python语法规则
    • Python运行方法
    • Python运行机制
    • 【案例】python脚本多(duō)个案例

    Python开发进阶案例

    • Python数据类型与变量
    • 类与对象
    • 面向对象编程
    • Python控制结构
    • Python函数
    • Python列表与元组
    • Python字典与集合
    • Python基本文(wén)件操作
    • 程序的错误与异常处理(lǐ)

    算法测试环境自动化构建

    • 依赖库自动安装
    • 环境自动部署

    算法测试自动化案例实践

    • 精度指标计算脚本
    • 自动化报告生成
    • ROC曲線(xiàn)生成
    • 与Jenkins集成

    算法指标测试平台构建

    • 平台建设目标
    • 算法指标自动化评测
    • 竞品分(fēn)析
    • 精度迭代趋势折線(xiàn)图

    课程总结与答(dá)疑 ~0.5小(xiǎo)时