apexcolab深港智汇 · FDE交流合作
FDE培养 / FDE培训|03|应用架构与技术选型

FDE COURSE

03.2 模型与方案选型:比较效果、成本、时延和部署条件

以同题实测比较模型效果、时延、费用及部署条件

课程介绍

课程围绕可验证任务开展模型与方案选型。先明确咨询目标、资料、授权、网络、预算、响应要求和负责人,再固定题目、样本与评分规则,分别核查效果、首文本时延、完成耗时及费用。通过同题对照、分项质量检查和可调整报告,比较云端与内网方案,并记录失败样本、回归集和待验证事项,形成选型表、方案图及证据链。

你将学会

  • 能设计固定题目与评分规则的同题对照
  • 能阅读分项质量图识别事实、格式和边界错误
  • 能依据实测时间线与Token用量制作可调整报告

课程内容

  • 03.2.1 理解原理与任务
  • 03.2.2 做一张同题模型表现对照图
  • 03.2.3 用分项质量图检查问答结果
  • 03.2.4 做出能调整的延迟与费用报告

适合谁学

  • 需要开展模型评测或方案比较的实践者
  • 负责AI应用选型、成本与时延评估的人员

开始前需要什么

  • 具备大模型问答应用的基本使用经验
  • 能够读取模型输出、用量和耗时日志

核心技能

  • 设计同题对照实验
  • 构建小型回归集
  • 区分首文本与完成时延
  • 计算Precision与Recall
  • 分析均值与慢尾
  • 估算Token费用并标注口径