FDE培养 / FDE培训|03|应用架构与技术选型
FDE COURSE
03.2 模型与方案选型:比较效果、成本、时延和部署条件
以同题实测比较模型效果、时延、费用及部署条件
课程介绍
课程围绕可验证任务开展模型与方案选型。先明确咨询目标、资料、授权、网络、预算、响应要求和负责人,再固定题目、样本与评分规则,分别核查效果、首文本时延、完成耗时及费用。通过同题对照、分项质量检查和可调整报告,比较云端与内网方案,并记录失败样本、回归集和待验证事项,形成选型表、方案图及证据链。
你将学会
- 能设计固定题目与评分规则的同题对照
- 能阅读分项质量图识别事实、格式和边界错误
- 能依据实测时间线与Token用量制作可调整报告
课程内容
- 03.2.1 理解原理与任务
- 03.2.2 做一张同题模型表现对照图
- 03.2.3 用分项质量图检查问答结果
- 03.2.4 做出能调整的延迟与费用报告
适合谁学
- 需要开展模型评测或方案比较的实践者
- 负责AI应用选型、成本与时延评估的人员
开始前需要什么
- 具备大模型问答应用的基本使用经验
- 能够读取模型输出、用量和耗时日志
核心技能
- 设计同题对照实验
- 构建小型回归集
- 区分首文本与完成时延
- 计算Precision与Recall
- 分析均值与慢尾
- 估算Token费用并标注口径