考试权重 20% 25 文章 · 6 任务

提示工程与优化

Task 4.1 Specific Criteria & Rules (3)

K4.1.1

"保守一点"等于没说——47% 一致率。"缺少样本量"才有意义——94%。

具体标准胜过模糊指令

arrow_forward

K4.1.2

一个 60% 误报率的类别，让开发者连 95% 准确率的也不看了

误报会毒化信任

arrow_forward

K4.1.3

只有标签：41%。加文字条件：72%。文字+代码示例：94%。

带示例的严重等级定义

arrow_forward

Task 4.2 Few-shot Calibration (4)

K4.2.1

纯文字指令做到 64%。两个示例做到 91%。

Few-shot 是终极校准手段

arrow_forward

K4.2.2

3 个多样化示例打败 8 个同质化示例

Few-shot 设计原则

arrow_forward

K4.2.3

每个示例都填满了所有字段——于是模型开始编造缺失的字段

用 few-shot 减少幻觉

arrow_forward

S4.2.1

配对的 REPORT + SKIP 示例：67% → 94% 边界准确率

用 few-shot 保证格式一致性

arrow_forward

Task 4.3 Structured Output via tool_use (4)

K4.3.1

tool_use 消灭了结构错误。语义错误还在。

用 tool_use 保证结构

arrow_forward

K4.3.2

Forced、Any、Auto——三种模式，三种保证，三种失败方式

input_schema 强制执行

arrow_forward

K4.3.3

必填字段遇上可选数据：幻觉的头号结构性成因

可选数据用 nullable 字段

arrow_forward

K4.3.4

没有格式规则，同一个日期能输出三种写法

闭合 enum 带 "other" 逃生口 / 格式标准化

arrow_forward

Task 4.4 Semantic Validation & Retry (4)

K4.4.1

盲目重试：3 次修了 12%。带错误反馈：1 次修了 87%。

超越 schema 的语义验证（带纠正反馈的重试）

arrow_forward

K4.4.2

对缺失数据重试会导致幻觉——格式错误会收敛，缺失数据会发散

带纠正反馈的重试（错误分类）

arrow_forward

K4.4.3

追踪开发者驳回了哪些模式——然后加 SKIP 示例

用置信度评分做路由（反馈循环）

arrow_forward

K4.4.4

Schema 说合法。行项目加起来不等于总计。两个都是事实。

跨字段一致性验证

arrow_forward

Task 4.5 Batch API (6)

K4.5.1

省 50% 成本——但最多等 24 小时

用 Batch API 实现规模化

arrow_forward

K4.5.2

结果以任意顺序返回——custom_id 是你唯一的关联手段

用 custom_id 关联结果

arrow_forward

K4.5.3

940 成功，45 出错，15 过期——只重新提交这 60 个

Batch 错误处理

arrow_forward

K4.5.4

轮询、下载、本地存储——结果 29 天后过期

Batch 大小与超时

arrow_forward

K4.5.5

不同错误需要不同修复——别重新提交整个 Batch

用 Batch 优化成本

arrow_forward

S4.5.1

全量提交前永远先抽样测试——18% 失败 vs 3%

Batch 工作流设计

arrow_forward

Task 4.6 Multi-pass Review (4)

K4.6.1

同会话审查：0.3 条发现。独立实例：3.7 条。人类基线：4.1 条。

多轮审查架构

arrow_forward

K4.6.2

哪怕只是生成 Prompt 里的设计目标，也会压制审查发现

单文件 + 跨文件审查轮次

arrow_forward

K4.6.3

单轮审查 13+ 文件：43% 检出率。多轮：86%。

独立实例消除偏差

arrow_forward

S4.6.1

按类别校准置信度——"HIGH"在风格检查里是 92%，在安全检查里是 70%

多实例审查流水线

arrow_forward