AI 应用工程

模型能力早就够用了，卡住项目的是超时、幂等、成本、可观测性和灰度这五件事。

把知识库问答做砸的三个真实原因：切块、召回、以及根本没做评估。

提示词是产品的一部分，它需要版本、需要灰度、也需要能被非技术人员修改。

首字延迟从 6 秒降到 1 秒，用户感知的"快"提升了好几倍。但流式也有它的代价。

结构化输出能解决八成解析问题，但剩下两成会让你怀疑人生。

不是靠换便宜模型，而是靠搞清楚钱花在哪。六个具体做法和实测降幅。