AI 工程笔记：日志、缓存与重试

做 LLM 应用有四件事每次都要做对一次然后不再回头：日志、缓存、重试、估值。 日志：每一笔 token 都要记录 只有当 `trace_id` 能从用户消息一路串联到 LLM 回复再到下游处理时，日志才有用。 缓存：避免在 token 计费上重复花钱 任何 `temperature=0` 或可重跑的请求都应该走 LRU 缓存。键通常是 `prompt_hash + model +...