Урок 0019 · Observability и трейсинг глубже

От «логируй всё» к SLO и дашбордам: что мерить, как связать трейсы с evals, как находить деградации до жалоб.

1. Три уровня observability

Трейсы отвечают «что случилось с этим запросом», метрики — «не деградировало ли в целом», алерты — «пора вставать».

2. Что логировать (из уроков 0007, 0002)

trace_id, session_id, tenant_id,
prompt_version, config_version, model,
tokens_in/out, cost, latency,
tool_calls: [{name, args_hash, status, latency}],
chunk_ids, guard_decision, handoff, WER (для voice)

Ключевое: prompt_version + config_version — без них невозможно откатить «вчерашний ответ» и понять, какая версия промпта дала регрессию (урок 0007).

3. Трейсы → evals: связка

Observability и evals — это одна петля, не два мира:

1. Прод-трейс → нашёл неизвестный фейл (error analysis, урок 0001).
2. Фейл → датасет → eval → регресс-тест.
3. Eval в CI ловит регрессию до прода (урок 0020).

Это петля Phoenix/Langfuse: «observe → find → dataset → evaluate». Инструменты из урока 0008 и глоссария инструментов.

4. SLO для каре: что выставить

5. Алерты: что реально алертить

• PII-leak > 0 — мгновенный алерт (банк).
• Queue length/age растёт (урок 0009) — затык в обработке.
• WER на сущностях скакнул (voice) — STT деградировал.
• Cost/диалог вырос — регрессия промпта (токены).
• Guard trip rate аномалия — атака/инъекции.
• KV cache usage высокий (vLLM /metrics) — capacity на пределе (урок 0009).

Правило: алерт = действие. «Что-то странное» — это дашборд, не алерт.

Проверь себя

Видео и статьи

• Langfuse — self-host observability + eval.[67]
• Arize Phoenix — open-source трейсы.[45]
• vLLM /metrics — Prometheus-метрики сервера.[96]
• Braintrust — observe→evaluate петля.[44]

Sources:

• [44] https://www.braintrust.dev/docs
• [45] https://arize.com/docs/phoenix
• [67] https://langfuse.com
• [96] https://docs.vllm.ai/en/latest