Урок 0011 · Prompt engineering на практике

Когда промпт решает, когда нет, и как строить промпты, которые переживают собеседование и продакшн.

Цель урока Назвать структуру хорошего промпта, 3–4 техники (few-shot, CoT, XML-структура, chaining) и сказать, когда промпт-инжиниринг — не ответ.

1. Когда промпт — правильный инструмент

Anthropic прямо пишут: не всякий failing eval решается промптом. Иногда латентность и стоимость проще улучшить сменой модели.[107]

Прежде чем промптить, нужно: (1) определить критерии успеха, (2) уметь их тестировать, (3) иметь черновик промпта.[107]

Это совпадает со всем курсом: eval раньше, потом итерация.

2. Структура хорошего промпта

Базовый скелет для продуктового промпта:

Система: кто ты, в каком формате отвечаешь, чего НЕ делать.
Контекст: найденные документы, политики, данные.
Задача: что сделать с контекстом, явные правила.
Формат: JSON / таблица / цитаты [1], [2].
Few-shot: 1–3 примера «вход → идеальный выход».

Почему так:

Система отдельно от задачи — неизменная часть кэшируется (prompt caching из урока 0003), меняется только пользовательская часть.
Явные правила важнее пожеланий — «отвечай только по контексту» работает лучше, чем «будь аккуратен».
Чего НЕ делать — «не называй лимит чужой карты», «не выдумывай цифры» — это ловит частые фейлы из error analysis (урок 0001).

3. Техники, которые надо уметь назвать

Техника	Что делает	Когда
Few-shot	Примеры «вход → выход» в промпте	Формат, тон, крайние случаи
Chain-of-thought (CoT)	«Подумай шагами перед ответом»	Логика, расчёты, многошаговые задачи
XML/структурная разметка	Теги <context> <task> вокруг блоков	Сложные промпты, парсинг, RAG
Role prompting	«Ты — эксперт по политикам банка»	Тон и границы
Prompt chaining	Разбить на шаги с проверкой между ними	Сложная задача = 2 простых вызова

Источник: Prompt Engineering Guide (dair-ai), Anthropic prompt engineering docs.[108][107]

4. Few-shot — главная техника для каре

Примеры важнее инструкций: один пример «как ответить на запрос про лимит» говорит модели больше, чем абзац правил.

Правила хорошего few-shot:

Примеры из реальных трейсов, не выдуманные идеальные.
Включай крайние случаи: отказ на чужой баланс, «не знаю» вместо выдумки.
3–5 примеров обычно хватает; больше — токены и кэш.
Few-shot для судьи — только из train, holdout не трогать (урок 0006).

5. CoT — когда включать, когда нет

CoT (chain-of-thought): просьба думать шагами перед ответом. Улучшает логику, но: дороже (больше выходных токенов), медленнее, и для фактов не нужен.

Для каре: «2% или 1.5%?» — это факт из контекста, CoT не нужен, нужен T=0 и сверка с контекстом (урок 0002).

CoT нужен для: расчётов, сравнения условий, multi-hop рассуждений.

Практика Anthropic: межстрочное thinking (interleaved thinking) даёт reasoning «из коробки» в новых моделях.[30]

6. Промпт как код

Версионируй: промпт в Git, eval в CI (урок 0007).
Промпт_version в логе — чтобы знать, каким промптом отвечал бот (урок 0007).
Не «улучшай» промпт без eval — это гадание. Каждая правка = прогон golden set.

Проверь себя

Что лучше учит модель формату?

CoT нужен для?

Правку промпта нужно проверять?

Видео и статьи

Prompt Engineering Guide (dair-ai) — вся техника с примерами.[108]
Anthropic prompt engineering docs — «когда промпт решает».[107]
DeepLearning.AI — ChatGPT Prompt Engineering for Developers (бесплатный мини-курс).

Первоисточник урока Prompt Engineering Guide — техники с примерами. Anthropic docs — «когда промпт — не ответ».

Sources:

[107] https://docs.anthropic.com/en/docs/build-with-claude/prompt-engineering/overview
[108] https://www.promptingguide.ai