Plata · AI Engineer Middle/Middle+ · AI System Design

Курс подготовки к раунду

Инсайд раунда: eval-ы и выбор метрик — главный фактор. Это курс-хаб: 6 коротких уроков с квизами + 2 глоссария. Источники — первоисточники (Anthropic, OpenAI, Hamel, papers).

Уроки

0001 · Evals как процесс
Три уровня, error analysis, почему accuracy судьи врёт15 мин 0002 · RAG: пайплайны, чанки, метрики
Ingestion/query, чанк-стратегии, retrieval vs generation15 мин 0003 · Contextual Retrieval
−49%/−67%, prompt caching, цифры Anthropic15 мин 0004 · Тулы (ACI) и субагенты
Когда делить, 8 правил ACI, метрики тулов, τ-bench15 мин 0005 · Деплой и долгоживущие агенты
8 шагов выката, initializer + coding agent, память15 мин 0006 · LLM-as-judge
Баги судей, калибровка, промпт-скелет15 мин 0007 · Структура сервиса агента
API-контракт, состояние, цикл, тулы, очереди15 мин 0008 · Фреймворки агентов и observability
LangGraph, CrewAI, AutoGen, Pydantic AI, Langfuse15 мин 0009 · Local модели vs paid API
Когда что, vLLM/llama.cpp, очередь, параллелизация15 мин 0010 · Дообучение и элаймент
SFT, LoRA, DPO, PPO/RLHF, GRPO, RLAIF15 мин 0011 · Prompt engineering
Few-shot, CoT, структура, промпт как код15 мин 0012 · Retrieval глубже
Rerank, rewrite, HyDE, порядок рычагов15 мин 0013 · Безопасность и guardrails
OWASP Top 10, injection, excessive agency15 мин 0014 · Многопользовательность
Rate limiting, кэш, тенантность15 мин 0015 · Стоимость и capacity
Токены, окупаемость GPU, сколько железа15 мин

Моки — полные разборы system design

M1 · Мок: Customer-care бот
45 минут на доске + вопросы рекрутера с ответами30 мин M2 · Мок: OCR-пайплайн
Документы, поля, HITL, честный пробел30 мин M3 · Мок: Voice/STT-агент
STT → ядро → TTS, WER, barge-in30 мин M4 · Мок: skill-based каре
Скиллы, on-demand тулы, метрики и evals слоёв30 мин

Инженерия

0019 · Observability и трейсинг
Трейсы → evals → SLO → алерты15 мин 0020 · CI/CD для LLM
Golden set, eval-гейт, канарейка, откат15 мин 0021 · Capabilities и Agent Skills
Pydantic AI capabilities, SKILL.md, против графов15 мин

Справочники

REF · Глоссарий метрик
Все формулы: классификатор, retrieval, generation, тулы, продуктпечать REF · Глоссарий инструментов
Phoenix, Braintrust, Tika, Marimo, PAIR, MCP, SDKпечать

Неделя до раунда (чеклист)

ДеньТемаОбязательноЕсли останется
Д1Evals как процессУрок 0001 + видео HamelFAQ
Д2RAG-метрикиУрок 0002 + DL.AI Advanced RAGEvidently guide
Д3Каркас на доскеУрок 0003 + Chip 75 мин + GauravThink Software
Д4Тулы и субагентыУрок 0004 + Anthropic тулы + CognitionDL.AI Evaluating Agents
Д5Деплой + судьяУроки 0005–0006 + глоссарииAnthropic harness
Д6Мок 1: customer-care45 мин вслух, запись—
Д7Мок 2: OCR + карточка45 мин + прогон AI-SD-CARD—

Куда дальше

Правило изучения После каждого урока закрой вкладку и расскажи вслух 3 минуты. Если не можешь — перечитай. Квизы — для проверки, не для «я же это видел».
Вопросы к агенту: задавай в чате — он твой учитель и может разобрать любой блок глубже, устроить мок-интервью или сгенерировать новые квизы.