Урок 0012 · Retrieval глубже: rerank, rewrite, HyDE

Полный набор приёмов улучшения поиска и как их комбинировать. Продолжение урока 0002 (база) и 0003 (Contextual Retrieval).

1. Карта рычагов retrieval

Пять независимых мест, где можно улучшить поиск:

2. Query rewrite и expansion

Проблема: пользовательский запрос часто плох для поиска: «а какая там комиссия, если перевести в другой банк?» — местоимения, разговорная речь, нет доменных терминов.

Rewrite: LLM переписывает запрос для поиска: → «comisión transferencia interbancaria SPEI». Отдельный дешёвый вызов перед ретривером.

Query expansion: один запрос превращается в несколько вариантов, ищется каждый, результаты объединяются (multi-query). Ловит разные формулировки.

Правило: rewrite/expansion включают ТОЛЬКО если eval доказал выигрыш (урок 0002). Каждый вызов — латентность и стоимость.

3. HyDE — Hypothetical Document Embeddings

Идея: вместо поиска по запросу — сгенерировать гипотетический «идеальный ответ» на запрос и искать ПО НЕМУ. Ответ ближе по эмбеддингам к реальным документам, чем вопрос.[55]

Пример: запрос «какие документы нужны для кредита?» → LLM генерирует «Для получения кредита необходимы: паспорт, справка о доходах…» → этот текст эмбеддится и ищется.

Подводный камень: гипотетический документ может содержать выдумки. Эмбеддинг-бутленек фильтрует часть, но не всё.[55] Плюс — латентность на каждый запрос.

Когда: когда запрос и документы написаны по-разному (вопрос разговорный, документы формальные). Проверяется только A/B на golden set.

Источник: HyDE paper.

4. Reranking — главный рычаг precision

Проблема: гибридный поиск вернул top-20, среди них мусор. Модель получит всё и запутается.

Решение: маленькая отдельная модель-реранкер (Cohere Rerank, Voyage reranker) пересортировывает top-20 по релевантности к запросу, оставляет top-5.

Цифры из Contextual Retrieval: rerank добавил −67% → −67%+ (5.7% → 1.9% с contextual + rerank).[26]

Почему это работает: реранкер — кросс-энкодер: видит запрос И документ ВМЕСТЕ (в отличие от би-энкодера эмбеддингов, который кодирует по отдельности). Это дороже на один запрос, но точнее. Поэтому реранкят только top-20, не весь корпус.

Trade-off: чем больше кандидатов реранкится, тем лучше recall, но выше латентность. Экспериментируй (Anthropic прямо советуют).[26]

5. Embedding-модели: что менять

• Разные эмбеддинги по-разному понимают домен: финансы, юридика, код — специализированные модели часто лучше generic.
• Размерность: 384 vs 1536 vs 3072 — больше не всегда лучше, но обычно точнее.
• Менять эмбеддинг = переиндексация всего корпуса. Дорого. Поэтому сначала дешёвые рычаги: chunking, rewrite, rerank.

6. Как комбинировать: порядок действий

1. Замерь baseline — recall@k, precision@k, MRR на golden set (урок 0002).
2. Низкий recall? → chunking (границы), hybrid (BM25 добавить), rewrite/expansion, потом эмбеддинг.
3. Низкая precision? → reranker, metadata filter, меньше k.
4. Чанк без контекста? → Contextual Retrieval (урок 0003).
5. Каждый шаг — A/B на golden set, один рычаг за раз.

Фраза: «Сначала дешёвые рычаги: chunking, hybrid, rewrite. Rerank — когда precision страдает. Embedding-модель меняю последней — это переиндексация. Каждый шаг проверяю на golden set».

Проверь себя

Видео и статьи

• HyDE paper — гипотетические документы.[55]
• Anthropic Contextual Retrieval — rerank цифры.[26]
• Jason Liu Levels of RAG — rewrite + rerank на практике.[40]
• Cohere Rerank / Voyage reranker — инструменты.

Sources:

• [26] https://www.anthropic.com/news/contextual-retrieval
• [40] https://jxnl.github.io/blog/writing/2024/02/28/levels-of-complexity-rag-applications
• [55] https://arxiv.org/abs/2212.10496