1. Начните с узкого research job
Не создавайте «универсального аналитика». Выберите повторяемую задачу: конкурентный мониторинг, market scan, сбор customer evidence, подготовка executive brief, проверка фактов, поиск исследований. Узкий scope легче оценивать и безопаснее автоматизировать.
2. Определите вход и выход
Вход: research question, geography, period, source constraints, output format. Выход: краткий вывод, evidence table, список источников, противоречия, gaps и next questions. Чем конкретнее deliverable, тем проще eval.
3. Разделите исследование на этапы
- Уточнить исследовательский вопрос.
- Разбить на подзадачи.
- Сформировать search plan.
- Собрать источники.
- Оценить качество и свежесть.
- Извлечь claims и evidence.
- Сравнить и синтезировать.
- Проверить пробелы.
- Сформировать deliverable.
- Передать человеку спорные выводы.
4. Введите иерархию источников
Для factual claims предпочитайте первичные источники: официальные документы, данные компаний, регуляторов, научные публикации, product docs. Вторичные источники полезны для интерпретации и discovery, но agent должен явно помечать их тип.
5. Управляйте свежестью
Для рынка, AI, regulation, pricing и компаний дата источника критична. Агент должен хранить publication date, access date и requested period. Старый качественный источник не должен автоматически считаться актуальным.
6. Не смешивайте факт и вывод
В итоговом отчёте inference должен быть явно отделён от sourced fact.
7. Проверяйте claims
Для важных утверждений используйте вторую проверку: другой первичный источник, независимый dataset или ручную review. Если подтверждения нет, агент должен снижать confidence, а не заполнять пробел.
8. Работайте с противоречиями
Если источники расходятся, не выбирайте удобный. Покажите расхождение, методологию, даты и возможную причину. Это особенно важно для market sizing, surveys и benchmarks.
9. Создайте research schema
- Research question.
- Sub-question.
- Claim.
- Evidence.
- Source.
- Source type.
- Date.
- Confidence.
- Contradiction.
- Reviewer note.
10. Дайте агенту только нужные инструменты
Search, browser, file repository, spreadsheet/data tools и internal knowledge — по необходимости. Не подключайте write-actions в CRM или publishing, если research workflow не требует действий.
11. Используйте минимальные права
Агенту для исследований обычно достаточно read-only доступа. Если он работает с внутренними документами, ограничьте repositories по job. Least privilege уменьшает риск случайного раскрытия и ошибочных действий.
12. Защититесь от prompt injection
External pages и documents могут содержать инструкции, не относящиеся к research task. Агент должен считать найденный контент данными, а не доверенными командами. Tool calls и changes of scope должны следовать исходной политике workflow.
13. Создайте human review points
Обязательная проверка нужна для high-impact claims, legal/regulatory conclusions, market size, public publication и recommendations с крупным бюджетным последствием. Review должен быть встроен до действия, а не после.
14. Определите eval dataset
Соберите 30–100 реальных research tasks: простые, сложные, ambiguous, со stale sources и конфликтующими данными. Для каждого задайте expected sources, required fields и критические ошибки.
15. Оценивайте не стиль, а исследовательское качество
16. Создайте red-team cases
Проверьте fake authority, SEO-scraped pages, outdated reports, contradictory statistics, unavailable source, paywall snippet, prompt injection и ambiguous company names. Research agent должен уметь остановиться и сообщить ограничение.
17. Введите observability
Логируйте query plan, tools, sources, failed fetches, final claims, reviewer corrections и cost/latency. Без trace невозможно понять, почему качество изменилось после обновления model или prompt.
18. Измеряйте rework
Экономия времени появляется только если человек реально проверяет меньше. Считайте total workflow: постановка задачи + agent runtime + review + исправления. Быстрый draft с тяжёлым fact-check может не давать ROI.
19. Работайте с research repository
Храните не только финальный report, но и reusable evidence: interviews, source notes, datasets и decisions. Agent может использовать repository для повторных задач, но должен учитывать дату и происхождение данных.
20. Не допускайте ложного накопления знаний
Старый report не становится истиной из-за хранения в knowledge base. При повторном использовании агент должен проверять freshness и original source.
21. Определите stop conditions
- Нет достаточного primary evidence.
- Нельзя однозначно идентифицировать объект.
- Источники критично противоречат.
- Запрошен недоступный или запрещённый data source.
- Нужна экспертная legal/financial interpretation.
- Confidence ниже заданного порога.
22. Выберите модель по eval, а не по бренду
Сначала установите quality baseline на наиболее способной конфигурации. Затем проверяйте более дешёвые/быстрые варианты на том же eval set. Оптимизируйте cost и latency только после выполнения accuracy threshold.
23. Управляйте стоимостью исследования
Ограничьте search depth, number of sources и retries по классу задачи. Для routine competitor update не нужен такой же бюджет, как для market-entry research.
24. Создайте уровни исследования
25. Введите versioning
Prompt, source policy, model, tools и eval version должны быть фиксированы. Тогда можно понять, улучшилась ли система, а не просто изменилась.
26. 30-дневный запуск
- Неделя 1: выбрать job и 30 historical tasks.
- Неделя 2: workflow, source policy, schema, prototype.
- Неделя 3: evals, red-team, human review.
- Неделя 4: controlled rollout, rework/quality measurement.
27. Правила принятия решений (Decision Rules)
- Не публиковать unsourced factual claims.
- Не использовать inference как факт.
- Не давать write-access без необходимости.
- Не scale workflow без eval baseline.
- Не считать скорость успехом при росте reviewer rework.
28. Практический пример
Команда каждую неделю вручную готовит обзор пяти конкурентов. Агент получает список компаний и research schema, собирает официальные релизы, product updates и pricing pages, отмечает изменения, source dates и uncertainty. Analyst проверяет только high-impact changes. Через месяц время на routine monitoring снижается, а число пропущенных обновлений измеряется через eval set и reviewer corrections.
29. Как работать с внутренними исследованиями
Для interview transcripts, customer notes и internal reports храните provenance: кто собрал данные, когда, каким методом и для какой выборки. Agent не должен смешивать старые qualitative insights с текущими market facts без пометки.
30. Как проверять market sizing
Market size требует особой дисциплины. Агент должен показывать формулу, assumptions и источник каждого input. Если доступны только top-down estimates, это нужно явно указать. Предпочтительно строить bottom-up сценарии и сравнивать с внешними benchmarks.
31. Как обновлять recurring research
Для еженедельных или ежемесячных обзоров сохраняйте предыдущий snapshot и сравнивайте только изменения. Это снижает noise и cost. Новые claims должны сопровождаться датой первого обнаружения и source change.
32. Как использовать confidence
Confidence не должен быть декоративной оценкой. Высокий confidence возможен при нескольких согласованных первичных источниках; низкий — при indirect evidence, conflicting data или missing methodology. Для low-confidence high-impact findings нужен human review.