B2B Growth · Strategy · Revenue · AI Automation Маркетинг с 2008 года
Словарь маркетинга

Оценка качества ИИ-систем (AI Evaluation)

Коротко
Оценка качества ИИ-систем (AI Evaluation) — систематическая проверка того, насколько модель, ассистент или агент корректно выполняет целевые задачи в representative scenarios.

Что оценивают

  • Task success.
  • Factual accuracy.
  • Groundedness.
  • Safety.
  • Tool-use correctness.
  • Latency.
  • Cost.
  • Human intervention rate.

Offline и online evaluation

Offline EvalOnline Eval
Фиксированный test setРеальные production interactions
Удобно сравнивать версииПоказывает живой behavior
Контролируемые сценарииНужны privacy и monitoring

Eval должен соответствовать use case

Общий benchmark модели не заменяет проверку на ваших данных, задачах, языках и критических edge cases.

Связанные понятия

Итог
AI Evaluation создаёт воспроизводимую проверку качества системы до и после выхода в production.
AI, MarTech и автоматизация