Запись

Оценка AI-агентов (Андрей Киселёв)

Тема в разделе "Нейросети и искусственный интеллект"

Присоединяйтесь к складчине «Оценка AI-агентов», автор курса — Андрей Киселёв. Высокий pass rate сам по себе не показывает, какие ошибки AI-системы стоит...
Цена:
79999 руб
Взнос:
853 руб
Организатор:
Евражкa

Список участников складчины:

1.Евражкa
open
2
Записаться
  1. Евражкa Организатор складчин
    [​IMG] ​


    Высокий pass rate сам по себе не показывает, какие ошибки AI-системы стоит исправлять в первую очередь. На курсе Андрея Киселёва вы научитесь читать трейсы и группировать ошибки, а также строить синтетические датасеты для оценки качества ещё до появления пользовательского трафика.

    Другое название — «Оценка AI агентов».

    Для кого:
    1. AI / ML и Backend-инженерам
      Научитесь проектировать автоматические пайплайны оценки, тестировать сложных multi-step-агентов, мерить качество Retrieval (RAG) и встраивать эвалы в CI/CD — чтобы регрессии ловились до релиза, а не на проде
    2. Product-менеджерам AI-продуктов
      Получите инструменты для data-driven-управления качеством: связывать бизнес-метрики с метриками модели, строить таксономию ошибок и ставить инженерам прозрачные, измеримые ТЗ
    3. Tech Lead'ам и руководителям
      Поймёте, как выстроить процессы оценки внутри команды, выбрать стек (готовые платформы vs. in-house) и снизить затраты на ручную разметку — превратив эвалы в инструмент принятия решений
    Барьеры при масштабировании AI-продуктов:

    AI-системы ломаются не из-за моделей, а из-за отсутствия понимания качества. Вы не знаете что считать хорошим результатом, принимаете решения на глаз, отсутствует система оценки.

    Результаты после курса:

    Курс не только про эвалы, но и про навыки разработки AI в продакшне.
    • Сейчас: данных нет, а оценивать систему нужно уже сейчас.
      После курса: строите синтетические датасеты с первого дня прототипа — и не ждёте живого трафика, чтобы начать измерять
    • Сейчас: pass rate «вроде нормальный», но непонятно, что именно чинить.
      После курса: читаете трейсы, кластеризуете ошибки и точно знаете, какой класс проблем устранить первым
    • Сейчас: каждый новый формат — снова с нуля думаешь, как его оценивать.
      После курса: один инструментарий — на текст, изображения и мульти-тёрн чат. Переносите на любую AI-систему без потерь
    • Сейчас: стейкхолдеры не доверяют метрикам, продакты не понимают эвалы.
      После курса: встраиваете оценку качества в процесс команды — так, чтобы на неё опирались при принятии продуктовых решений
    За 5 недель соберите eval-процесс на реальных прод-кейсах.


    Программа:

    Пять сессий — пять симуляций реальных кейсов

    5 сессий · 7.5 ч разговора
    1. Сессия 1. Интро и философия эвалов на простом кейсе
      Кейс — QnA-поиск по справке. Весь путь от продуктовой постановки до первого работающего эвала в ситуации, когда живых пользовательских данных ещё нет
    2. Сессия 2. Error analysis и почему eval-driven development — фантазия
      Почему нельзя один раз придумать идеальный эвал и «разрабатывать под него». Чтение трейсов, кластеризация ошибок, few-shot mining и автоподбор промптов через GEPA и DSPy
    3. Сессия 3. Мультимодальность: тот же инструментарий на генерации изображений
      Кейс — генерация кастомных картинок для печати на банковских картах. Рубрики безопасности, декомпозиция недопустимого контента и VLM-as-a-judge для визуального результата
    4. Сессия 4. Оценка чат-продуктов end-to-end
      Кейс — text2sql-ассистент с доступом к транзакционной базе пользователя. Multi-turn-оценка, симуляция пользователя через LLM, синтетические персоны и метрики сверх pass rate
    5. Сессия 5. Подведение итогов и рецепты для продакшна
      Финальная сессия — как на практике внедрить эвалы в команду. Технические рецепты плюс продуктовая и организационная сторона: стейкхолдеры, legal, антипаттерны
    Что входит в курс:
    • 5 записей сессий с разбором
    • 5 реальных кейсов: от QnA до мультимодальности
    • 4 проекта в портфолио
    • Записи и материалы
    Автор Андрей Киселёв
    • Head of Product, который строил, ломал и чинил AI продукты
    • Строил AI-продукты в продакшне: от первых RAG в маленьких командах до платформ с миллионами вызовов агентов в день
    • Работал в Revolut и Yandex, где отвечал за внедрение AI-фич
    • Истории и подходы из курса — то, что встречается в реальной разработке продуктов, с цифрами, ошибками и рабочими плэйбуками

    Скрытый текст. Доступен только зарегистрированным пользователям.Нажмите, чтобы раскрыть...
     
  2. Похожие складчины
    Загрузка...
Наверх