Качество работы

3 мин чтения

Анализ работы с ИИ

Как разобрать переписки с агентом, найти повторяющиеся проблемы и предложить правила под свои задачи. Порядок запуска и PDF-задание.

Если агенту регулярно приходится переделывать результат, полезно разобрать реальные переписки: где он не выполнил задание, где вы добавили новое условие, а где просто редактировали текст. От этого зависит, какие правила стоит менять.

Я подготовил для такого разбора PDF-задание. Оно подходит для работы в ChatGPT, Codex и Claude: агент проверяет доступ к истории, изучает выбранные диалоги и предлагает правила под ваши задачи. Сам файл содержит инструкцию агенту; ниже — как её запустить.

Как запустить разбор

1. Скачайте PDF

Откройте задание «Анализ работы с ИИ» и нажмите «Скачать PDF». Документ состоит из двух страниц: проверка исходников и охвата, затем разбор проблем и подготовка правил.

2. Дайте файл своему агенту

Начните отдельный разговор и приложите PDF. Если работаете в папке с файлами, можно указать агенту путь к сохранённому документу. Само вложение ещё не запускает разбор.

Напишите: «Выполни задание из PDF». Можно сразу добавить, какой проект и период вас интересуют: так разбор будет ограничен нужными вам материалами.

3. Предоставьте переписки, если у агента нет доступа

Агент должен сначала проверить, какие исходные разговоры действительно доступны. Память о ваших предпочтениях или пересказ старой беседы не заменяют полный диалог.

Если истории нет, приложите нужные переписки с ролями участников, исходным заданием, ответами и продолжением. Исходные файлы в этом разборе предназначены для чтения. Недоступную историю агент должен обозначить, а не восстанавливать по догадке.

4. Дождитесь полного разбора выбранного материала

Большой объём можно проходить частями. В отчёте должны быть видны источники, период, сколько сообщений разобрано и сколько осталось. Самовольную выборку нельзя считать полным аудитом: уменьшить объём можно по вашему решению.

Какой результат запросить

Задание предусматривает отчёт с повторяющимися проблемами, примерами из переписок и предложенным блоком правил. Агент должен отделить нарушение прежнего условия от обычной редактуры или нового пожелания.

Для каждого правила нужны понятные действия: когда его применять, что проверять и как исправлять проблему. В конце — короткий обезличенный итог: проблема, предложенное правило и задачи, для которых оно подходит.

Что делать с правилами

Сначала сравните предложения с действующими инструкциями. Иногда нужное требование уже записано, но не выполняется; добавление ещё одного похожего пункта это не объясняет.

Выберите подходящие правила и область их действия. В ходе самого аудита агент не должен менять постоянные настройки; сохранить инструкции можно отдельным шагом после вашего согласия.

Затем проверьте правила на повторяющейся работе: стало ли меньше замечаний и переделок, не появилась ли лишняя процедура. Само наличие новых инструкций ещё не означает, что качество выросло.

Что важно помнить

Разбор показывает доступный материал, а не обязательно всю вашу историю работы с ИИ. Доля сообщений с замечаниями не равна доле неудачных задач; причины ошибок остаются гипотезами, пока их не проверили.

Не публикуйте исходные рабочие диалоги, секреты и клиентские подробности. Для обсуждения достаточно обезличенной связки «проблема — правило — где применимо». Наблюдениями можно поделиться в канале об ИИ.

Источники

Обсудим
вашу ситуацию.

Коротко опишите задачу и результат, который вам нужен. Обсудим, как я могу помочь, и выберем формат работы.

Краткое описание для руководителя