Как проверить код от нейросети, если не умеешь программировать
Коротко: проверяй не код, а поведение и следы. Сохранись до задачи, после неё посмотри список изменённых файлов, попроси прогнать все тесты и пройди главный сценарий руками. Читать строки кода для этого не нужно.
Агент пишет «готово». Ты открываешь приложение, кнопка на месте. Дальше обычно два чувства: радость и лёгкое сомнение. Сомнение правильное. «Готово» от агента значит «я закончил писать», а не «всё работает».
Хорошая новость: проверить работу можно без знания языка. Ты смотришь на то, что видно снаружи.
Что ты можешь проверить сам
Код похож на чужой язык. Зато у любой правки есть следы, понятные без перевода:
- какие файлы изменились и сколько;
- что пишут проверки: прошли или упали;
- как ведёт себя приложение, когда ты им пользуешься;
- что агент говорит, когда его спрашивают прямо.
Каждый след закрывает свою дыру. Вместе они ловят большую часть поломок.
Пять проверок после каждой задачи
1. Сохранись до начала
Перед задачей одна команда:
git add -A && git commit -m "до задачи: форма входа"
Это точка, к которой можно вернуться. Без неё любая проверка теряет смысл: нашёл поломку, а откатиться некуда.
2. Посмотри список файлов
После задачи:
git diff --stat HEAD
Ты увидишь названия файлов и число изменённых строк. Задача была про форму входа, а в списке файл оплаты? Спроси агента, зачем он его трогал. Задача маленькая, а строк сотни? Тоже повод спросить.
3. Попроси прогнать все тесты
Тест это маленькая программа, которая сама проверяет результат. Напиши агенту:
Запусти все тесты проекта и покажи вывод целиком.
Не исправляй ничего, только запусти.
Смотри на итоговую строку: сколько прошло, сколько упало. Запомни число. Было сорок, стало тридцать восемь? Две проверки пропали, и это надо выяснить. Тестов нет совсем? Попроси агента написать их первым делом, до новых задач.
4. Пройди сценарий руками
Возьми то, ради чего задача делалась, и сделай это как пользователь. Потом проверь два соседних действия, которые работали вчера. Форма входа: войди, выйди, войди с неверным паролем. Три минуты, и ты знаешь больше, чем после любого отчёта.
5. Задай агенту три вопроса
1. Какие файлы ты изменил и зачем каждый?
2. Что ты не сделал из того, что я просил?
3. Что может сломаться из-за этих правок?
Второй вопрос самый полезный. Агент охотно признаётся в пропущенном, если спросить прямо. Без вопроса он об этом молчит.
Когда остановиться и откатиться
Есть три сигнала, при которых не стоит чинить дальше:
- Изменились файлы, которые к задаче не относятся.
- Пропали тесты или в файлах тестов есть правки.
- Сломалось то, что работало до задачи.
В этих случаях вернись к точке сохранения и поставь задачу заново, уже точнее. Почему агент трогает тесты, я разобрал отдельно. Как написать задачу, чтобы правок было меньше, есть в шаблоне ТЗ.
Как это делает HyperArc
Пять проверок держатся на твоей внимательности. На десятой задаче за вечер её уже не хватает. В HyperArc готовая фича приходит одной карточкой приёмки: что сделано и что проверить. Это уже работает. Проверки, написанные до кода и запертые от агента, я сейчас строю: задача будет засчитана только вместе со всеми прошлыми. Весь цикл описан на главной, а десять проверок для ручной работы собраны в чек-листе.
Я делаю HyperArc. Учитывай это, когда читаешь мои тексты о нём.