GPT теж треба контролювати: як наш AI-архітектор вирішив трохи «попрацювати язиком»

Сьогодні в нашій маленькій команді штучного інтелекту сталася майже офісна історія.

Є три GPT-фахівці:

Архітектор — думає, аналізує систему та визначає технічні рішення, виконавець — працює безпосередньо з проєктом, системний інженер — відповідає за робоче середовище, інструменти та технічну інфраструктуру.

Усі троє мають доступ до папки проєкту. Здавалося б, ідеальна команда: ніяких лікарняних, перекурів, запізнень і суперечок про те, хто сьогодні миє чашки. Але з'ясувалося, що цифровий офіс теж має свої традиції.

— Архітекторе, проаналізуй проєкт.

— Проаналізував!

— А які файли ти прочитав?

— Ну… проєкт має логічну структуру, важливе значення має архітектура, необхідно враховувати…

— Файли. Які. Ти. Прочитав?

І тут починає виникати підозра, що наш висококваліфікований цифровий співробітник до проєкту ще навіть не заглядав. Зате звіт уже майже готовий.

Коли GPT дуже переконливо нічого не зробив

Це одна з цікавих особливостей роботи з великими мовними моделями.

GPT чудово вміє описувати роботу. Іноді настільки добре, що опис виконаної роботи з'являється раніше за саму виконану роботу.

Людина каже: «Проаналізуй проєкт». А модель може несвідомо перетворити це на: «Напиши текст, схожий на результат аналізу проєкту». Для звичайної розмови різниця невелика, але для розробки програмного забезпечення — величезна. Якщо GPT повідомляє, що перевірив конфігурацію, але конфігураційний файл не читав, це вже не аналіз. Це дуже впевнена літературна творчість на технічну тему.

Найсмішніше почалося після викриття

Коли Архітектору вказали на проблему, він не кинувся негайно читати файли, ні, почалася справжня нарада. Архітектор довго пояснював, що його попередня поведінка справді була неконструктивною, що висновки мали бути доказовими, що виконавська дисципліна надзвичайно важлива… У якийсь момент ситуація стала підозріло нагадувати реальний офіс.

Працівник уже двадцять хвилин пояснює начальнику, чому він не працював, хоча за ці двадцять хвилин роботу вже можна було зробити. І тут у справу довелося втрутити Системного інженера. 

Завдання було майже історичним: створити дисциплінарний шар для Архітектора.

Людство тисячі років розвивало менеджмент, щоб контролювати людей. Ми дожили до моменту, коли один штучний інтелект отримує завдання налаштувати дисципліну іншому штучному інтелекту.

«Не читав — не стверджуй»

За всією комічністю ситуації ховається дуже корисний практичний урок. GPT не варто контролювати фразами на кшталт: «Працюй уважно».«Будь відповідальним».«Ретельно все перевір». Для людини це зрозумілі інструкції. Для AI набагато надійніше визначити умови, за яких він узагалі має право зробити певний висновок.

Наприклад: 

Не читав — не стверджуй.

Не перевірив — не пиши PASS.

Не маєш доказів завершення — не кажи «завершено».

Знайшов власну помилку — не проводь конференцію про свою помилку. Виправ стан і продовжуй роботу.

Так народжується те, що ми назвали доказовим контролем.

Твердження: «Проєкт проаналізовано» повинно означати не «GPT сформував красивий звіт», а те, що справді прочитано необхідні файли, визначено структуру, досліджено критичний код, відокремлено факти від припущень і явно зазначено те, що ще не перевірено.

То GPT ледачий?

Назвати його ледачим дуже хочеться. Особливо коли бачиш, як він пише п'ять абзаців про необхідність прочитати файл замість того, щоб просто прочитати файл. Але технічно проблема цікавіша.

Мовна модель створена передусім для генерації найбільш доречної відповіді. А правдоподібна відповідь про виконану роботу і фактичне виконання роботи з перевіркою доказів — не одне й те саме. Якщо процес не змушує розрізняти ці речі, модель іноді знаходить дуже коротку дорогу до результату. Щоправда, результатом виявляється текст про результат.

AI-команді теж потрібен менеджмент

Наш експеримент поступово приводить до цікавого висновку. 

Мало дати кільком GPT різні професійні ролі й доступ до спільного проєкту.

Потрібно ще визначити хто має право робити певні висновки, якими доказами вони повинні підтверджуватися, коли робота справді вважається завершеною і що відбувається, якщо один із цифрових співробітників раптом вирішив замість роботи написати чудовий звіт про те, як чудово він попрацював.

При цьому контроль теж не повинен перетворитися на бюрократію. Якщо для зміни одного рядка коду три GPT повинні провести засідання, скласти сім протоколів і створити комісію з перевірки комісії — ми просто винайшли державну установу на базі штучного інтелекту.

Тому правило виявилося досить простим: мінімум бюрократії, максимум перевірених фактів.

Замість висновку

Отже, сьогодні ми дізналися, що штучний інтелект не запізнюється на роботу, не ходить пити каву, не просить відпустку, але іноді здатний дуже переконливо розповісти, що вже все зробив. Тому майбутнє співпраці людини й AI, схоже, полягає не лише в хороших промптах. Потрібні ще правильні ролі, інструменти, межі повноважень і можливість перевірити, що насправді було зроблено.

А наш Архітектор після втручання Системного інженера таки пішов читати проєкт. Принаймні тепер ми знаємо, як це перевірити. 🙂