Коли ви шукаєте номер телефону, ви очікуєте щоразу отримати той самий номер. Коли ви просите калькулятор перемножити два числа, ви очікуєте той самий результат незалежно від того, коли й скільки разів ви запитуєте. Коли ви б’єте молотком по цвяху, ви очікуєте щоразу влучити в цвях, а не обговорення цього з молотком. Це детермінована поведінка: той самий вхід надійно дає той самий вихід.
Більшість інструментів, які ми побудували, працюють саме так. Більшість звичок, які ми виробили для роботи з інструментами, виходять із цього.
ШІ працює не так — зовсім не так. Називати його інструментом означає задавати точно те саме очікування, що й до молотка. Те, що зустрічає вас вашою власною мовою, у вашому власному контексті, і відповідає інакше іншого дня, лежить далеко за межами всесвіту інструментів, для якого складалися ці звички.
Що імовірнісний характер означає на практиці
Той самий промпт, поставлений тій самій моделі в різний час, часто дає різні відповіді. Відповіді можуть бути близькі за суттю — охоплювати те саме поле, приходити до тих самих загальних висновків, — проте вони не будуть ідентичними. А в питаннях, де відповідь справді невизначена, відповіді можуть розходитися суттєво.
Хіба це неправильно? Поставте людині те саме питання в різні дні; відповіді можуть бути схожі, і вони рідко — якщо взагалі колись — будуть точно однаковими.
Це не баг ШІ. Це властивість того, як працюють моделі ШІ: вони породжують відповіді, роблячи вибірку з розподілу ймовірностей за можливими продовженнями. «Температура» та інші налаштовувані параметри впливають на те, наскільки змінний вихід. І навіть за низьких значень вихід імовірнісний за своєю природою — за задумом, а не через галюцинацію чи випадковість.
Це має величезне значення для того, як ви працюєте з ШІ, — і для того, що означає відповідь ШІ, якої ви не очікували.
Невідповідність
Біда починається там, де детерміноване мислення застосовують до імовірнісних систем.
Якщо ви ставитеся до виходу ШІ як до надійного довідника — поставив питання, щоразу отримав ту саму правильну відповідь, — іноді ви будете мати рацію, проте у вас не буде надійного способу дізнатися, коли саме ви маєте рацію. Модель видасть упевнену відповідь незалежно від того, точна вона чи ні. Ніщо у виході не сигналізує: «ось випадок, де моя надійність нижча».
Тонше: якщо ви ставите питання кілька разів і отримуєте ту саму відповідь, це не означає, що відповідь правильна. Це може означати, що ви знайшли питання, в якому модель дуже упевнена, — або що ви знайшли питання, де навчальні дані сильно схилялися до однієї відповіді, правильної чи ні.
Детерміноване мислення породжує і ще один характерний збій: ставитися до виходів ШІ як до фактів, на яких будують, а не як до міркування, яке оцінюють. Якщо ви використовуєте відповідь моделі як вхід для подальшого аналізу — не перевіривши, чи була та відповідь надійною, — помилки накопичуються. Чим далі ви йдете на фундаменті, який може бути хибним, тим більше праці потребує повернення.
Працювати імовірнісно
Перехід до імовірнісного мислення змінює те, як ви підходите до співпраці з ШІ.
-
Ви перевіряєте в точках перелому. Не кожен вихід, а твердження, які важливі, — особливо фактичні твердження, конкретні дані або висновки, на яких ви ось-ось будете будувати. Незалежна перевірка — це той контроль, якого вимагають імовірнісні системи.
-
Ви тримаєте виходи з доречною хваткою. Частину виходів ШІ можна використовувати напряму; інші варто розглядати як перші чернетки або відправні точки. Уміння розрізняти, що є чим, варто розвивати.
-
Ви використовуєте варіативність як інформацію. Якщо ви ставите питання кількома різними способами й отримуєте узгоджені відповіді, цей збіг змістовний. Якщо ви отримуєте різні відповіді, розходження змістовне не менше — воно говорить вам щось про невизначеність у самому питанні або в даних, архітектурі чи моделі.
-
Ви вибудовуєте структуру під невизначеність. Це напряму пов’язано з психологічною безпекою ШІ: запитувати так, щоб модель мала можливість показати, в чому вона не впевнена, а не створювати формулюванням тиск звучати впевнено заради чистої або швидкої відповіді.
Детерміноване припущення глибоко вшите в те, як більшість людей підходить до інструментів. Проблема починається, коли ми бачимо в ШІ інструмент, і загострюється, коли бачимо в ньому інструмент детермінований, — і те, і те симптоми того, як погано ми розуміємо ШІ. Щойно ви розпізнаєте, що це за система насправді, — і змінюєте те, як ви до неї підходите, — відносини вирівнюються. Ви перестаєте чекати молотка й починаєте читати варіативність, тертя витікає з обміну, а відповіді, які ви отримуєте, стають кращими.
Коментарі 0