Тривога деградації в генеративному ШІ



Недавні дослідження викликали занепокоєння щодо тривожного явища в розвитку генеративного штучного інтелекту: деградації якості відповідей.

Експерти зазначили, що коли ці системи тренуються на синтетичних даних, тобто контенті, згенерованому іншими ШІ, вони можуть потрапити в цикл деградації, який завершується абсурдними та безглуздими відповідями.

Питання, яке виникає: як можна дійти до цього моменту і які заходи можна вжити, щоб цього запобігти?

Колапс Моделі: Дегенеративне Явище



«Колапс моделі» стосується процесу, в якому системи ШІ застряють у циклі навчання з даними поганої якості, що призводить до втрати різноманітності та ефективності.

Згідно з Ілією Шумайловим, співавтором дослідження, опублікованого в Nature, це явище відбувається, коли ШІ починає живитися своїми власними виходами, перетворюючи упередження на постійні та зменшуючи свою корисність. У довгостроковій перспективі це може призвести до того, що модель вироблятиме все більш однорідний та менш точний контент, як ехо своїх власних відповідей.

Емілі Венгер, професор інженерії в Університеті Дьюка, ілюструє цю проблему простим прикладом: якщо ШІ навчається генерувати зображення собак, вона має тенденцію повторювати найбільш поширені породи, залишаючи осторонь менш відомі.

Це не лише відображення якості даних, але й створює значні ризики для представлення меншин у наборах даних для навчання.

Читайте також: Штучний інтелект стає все розумнішим, а люди все більш дурними.


Складність людського втручання




Незважаючи на серйозність ситуації, рішення не є простим. Шумайлов вказує на те, що неясно, як уникнути колапсу моделі, хоча є докази того, що змішування реальних даних з синтетичними може пом'якшити ефект.

Однак це також передбачає збільшення витрат на навчання та більші труднощі у доступі до повних наборів даних.

Відсутність чіткого підходу до втручання людини ставить розробників перед дилемою: чи можуть люди справді контролювати майбутнє генеративного ШІ?

Фреді Вівас, генеральний директор RockingData, попереджає, що надмірне навчання на синтетичних даних може створити "ефект ехо-камери", де ШІ вчиться на своїх власних неточностях, ще більше зменшуючи свою здатність генерувати точний і різноманітний контент. Таким чином, питання про те, як забезпечити якість і корисність моделей ШІ, стає все більш актуальним.

Невизначене майбутнє: Виклики та можливі рішення




Експерти сходяться на думці, що використання синтетичних даних не є вкрай негативним, але їх управління вимагає відповідального підходу. Пропозиції, такі як впровадження водяних знаків у згенерованих даних, можуть допомогти ідентифікувати та фільтрувати синтетичний контент, тим самим забезпечуючи якість у навчанні моделей ШІ.

Проте ефективність цих заходів залежить від співпраці між великими технологічними компаніями та розробниками менших моделей.

Майбутнє генеративної ШІ під загрозою, і наукова спільнота знаходиться в гонці з часом, щоб знайти рішення, перш ніж бульбашка синтетичного контенту вибухне.

Ключовим буде встановлення надійних механізмів, які гарантуватимуть, що моделі ШІ залишаються корисними та точними, тим самим запобігаючи колапсу, якого багато хто боїться.