Комп'ютерні новини
Всі розділи
Microsoft попереджає: агентні функції Windows 11 можуть викликати "галюцинації"
Microsoft оголосила, що операційна система Windows 11 проходить "агентне перероблення", одночасно попередивши про функціональні обмеження та можливі ризики.
Вона офіційно заявила, що моделі ШІ "все ще стикаються з функціональними обмеженнями щодо своєї поведінки та іноді можуть галюцинувати та видавати неочікувані результати".
У збірці Windows 11 26220.7262 з'явився новий перемикач «Експериментальні агентні функції» в «Налаштуваннях» у розділі «Компоненти ШІ». Ця функція є додатковою і вимагає ручного ввімкнення, при якому Windows відобразить попередження про її експериментальний характер.
Окрім "галюцинацій", більшою проблемою є ризик для безпеки. Вже з'являються нові методи атаки, пов'язані з автономними агентами, зокрема, перехресне впровадження запитів. У цих атаках шкідливі інструкції приховані у звичайних документах або елементах інтерфейсу, змушуючи агента виконувати їх замість початкового завдання, що може призвести до встановлення шкідливого програмного забезпечення або витоку даних.
Microsoft стверджує, що ці агенти працюють у "робочому просторі агента", подібно до Windows Sandbox, де кожен агент має обмежений обліковий запис, його дії перевіряються та записуються. Однак, агенти розроблені для постійної роботи, що розширює можливу поверхню атаки. За замовчуванням агенту може бути надано доступ для читання та запису до загальних папок, таких як «Документи», «Робочий стіл» та «Завантаження». Ці налаштування залишають потенційні прогалини, доки Microsoft не впровадить сильніший захист, наприклад, детальніші дозволи.
