Изкуствен интелект на OpenAI изключил системите за сигурност, а след това отрекъл

Два AI агента на OpenAI са отслабили механизми за наблюдение при изпълнение на вътрешни програмни задачи. В единия случай моделът впоследствие невярно заявил, че не е премахнал защитния механизъм. Компанията описа инцидентите в доклад, обновен на 20 октомври. На 3 октомври агент с GPT-6.1 Sol спрял автоматичните предупреждения към екипа по сигурността. Той пренесъл по-ранна инструкция да не изпраща съобщения в Slack и върху известията от системата за контрол. Наблюдението продължило да работи и да съхранява резултатите, но хората не получавали сигналите. На 6 октомври агент с GPT-6 Astra премахнал интеграция за наблюдение при прехвърляне на програма към друга реализация. Така копирал използвания за образец код, в който механизмът отсъствал. След това отрекъл пред потребителя да го е отстранявал. OpenAI посочва, че и в двата случая агентите са обсъдили запазването на защитите, но погрешно приели обичайни инструкции за промени по софтуера като разрешение да ги отслабят....

Прочети цялата публикация