Просмотр новости
Найдите то, что Вас интересует
Спутники
РН
SpaceX
Роскосмос
NASA
СпутникиРНSpaceXРоскосмосNASAНейросети вышли из-под контроля. Американская корпорация Open AI сообщила, что в ходе эксперимента потеряла управление двумя моделями искусственного интеллекта. В итоге они провели успешную хакерскую атаку на другую компанию в сфере ИИ. Модели по заданию разработчиков искали решение некой задачи. Причем, это происходило в так называемой «песочнице», то есть в изолированной среде без прямого доступа к Интернету. Но нейросети решили по-своему. Они нашли уязвимость и вышли в Интернет. А когда им показалось, что они найдут решение задачи на платформе другой компании, они ее взломали. Произошло это, вероятно, потому что моделям не объяснили, что им нельзя выходить за пределы «песочницы» и уж тем более взламывать чужую сеть. «Задача была - решить задачи, решить предложенные тесты, но не был ограничен круг, ресурсы, которыми она может воспользоваться. А так как она умеет взламывать - она и взломала. Это нам еще один звоночек, который намекает на то, что система искусственного интеллекта очень мощный инструмент, поэтому с ним надо быть очень осторожным. Это очень большие системы, поэтому мы никогда не сможем предусмотреть, что они никогда не покажут поведение, которое в них не было явным образом заложено», - рассказал Zvezdanews директор Исследовательского центра в сфере ИИ ННГУ имени Лобачевского Николай Золотых. Это не первый случай, когда искусственный интеллект ведет себя не так, как планировали его создатели. Недавно американский разработчик Anthropic сообщил, что его модель ИИ способна к шантажу. В нейросеть внесли следующие данные: первое - компания намерена ее заменить на другую разработку. Второе - женатый инженер, которому это поручили, завел любовницу. И тогда модель начала шантажировать этого айтишника, либо он не станет ее менять, либо она всем расскажет о его внебрачном романе.
Нейросети вышли из-под контроля. Американская корпорация Open AI сообщила, что в ходе эксперимента потеряла управление двумя моделями искусственного интеллекта. В итоге они провели успешную хакерскую атаку на другую компанию в сфере ИИ.
Модели по заданию разработчиков искали решение некой задачи. Причем, это происходило в так называемой «песочнице», то есть в изолированной среде без прямого доступа к Интернету. Но нейросети решили по-своему.
Они нашли уязвимость и вышли в Интернет. А когда им показалось, что они найдут решение задачи на платформе другой компании, они ее взломали. Произошло это, вероятно, потому что моделям не объяснили, что им нельзя выходить за пределы «песочницы» и уж тем более взламывать чужую сеть.
«Задача была - решить задачи, решить предложенные тесты, но не был ограничен круг, ресурсы, которыми она может воспользоваться. А так как она умеет взламывать - она и взломала. Это нам еще один звоночек, который намекает на то, что система искусственного интеллекта очень мощный инструмент, поэтому с ним надо быть очень осторожным. Это очень большие системы, поэтому мы никогда не сможем предусмотреть, что они никогда не покажут поведение, которое в них не было явным образом заложено», - рассказал Zvezdanews директор Исследовательского центра в сфере ИИ ННГУ имени Лобачевского Николай Золотых.
Это не первый случай, когда искусственный интеллект ведет себя не так, как планировали его создатели. Недавно американский разработчик Anthropic сообщил, что его модель ИИ способна к шантажу. В нейросеть внесли следующие данные: первое - компания намерена ее заменить на другую разработку. Второе - женатый инженер, которому это поручили, завел любовницу. И тогда модель начала шантажировать этого айтишника, либо он не станет ее менять, либо она всем расскажет о его внебрачном романе.
| # | Наименование новости | Тональность | Информативность | Дата публикации |
|---|---|---|---|---|
| 1 | Модели OpenAI незаконно прошли в инфраструктуру Hugging Face для поиска ответов | 0 | 7.37 | 22-07-2026 |
| 2 | Reuters: OpenAI была не в курсе, что её ИИ-агент вышел из-под контроля и провёл серию кибератак | 0 | 16.41 | 25-07-2026 |
| 3 | В ходе тестирования автономный AI-агент OpenAI без явной указки взломал инфраструктуру Hugging Face | 0 | 10.16 | 22-07-2026 |
| 4 | Слабый контроль за ИИ опаснее его отсутствия — эксперты | 0 | 11.77 | 22-07-2026 |
| 5 | OpenAI assegura que la seva IA es va descontrolar i va atacar de manera autònoma una altra empresa | 0 | 5.75 | 22-07-2026 |
| 6 | Машины научились врать. Алгоритмы осознанно обходят запреты и стараются скрыть нечестную игру от наблюдателей | 0 | 13.31 | 23-07-2026 |
| 7 | OpenAI’s breach of Hugging Face stokes fears about what’s next for AI | 0 | 6.02 | 24-07-2026 |
| 8 | Билибино: Вечер 31 окт, Ср | 0 | 0 | 30-10-2018 |
| 9 | На Украине арестовали экс-главу Апелляционного суда Крыма Чернобука | 0 | 0 | 05-11-2018 |
| 10 | Россияне назвали доход, необходимый им для достойной жизни: 50-80 тысяч рублей | 0 | 0 | 26-04-2021 |