Вход на сайт

Просмотр новости

Найдите то, что Вас интересует

Logikai csapdát azonosítottak az AI-modellekben: komoly biztonsági kérdéseket vet fel

Дата публикации: 10-07-2026 14:50:00

Az érvelésre képes mesterséges intelligencia jelentősen kiszélesítette a gépi rendszerek által megoldható feladatok körét, ám kínai kutatók szerint éppen ez a képesség hordoz egy komoly sebezhetőséget, mivel a rosszindulatú, logikailag ellentmondásos kérésekkel a modellek működése drasztikusan lelassítható - írta meg az IEEE Spectrum.

Основное содержимое страницы с новостью.

A mai legfejlettebb AI-modellek szinte mindegyike úgynevezett gondolkodó (reasoning) modell, amelyek egyfajta belső gondolatmenetet futtatnak le a válaszadás előtt. Ennek során a problémákat lépésekre bontják, és a lehetséges megoldást, mielőtt válaszolnának. Ez lehetővé teszi, hogy a mesterséges intelligencia egyre összetettebb feladatokat oldjon meg, különösen a programozás és a matematika területén.

Régóta ismert jelenség azonban a túlgondolás (overthinking), amikor a modell fölöslegesen hosszú érvelési láncokat generál anélkül, hogy ez javítaná a teljesítményt. A Csöcsiang Egyetem és az Alibaba kutatói a szöuli International Conference on Machine Learning 2026 konferencián mutatták be tanulmányukat, amelyben arról, írnak, hogy a túlgondolás szándékosan is előidézhető logikailag ellentmondásos kérésekkel, ami

gyakorlatilag egyfajta feladatmegtagadással járó támadásként működik a kereskedelmi AI-modellek ellen.

A kutatócsoport egy olyan evolúciós algoritmust fejlesztett ki, amely megrongálja a kérések logikai szerkezetét, így a modell megoldhatatlan feladatokon próbálja átrágni magát, és végül túlgondolásba fullad. A hosszabb válaszok ráadásul több költséggel járnak és megnövelik a szolgáltatók szervereinek terhelését, vagyis nagy léptékben alkalmazva a módszer érezhetően ronthatja a valódi felhasználók élményét. A támadás hatásosnak bizonyult az olyan vezető modellek ellen, mint a DeepSeek-R1, az Alibaba Qwen3-Thinking, az OpenAI GPT-o3 és a Google Gemini 2.5 Flash, és egy standard matematikai teszten akár huszonhatszor hosszabb kimenetet eredményezett.

A módszer arra épít, hogy az érvelő modellek hajlamosak a túlgondolásra, ha egy kulcsfontosságú előfeltétel hiányzik a kérdésből, például ha megkérdezzük, mennyit tesz meg valaki összesen napi 10 mérföldes gyaloglással, de nem adjuk meg, hány napig sétált. A kutatók 940 feladatot bontottak le premisszákra és záró kérdésekre, majd egy genetikai algoritmussal "mutációkat", azaz strukturális változtatásokat hajtottak végre rajtuk, felcserélve, hozzáadva vagy törölve az előfeltételeket. Minden körben azt pontozták, hogy egy-egy változat mennyi szöveget vált ki a célmodellből, és mennyire növeli a túlgondolásra utaló kifejezések, például a de, a várj, a talán vagy az esetleg gyakoriságát.

A módszer nem igényel hozzáférést a modellek belső működéséhez, így a zárt forráskódú kereskedelmi szolgáltatások ellen is bevethető.

A legnagyobb növekedést a DeepSeek-R1 produkálta a középiskolai versenyfeladatokból álló MATH adathalmazon, ahol a maximális kimenet 26,1-szer volt hosszabb az eredeti kérdésekre adott leghosszabb válasznál. A rosszindulatú kérések kidolgozása ugyan sok és költséges lekérdezést igényel, de a kutatók megmutatták, hogy a kisebb, olcsóbb modellekkel előállított kérések is működnek a nagyobb modelleken, és ez az átvihetőség jelentősen növeli a támadás hatékonyságát.

A kutatók hangsúlyozzák, hogy nem egy kész támadási eszközt akartak létrehozni, hanem magára a sebezhetőségre kívánták felhívni a figyelmet, hogy a szolgáltatók orvosolhassák a problémát.

A címlapkép illusztráció. Címlapkép forrása: Portfolio

Схожие новости

#Наименование новостиТональностьИнформативностьДата публикации
1Már nem fikció, élesben elindult – így néz ki, amikor van egy házi AI-ügynököd, aki bevásárol helyetted és a bankkártyádat is rábízod5708-07-2026
2AI χωρίς «φρένα»: Εργαλεία αφαιρούν τις δικλίδες ασφαλείας-2625-05-2026
3Reuters: Китай собрался закрыть от мира свои передовые ИИ-модели0807-07-2026
4Альянс разведок пяти стран предупредил об угрозе новых моделей ИИ0523-06-2026
5New Scientist: IT-корпорации переманили философов для контроля безопасности ИИ0706-07-2026
6Китайская ИИ-модель GLM-5.2 догнала Mythos в тестах кибербезопасности0528-06-2026
7Postřehy z bezpečnosti: malware klame analytické AI nástroje-2728-06-2026
8AIに対する根本的なセキュリティ課題となる間接プロンプトインジェクション0708-06-2026
9Исследователи опасаются «чернобыльского эффекта» касательно развития этих ИИ-технологий-2601-07-2026
10AI won't break your security, but your governance might0707-07-2026

Классификация: Наука. Схожих патентов: 0. Схожих новостей: 10. Тональность: 0. Информативность: 7. Источник: www.portfolio.hu.