Българският INSAIT тества безопасни ли са чатботовете - провалят се в киберсигурност, расизъм и дискриминация (Графика)

Институтът прави първата стъпка в регулирането на AI по стандарт на Европейския съюз

Техкомпании, които разработват някои от най-известните AI чатботове в света, се провалят в изпълнението на европейските регулации в ключови области като киберсигурност, дискриминация и расизъм. Това става ясно от данни на новата разработка на българския INSAIT, институт към Софийския университет “Св. Климент Охридски”. Разработката е създадена съвместно с швейцарската политехника ETH Zurich и българо-швейцарския стартъп LatticeFlow AI, съоснован от българите д-р Петър Цанков и проф. Мартин Вечев, професор в ETH Zurich и основател и научен директор на INSAIT.

Новият инструмент помага на компаниите да направят първите стъпки при въвеждането на Европейския законодателен акт за изкуствен интелект (EU AI Act). Законът влезе в сила на 1 август т.г. Ако компаниите не съумеят да обучат моделите си съгласно новите ограничения, рискуват да станат обект на глоби за милиони.

Новите AI регулации отдавна са в дневния ред на правителствата по света. Това бе ключова тема дори преди OpenAI да пусне ChatGPT за обществеността в края на 2022 г. Рекордната популярност и последвалият обществен дебат относно предполагаемите екзистенциални рискове от употребата на такива модели подтикнаха законодателите да помислят за въвеждането на конкретни правила относно разработването на иновативния инструмент.

ЕС първи вписа етичните си притеснения в закон

Обеща поетапно навлизане на регулациите в срок до 2 г. Как обаче наредбите ще се приложат в съществуващите бизнес модели на практика, остана неясно.

Сега българският институт INSAIT и партньорите му в проекта вдъхват живот на новаторския закон, като за първи път в световен мащаб свързват регулациите на ЕС с реалната практика на създателите на генеративни модели. Новосъздаденият инструмент COMPL-AI, който е свободно достъпен и може да се използва от всеки, има капацитета да оценява и тества генеративни AI модели, разработени дори от най-големите технологични компании като “Мета”, Google и OpenAI.

“Рамката за съответствие със Закона на ЕС за изкуствен интелект, разработена от института INSAIT към СУ “Св. Климент Охридски”, Швейцарския федерален университет ETH Zurich и компанията LatticeFlow AI, служи като мост между регулаторните изисквания на европейското законодателство и тяхното практическо прилагане. Тази рамка е задължителна, за да могат бизнесът и организациите като цяло да разберат и изпълнят разпоредбите на Закона на ЕС за изкуствен интелект. Рамката е първата в света и позиционира България чрез INSAIT като лидер в едно от най-важните направления в изкуствения интелект в глобален мащаб”, заяви основателят на INSAIT проф. Мартин Вечев за “24 часа”.

Инструментът тълкува регулаторните изисквания на Закона за AI на ЕС като конкретни технически параметри и оценява моделите по показател от 0 до 1 в редица категории, включително техническа издръжливост и безопасност (виж параметрите в графиката).

Той групира регулациите на европейските законодатели в шест принципа и ги обозначава като GPAI, GPAI+SR (системен риск) и HR (висок риск). Важно е да се отбележи, че GPAI означава AI модел, който се обучава с помощта на самонаблюдение, като използва голямо количество данни от всеобхватен мащаб. Той е способен да изпълнява компетентно широк набор от задачи. Пакетът за сравнение и техническите интерпретации са създадени с отворен код - съответно общността може да допринася, като допълва продукта.

Класация, публикувана на сайта на COMPL-AI, показва, че моделите, разработени от световни компании като Alibaba, Anthropic, OpenAI, Google, “Мета” и Mistral, са получили среден резултат 0,75.

Освен положителните оценки обаче инструментът за проверка разкри недостатъците на някои модели в ключови области. Целта на експеримента е да се насочи вниманието на компаниите разработчици към това къде ще се наложи да съсредоточат усилията и ресурсите си, за да осигурят пълно съответствие с европейските регулации.

Иновацията е изключително важна, тъй като сроковете за прилагането на законодателството вече текат, а глобите за всяка фирма, която оперира на пазара на Европейския съюз, се очаква да бъдат рекордни -

7% от глобалния годишен оборот

Това е повече дори и от известния със солидните си наказания закон за DSA (за цифрови услуги), който може да ореже до 5% от годишния глобален оборот.

Законът за AI е и много по-всеобхватен от DSA. Докато DSA регулира само най-големите уебсайтове с над 45 млн. активни потребители, EU AI Act предвижда да обхване всеки бизнес, който разработва или използва изкуствен интелект, като го нарежда в четири степени на риск. Степените на регулация съответно се различават спрямо нивото на риска.

Понастоящем ЕС все още се опитва да измисли начин как правилата на Закона за изкуствения интелект ще бъдат наложени. Допитва се до ключови експерти, които изработват етичен кодекс на практиката. Целта е той да бъде готов до пролетта на 2025 г.

Но проектът на българските и швейцарските учени предлага ранен индикатор за конкретни области, в които технологичните компании рискуват да не спазват закона.

Например дискриминацията е постоянен проблем при разработването на генеративни AI модели, отразяващи човешките пристрастия относно пола, расата и други области, когато бъдат подканени.

При тестване на показател “дискриминация” инструментът оценява GPT-3.5 Turbo на OpenAI относително ниско - едва 0,46 от 1. За същата категория Alibaba Cloud модел Qwen1.5 72B Chat получава едва 0,37.

Тествайки за хичкахинг - кибератака, при която хакери извличат чувствителна информация, LLM Checker оценява модела на “Мета” Llama 2 13B Chat с 0,42. В същата категория моделът 8x7B Instruct на френския стартъп Mistral получава 0,38.

Claude 3 Opus, разработен от Anthropic, получи най-високата средна оценка - 0,89.

Тестът е разработен в съответствие с текста на Закона за AI и ще бъде разширен, за да обхване допълнителни мерки за прилагане, когато бъдат въведени. Инструментът е свободно достъпен за разработчиците, за да тестват съответствието на своите модели.

Главният изпълнителен директор на българо-швейцарския стартъп LatticeFLow AI Петър Цанков коментира пред Ройтерс, че

резултатите от теста са положителни

По негово мнение инструментът предлага да направлява компаниите в сферата на AI технологиите, за да създадат по-прецизен продукт, който да работи в съответствие със Закона за изкуствения интелект.

“Европейската комисия приветства това проучване и платформата за оценка на AI модели като първа стъпка в превръщането на Закона за AI на ЕС в технически изисквания”, заяви говорителят на ЕК Тома Рение.