Компанія Cisco оголосила про випуск нового інструменту під назвою Model Provenance Kit, який має на меті забезпечити перевірку автентичності штучних інтелектуальних моделей. Цей продукт став відповіддю на зростаючі побоювання щодо безпеки та етики у використанні технологій штучного інтелекту, оскільки все більше компаній інтегрують AI-рішення у свої бізнес-процеси. Model Provenance Kit дозволяє користувачам відстежувати походження та зміни в моделях ШІ, що є критично важливим для запобігання потенційним маніп
Про це розповідаєKURAZH
Компанія Cisco анонсувала Model Provenance Kit — відкритий інструмент, що дозволяє перевіряти походження та цілісність моделей штучного інтелекту. Цей продукт розв’язує одну з основних проблем сучасної роботи з відкритими ШІ-моделями: ризик отримати разом із корисним інструментом непомітні уразливості або модифікації, які можуть нашкодити корпоративній безпеці.
Сьогодні на платформах, подібних до Hugging Face, розміщені мільйони моделей штучного інтелекту. Розробники активно копіюють, донавчають, об’єднують і публікують модифіковані версії, що ускладнює визначення справжнього походження моделі. Відсутність прозорості створює ризики: приховані зміщення у навчальних даних чи навмисне змінені ваги можуть призвести до некоректної роботи або навіть стати бекдором для зловмисників. Саме для вирішення цієї проблеми Cisco і представила Model Provenance Kit.
Інструмент розроблений на мові Python та обладнаний CLI-інтерфейсом. Він формує унікальний «відбиток» для кожної моделі, аналізуючи такі параметри, як:
“Без чіткого розуміння походження моделі будь-який збій або маніпуляція даними стають нерозв’язною загадкою для аудиту”.
Model Provenance Kit реалізує два основних режими роботи. Режимcompareдозволяє напряму зіставити дві моделі та визначити, чи є одна з них прямим нащадком іншої, чи була архітектура змінена сторонніми втручаннями. Режимscanзастосовується для пошуку збігів у базі унікальних «відбитків», що допомагає відтворити історію моделі навіть без оригінальної документації.
В умовах постійних модифікацій, дистиляції та об’єднання моделей, такі інструменти стають ключовим елементом цифрової безпеки та контролю якості. Model Provenance Kit вже доступний спільноті на GitHub, роблячи роботу з відкритим ШІ менш ризикованою.
Варто зазначити, що інші інструменти штучного інтелекту також демонструють високий рівень надійності. Зокрема, нещодавно ШІ перевершив лікарів у точності діагностики під час дослідження Гарвардського університету.