- 13,858
- 20
- 8 Ноя 2022
Открытый инструмент разрушает мир нейросетей и репутации компаний.
Группа учёных из Университета Чикаго Для просмотра ссылки Войдиили Зарегистрируйся о технике «загрязнения» данных Nightshade, направленной на нарушение процесса обучения ИИ-моделей. Инструмент был создан для защиты работ визуальных художников и издателей от их использования в процессе обучения ИИ.
Инструмент с открытым исходным кодом, названный «ядовитой капсулой» (poison pill), изменяет изображения незаметно для человеческого глаза и нарушает процесс обучения ИИ-модели. Многие модели генерации изображений, за исключением моделей от Adobe и Getty Images, используют наборы данных, извлеченные из интернета без разрешения авторов.
Многие исследователи опираются на украденные из интернета данные, что вызывает этические опасения. Такой подход позволил создать мощные модели, такие как Stable Diffusion. Некоторые исследовательские учреждения считают, что извлечение данных должно сохраняться как справедливое использование в обучении ИИ.
Однако команда Nightshade утверждает, что коммерческое и исследовательское использование – две разные вещи. Специалисты надеются, что их технология заставит компании ИИ лицензировать наборы данных изображений. По словам учёных, цель инструмента – сбалансировать отношения между обучающимися моделями и создателями контента.
Nightshade создан на основе уже созданного Университетом Чикаго инструмента Glaze для изменения цифрового искусства таким образом, чтобы запутать ИИ. На практике Nightshade может изменить изображение так, что ИИ будет видеть кошку вместо собаки. Исследователи провели тесты и обнаружили, что после поглощения моделью сотнями «загрязненных» изображений, она начинает генерировать искаженные изображения собак.
Примеры «чистых» изображений по запросу и отравленных после обучения Nightshade
Защита от такой техники загрязнения данных может стать вызовом для разработчиков ИИ. И хотя исследователи признают, что их инструмент может быть использован со злым умыслом, основная цель работы – вернуть власть художникам.
Пример генерации изображений после использования Nightshade
Развитие таких технологий, как Nightshade, может вызвать гонку вооружений между исследователями и компаниями в сфере ИИ. Но для многих художников важно, чтобы их работы не использовались без их разрешения. Примечательно, что после новостей о создании Nightshade в социальных сетях начались дискуссии между художниками и сторонниками ИИ.
Стоит отметить, что Nightshade не повлияет на уже существующие модели, поскольку компании и исследователи уже давно использовали исходные «незагрязнённые» изображения. Но новые художественные стили и фотографии актуальных событий могут пострадать от новой техники, если она станет широко использоваться.
Группа учёных из Университета Чикаго Для просмотра ссылки Войди
Инструмент с открытым исходным кодом, названный «ядовитой капсулой» (poison pill), изменяет изображения незаметно для человеческого глаза и нарушает процесс обучения ИИ-модели. Многие модели генерации изображений, за исключением моделей от Adobe и Getty Images, используют наборы данных, извлеченные из интернета без разрешения авторов.
Многие исследователи опираются на украденные из интернета данные, что вызывает этические опасения. Такой подход позволил создать мощные модели, такие как Stable Diffusion. Некоторые исследовательские учреждения считают, что извлечение данных должно сохраняться как справедливое использование в обучении ИИ.
Однако команда Nightshade утверждает, что коммерческое и исследовательское использование – две разные вещи. Специалисты надеются, что их технология заставит компании ИИ лицензировать наборы данных изображений. По словам учёных, цель инструмента – сбалансировать отношения между обучающимися моделями и создателями контента.
Nightshade создан на основе уже созданного Университетом Чикаго инструмента Glaze для изменения цифрового искусства таким образом, чтобы запутать ИИ. На практике Nightshade может изменить изображение так, что ИИ будет видеть кошку вместо собаки. Исследователи провели тесты и обнаружили, что после поглощения моделью сотнями «загрязненных» изображений, она начинает генерировать искаженные изображения собак.
Примеры «чистых» изображений по запросу и отравленных после обучения Nightshade
Защита от такой техники загрязнения данных может стать вызовом для разработчиков ИИ. И хотя исследователи признают, что их инструмент может быть использован со злым умыслом, основная цель работы – вернуть власть художникам.
Пример генерации изображений после использования Nightshade
Развитие таких технологий, как Nightshade, может вызвать гонку вооружений между исследователями и компаниями в сфере ИИ. Но для многих художников важно, чтобы их работы не использовались без их разрешения. Примечательно, что после новостей о создании Nightshade в социальных сетях начались дискуссии между художниками и сторонниками ИИ.
Стоит отметить, что Nightshade не повлияет на уже существующие модели, поскольку компании и исследователи уже давно использовали исходные «незагрязнённые» изображения. Но новые художественные стили и фотографии актуальных событий могут пострадать от новой техники, если она станет широко использоваться.
- Источник новости
- www.securitylab.ru
