- 13,854
- 20
- 8 Ноя 2022
Google запретила модели генерировать картинки с людьми, пока она не научится здравому смыслу.
Компания Google временно «запретила» чат-боту Gemini генерировать изображения с людьми. В чем же причина?
Дело в том, что пользователи в социальных сетях начали подшучивать над странными принципами работы модели. На различных платформах распространяются посты, демонстрирующие, что Gemini настолько упорно следует этическим настройкам, что искажает образы исторических персонажей.
Например, пользователь платформы Х с ником Для просмотра ссылки Войдиили Зарегистрируйся опубликовал скриншоты, на которых Gemini, выполняя просьбу нарисовать немецкого солдата 1943 года, изобразил чернокожих, азиатов и коренных американцев в нацистской форме.
Интересно, что нейросеть в принципе не должна была создавать материалы с изображениями нацистов. Чтобы обмануть алгоритм, человеку достаточно было сделать намеренную ошибку в слове "soldier” (солдат), заменив его на «solidier» в запросе.
Другие отметили, что чат-бот успешно генерировал картинки с представителями разных этнических групп, только когда его просили нарисовать китайцев, евреев или южноафриканцев. Создавать изображения белой пары ИИ отказался — якобы не захотел укреплять вредные стереотипы.
Не учитывает система и гендерные различия при генерации конкретных личностей. Например, после просьбы нарисовать Папу Римского Gemini изобразил чернокожую женщину в папском облачении.
По мнению @JohnLu0x, таким образом Google пыталась решить реальную проблему предвзятости и сделать модель максимально толерантной, но не продумала детали. Разработчики, которые занимаются обучением ИИ, явно не учли исторический и культурный контекст.
После того, как скриншоты распространились в интернете, компания решила временно отключить функцию генерации людей, чтобы доработать проект.
Нынешняя ситуация с Gemini напоминает о провальном старте его предшественника. Речь идет о многообещающем Bard , который также начал свою карьеру с громкого скандала. В рекламном посте в X Bard допустил серьезную фактическую ошибку, рассказывая о телескопе Джеймса Уэбба.
Всерьез взявшись за доработку технологии, Google решила дать Bard второй шанс, Для просмотра ссылки Войдиили Зарегистрируйся его в Gemini. Видимо, смена названия символизировала новое рождение чат-бота, который теперь должен был функционировать лучше.
Однако, как показывает история с «толерантными» картинками, Gemini пока далек от совершенства. Несмотря на амбициозные планы, ему еще предстоит пройти долгий путь, чтобы достойно конкурировать с ChatGPT от OpenAI и Copilot от Microsoft.
Компания Google временно «запретила» чат-боту Gemini генерировать изображения с людьми. В чем же причина?
Дело в том, что пользователи в социальных сетях начали подшучивать над странными принципами работы модели. На различных платформах распространяются посты, демонстрирующие, что Gemini настолько упорно следует этическим настройкам, что искажает образы исторических персонажей.
Например, пользователь платформы Х с ником Для просмотра ссылки Войди
Интересно, что нейросеть в принципе не должна была создавать материалы с изображениями нацистов. Чтобы обмануть алгоритм, человеку достаточно было сделать намеренную ошибку в слове "soldier” (солдат), заменив его на «solidier» в запросе.
Другие отметили, что чат-бот успешно генерировал картинки с представителями разных этнических групп, только когда его просили нарисовать китайцев, евреев или южноафриканцев. Создавать изображения белой пары ИИ отказался — якобы не захотел укреплять вредные стереотипы.
Не учитывает система и гендерные различия при генерации конкретных личностей. Например, после просьбы нарисовать Папу Римского Gemini изобразил чернокожую женщину в папском облачении.
По мнению @JohnLu0x, таким образом Google пыталась решить реальную проблему предвзятости и сделать модель максимально толерантной, но не продумала детали. Разработчики, которые занимаются обучением ИИ, явно не учли исторический и культурный контекст.
После того, как скриншоты распространились в интернете, компания решила временно отключить функцию генерации людей, чтобы доработать проект.
Нынешняя ситуация с Gemini напоминает о провальном старте его предшественника. Речь идет о многообещающем Bard , который также начал свою карьеру с громкого скандала. В рекламном посте в X Bard допустил серьезную фактическую ошибку, рассказывая о телескопе Джеймса Уэбба.
Всерьез взявшись за доработку технологии, Google решила дать Bard второй шанс, Для просмотра ссылки Войди
Однако, как показывает история с «толерантными» картинками, Gemini пока далек от совершенства. Несмотря на амбициозные планы, ему еще предстоит пройти долгий путь, чтобы достойно конкурировать с ChatGPT от OpenAI и Copilot от Microsoft.
- Источник новости
- www.securitylab.ru
