- 13,887
- 20
- 8 Ноя 2022
Как слепая вера в технологии стирает грань между фактом и вымыслом.
Американские больницы всё чаще используют ИИ-инструмент для транскрибации аудиоматериалов в текст под названием Whisper . Однако, Для просмотра ссылки Войдиили Зарегистрируйся в расследовании Associated Press , эта нейронная сеть, разработанная в OpenAI , подвержена «галлюцинациям» и добавляет несуществующие фразы в расшифровки медицинских данных и деловой документации.
Выпущенный в 2022 году Whisper изначально позиционировался как система транскрибации, близкая к точности человека. Однако исследователь из Университета Мичигана отметил, что в 80% проверенных протоколов публичных встреч были обнаружены искажённые данные. Один из разработчиков сообщил, что из 26 000 его тестовых транскрипций почти каждая содержала выдуманные фрагменты.
Несмотря на предупреждения OpenAI о том, что Whisper не следует использовать в критически важных областях, более 30 000 американских медработников в настоящий момент применяют инструменты на его основе. Среди них — клиника Mankato в Миннесоте и Детская больница Лос-Анджелеса, где используется сервис ИИ-помощника от компании Nabla. Последняя подтвердила возможность «галлюцинаций» и добавила, что уже транскрибированные аудиозаписи автоматически удаляются для обеспечения защиты данных, что затрудняет проверку расшифровок на наличие ошибок.
Тем временем, ошибки в транскрипциях могут нанести серьёзный ущерб пациентам. Глухие и слабослышащие люди особенно уязвимы, так как не могут самостоятельно проверить корректность введённых данных.
Проблемы Whisper выходят за пределы медицинской сферы. Исследования Корнеллского университета и Университета Вирджинии показали, что в 1% аудиозаписей система добавляла фразы, не содержащиеся в исходных данных. В 38% случаев такие «галлюцинации» несли вредный характер — от вымышленных актов насилия до расистских высказываний.
Технология Whisper основана на предсказании вероятных слов на основе аудиоданных. Если система сталкивается с плохим качеством записи, она использует фразы из наиболее часто встречавшихся в обучающих данных. Некоторые примеры указывают на влияние YouTube-контента, на котором модель и обучалась.
Ошибки Whisper поднимают вопросы о регулировании использования ИИ в медицине. Хотя OpenAI признаёт проблему и продолжает улучшать модель, использование ненадёжных ИИ-инструментов в критически важных областях требует строгих мер и сертификации. Только такой подход позволит минимизировать риски и обеспечит надлежащий уровень безопасности пациентов.
Американские больницы всё чаще используют ИИ-инструмент для транскрибации аудиоматериалов в текст под названием Whisper . Однако, Для просмотра ссылки Войди
Выпущенный в 2022 году Whisper изначально позиционировался как система транскрибации, близкая к точности человека. Однако исследователь из Университета Мичигана отметил, что в 80% проверенных протоколов публичных встреч были обнаружены искажённые данные. Один из разработчиков сообщил, что из 26 000 его тестовых транскрипций почти каждая содержала выдуманные фрагменты.
Несмотря на предупреждения OpenAI о том, что Whisper не следует использовать в критически важных областях, более 30 000 американских медработников в настоящий момент применяют инструменты на его основе. Среди них — клиника Mankato в Миннесоте и Детская больница Лос-Анджелеса, где используется сервис ИИ-помощника от компании Nabla. Последняя подтвердила возможность «галлюцинаций» и добавила, что уже транскрибированные аудиозаписи автоматически удаляются для обеспечения защиты данных, что затрудняет проверку расшифровок на наличие ошибок.
Тем временем, ошибки в транскрипциях могут нанести серьёзный ущерб пациентам. Глухие и слабослышащие люди особенно уязвимы, так как не могут самостоятельно проверить корректность введённых данных.
Проблемы Whisper выходят за пределы медицинской сферы. Исследования Корнеллского университета и Университета Вирджинии показали, что в 1% аудиозаписей система добавляла фразы, не содержащиеся в исходных данных. В 38% случаев такие «галлюцинации» несли вредный характер — от вымышленных актов насилия до расистских высказываний.
Технология Whisper основана на предсказании вероятных слов на основе аудиоданных. Если система сталкивается с плохим качеством записи, она использует фразы из наиболее часто встречавшихся в обучающих данных. Некоторые примеры указывают на влияние YouTube-контента, на котором модель и обучалась.
Ошибки Whisper поднимают вопросы о регулировании использования ИИ в медицине. Хотя OpenAI признаёт проблему и продолжает улучшать модель, использование ненадёжных ИИ-инструментов в критически важных областях требует строгих мер и сертификации. Только такой подход позволит минимизировать риски и обеспечит надлежащий уровень безопасности пациентов.
- Источник новости
- www.securitylab.ru
