- 13,579
- 20
- 8 Ноя 2022
Кто на самом деле контролирует открытые языковые модели?
На страницах журнала Wired появилась Для просмотра ссылки Войдиили Зарегистрируйся , посвященная концепции использования открытого исходного кода для языковых моделей. Концепция базируется на недавнем Для просмотра ссылки Войди или Зарегистрируйся Llama 2 от Meta* и других моделей, которые так или иначе ассоциируются с понятием «открытости».
Исследователи из Университета Карнеги-Меллона, Института AI Now и Signal Foundation выразили мнение, что модели, которые позиционируются как «открытые», на самом деле не полностью соответствуют принципам открытого программного кода. Они подчеркнули, что даже самые «открытые» системы искусственного интеллекта сами по себе не обеспечивают демократичного доступа к ИИ или здоровой конкуренции в сфере ИИ, а открытость по себе не решает вопросов надзора и контроля.
Автор статьи на Wired, Уилл Найт, подметил, что на первый взгляд идея открытого исходного кода, которая долгие годы способствовала демократизации доступа к программному обеспечению, могла бы оказать аналогичное воздействие на область искусственного интеллекта.
Примером может служить недавно представленная языковая модель Llama 2 от Meta , которая позиционируется именно как открытая. Эту модель можно загрузить, изменять и использовать бесплатно. Однако на нее не распространяется стандартная лицензия с открытым исходным кодом. Лицензия Meta запрещает использование Llama 2 для обучения других языковых моделей; для этого требуется специальное разрешение, если модель используется разработчиками в приложениях или сервисах с аудиторией более 700 миллионов пользователей в месяц.
По мнению исследователей, такой уровень контроля позволяет Meta получить существенные технические и стратегические преимущества, например, извлекая пользу из улучшений, вносимых сторонними разработчиками, когда модель применяется в собственных продуктах компании.
В статье ученые подчеркивают, что модели, распространяемые по обычным лицензиям с открытым исходным кодом, например GPT Neo от некоммерческой организации EleutherAI, более открыты. Но они сталкиваются с трудностями в соревновании с проектами крупных корпораций. Первое препятствие – данные, необходимые для обучения сложных моделей, часто являются коммерческой тайной. Второе – платформы для разработки таких моделей обычно контролируются крупными корпорациями. Третье препятствие – вычислительная мощность, необходимая для обучения больших моделей, недоступна для обычных разработчиков или компаний (стоимость одного обучающего запуска может достигать миллионов долларов). И, наконец, для улучшения таких моделей также требуется значительное количество человеческих трудозатрат, которые обычно могут позволить себе только большие компании с обширными бюджетами на искусственный интеллект.
Исследователи приходят к выводу, что если тенденции в развитии искусственного интеллекта будут продолжаться, одной из наиболее важных технологий последних десятилетий в конечном итоге могут воспользоваться всего лишь несколько компаний, таких как OpenAI, Microsoft, Meta и Google.
<span style="font-size: 8pt;">*Компания Meta и её продукты (Instagram и Facebook) признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
На страницах журнала Wired появилась Для просмотра ссылки Войди
Исследователи из Университета Карнеги-Меллона, Института AI Now и Signal Foundation выразили мнение, что модели, которые позиционируются как «открытые», на самом деле не полностью соответствуют принципам открытого программного кода. Они подчеркнули, что даже самые «открытые» системы искусственного интеллекта сами по себе не обеспечивают демократичного доступа к ИИ или здоровой конкуренции в сфере ИИ, а открытость по себе не решает вопросов надзора и контроля.
Автор статьи на Wired, Уилл Найт, подметил, что на первый взгляд идея открытого исходного кода, которая долгие годы способствовала демократизации доступа к программному обеспечению, могла бы оказать аналогичное воздействие на область искусственного интеллекта.
Примером может служить недавно представленная языковая модель Llama 2 от Meta , которая позиционируется именно как открытая. Эту модель можно загрузить, изменять и использовать бесплатно. Однако на нее не распространяется стандартная лицензия с открытым исходным кодом. Лицензия Meta запрещает использование Llama 2 для обучения других языковых моделей; для этого требуется специальное разрешение, если модель используется разработчиками в приложениях или сервисах с аудиторией более 700 миллионов пользователей в месяц.
По мнению исследователей, такой уровень контроля позволяет Meta получить существенные технические и стратегические преимущества, например, извлекая пользу из улучшений, вносимых сторонними разработчиками, когда модель применяется в собственных продуктах компании.
В статье ученые подчеркивают, что модели, распространяемые по обычным лицензиям с открытым исходным кодом, например GPT Neo от некоммерческой организации EleutherAI, более открыты. Но они сталкиваются с трудностями в соревновании с проектами крупных корпораций. Первое препятствие – данные, необходимые для обучения сложных моделей, часто являются коммерческой тайной. Второе – платформы для разработки таких моделей обычно контролируются крупными корпорациями. Третье препятствие – вычислительная мощность, необходимая для обучения больших моделей, недоступна для обычных разработчиков или компаний (стоимость одного обучающего запуска может достигать миллионов долларов). И, наконец, для улучшения таких моделей также требуется значительное количество человеческих трудозатрат, которые обычно могут позволить себе только большие компании с обширными бюджетами на искусственный интеллект.
Исследователи приходят к выводу, что если тенденции в развитии искусственного интеллекта будут продолжаться, одной из наиболее важных технологий последних десятилетий в конечном итоге могут воспользоваться всего лишь несколько компаний, таких как OpenAI, Microsoft, Meta и Google.
<span style="font-size: 8pt;">*Компания Meta и её продукты (Instagram и Facebook) признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
- Источник новости
- www.securitylab.ru
