- 13,856
- 20
- 8 Ноя 2022
Сэм Альтман уверен, что наращивать число параметров языковых моделей больше не выйдет.
Для просмотра ссылки Войдиили Зарегистрируйся генерального директора OpenAI Сэма Альтмана, тенденция на регулярное представление публике всё более крупных моделей искусственного интеллекта подходит к концу. Крайне быстрое развитие нейронных сетей, к которому люди только начали привыкать, теперь должно существенно замедлиться.
Выступая на мероприятии Массачусетского технологического института на прошлой неделе, Альтман предположил, что дальнейший прогресс в сфере искусственного интеллекта и нейросетей не будет достигнут за счет гигантских языковых моделей, обученных на триллионах параметров.
«Я думаю, что мы находимся в конце эпохи, когда будут использоваться настолько гигантские языковые модели. Далее мы будем улучшать их уже другими способами», — заявил Альтман.
Хотя глава OpenAI не делал на этом акцент, но существует определённая причина, почему на размере текущих языковых моделей придётся остановиться. Понятное дело, что на обучение крупных языковых моделей уходит крайне много времени и человеческих ресурсов, но и это не основная причина. Куд более важно то, что все преимущества от использования моделей крупнее существующих уже не будут адекватно сопоставляться с непомерными расходами, затраченными на их обучение.
Так как все высокопроизводительные мощности, необходимые для обучения языковых моделей, чаще всего арендуются разработчиками на стороне, расходы получаются просто баснословные. Например, для обучения того же ChatGPT компании OpenAI пришлось использовать 10 000 графических процессоров Nvidia . Стоит ли говорить, какие космические суммы на это ушли? Сотни миллионов долларов.
Ещё одним фактором, способным замедлить развитие ИИ, может стать дефицит вышеупомянутых мощностей. Например, некоторые крупные компании предпочитают не арендовать графические процессоры, а покупать их. И, так как спрос сейчас явно превышает предложение, даже условному Илону Маску, Для просмотра ссылки Войдиили Зарегистрируйся 10 000 графических процессоров Для просмотра ссылки Войди или Зарегистрируйся в своих продуктах, придётся подождать. И ожидание это может занять месяцы.
«Я думаю, что слишком много внимания всё это время уделялось количеству параметров для обучения языковых моделей. Это очень напоминает гонку гигагерцовых чипов в 1990-х и 2000-х», — сказал Альтман.
Тем не менее, прогресс не стоит на месте. Производительность графических чипов постоянно растёт, и затраты на покупку или аренду чипов со временем снизятся. Даже если сейчас глава OpenAI заявляет, что нужды делать более крупные языковые модели нет, не значит, что такая необходимость не появится через несколько лет. Как говорил Билл Гейтс: «640КБ памяти должно быть достаточно для каждого».
Для просмотра ссылки Войди
Выступая на мероприятии Массачусетского технологического института на прошлой неделе, Альтман предположил, что дальнейший прогресс в сфере искусственного интеллекта и нейросетей не будет достигнут за счет гигантских языковых моделей, обученных на триллионах параметров.
«Я думаю, что мы находимся в конце эпохи, когда будут использоваться настолько гигантские языковые модели. Далее мы будем улучшать их уже другими способами», — заявил Альтман.
Хотя глава OpenAI не делал на этом акцент, но существует определённая причина, почему на размере текущих языковых моделей придётся остановиться. Понятное дело, что на обучение крупных языковых моделей уходит крайне много времени и человеческих ресурсов, но и это не основная причина. Куд более важно то, что все преимущества от использования моделей крупнее существующих уже не будут адекватно сопоставляться с непомерными расходами, затраченными на их обучение.
Так как все высокопроизводительные мощности, необходимые для обучения языковых моделей, чаще всего арендуются разработчиками на стороне, расходы получаются просто баснословные. Например, для обучения того же ChatGPT компании OpenAI пришлось использовать 10 000 графических процессоров Nvidia . Стоит ли говорить, какие космические суммы на это ушли? Сотни миллионов долларов.
Ещё одним фактором, способным замедлить развитие ИИ, может стать дефицит вышеупомянутых мощностей. Например, некоторые крупные компании предпочитают не арендовать графические процессоры, а покупать их. И, так как спрос сейчас явно превышает предложение, даже условному Илону Маску, Для просмотра ссылки Войди
«Я думаю, что слишком много внимания всё это время уделялось количеству параметров для обучения языковых моделей. Это очень напоминает гонку гигагерцовых чипов в 1990-х и 2000-х», — сказал Альтман.
Тем не менее, прогресс не стоит на месте. Производительность графических чипов постоянно растёт, и затраты на покупку или аренду чипов со временем снизятся. Даже если сейчас глава OpenAI заявляет, что нужды делать более крупные языковые модели нет, не значит, что такая необходимость не появится через несколько лет. Как говорил Билл Гейтс: «640КБ памяти должно быть достаточно для каждого».
- Источник новости
- www.securitylab.ru
