- 13,858
- 20
- 8 Ноя 2022
Отчет Epoch AI о том, какую цену нам придется заплатить для настоящего рывка.
Исследователи из некоммерческой организации Epoch AI Для просмотра ссылки Войдиили Зарегистрируйся перспективы развития искусственного интеллекта до 2030 года. Они изучили четыре ключевых фактора, которые могут ограничить прогресс в этой области: энергопотребление, доступность чипов, объем данных для обучения и задержку при обработке информации.
Согласно отчету Для просмотра ссылки Войдиили Зарегистрируйся , вычислительные мощности, используемые для обучения ИИ-моделей, ежегодно увеличиваются в четыре раза. Если эта тенденция сохранится до конца десятилетия, к 2030 году для обучения ИИ будет использоваться в 10 000 раз больше ресурсов, чем сегодня применяется для самых передовых алгоритмов, таких как GPT-4 от OpenAI.
Эксперты отмечают, что современные ИИ-системы уже потребляют значительное количество энергии. Например, для тренировки последней модели Meta* потребовалось 16 000 самых мощных чипов Nvidia, которые в совокупности потребляли 27 мегаватт. Это эквивалентно годовому энергопотреблению 23 000 домохозяйств в США. А к 2030 году, даже с учетом повышения эффективности, для обучения передовой ИИ-модели может потребоваться в 200 раз больше мощи - около 6 гигаватт. Это уже 30% от энергопотребления всех современных дата-центров.
Чтобы преодолеть ограничения, компании могут распределять процесс обучения между несколькими дата-центрами. Такой подход уже применяется Google при обучении модели Gemini Ultra. Однако он требует сверхбыстрых оптоволоконных соединений с высокой пропускной способностью. Что касается чипов, исследователи прогнозируют, что к 2030 году для работы ИИ будет доступно от 20 до 400 миллионов специализированных процессоров. Этого может хватить для создания модели, использующей в 50 000 раз больше вычислительных ресурсов, чем GPT-4.
Объем качественных данных для тренировки алгоритмов также вызывает опасения. Некоторые эксперты предсказывают, что запас общедоступных текстовых данных высокого качества может истощиться уже к 2026 году. Однако Epoch AI считает, что это не ограничит рост моделей как минимум до 2030 года.
Конечно, современные нейросети обучаются не только на текстах, но и на изображениях, аудио и видео. Это значительно расширяет объем доступных материалов. Кроме того, компании экспериментируют с использованием синтетических данных. С учетом всех источников, включая текст, мультимедиа и синтетические датасеты, Epoch AI оценивает, что к 2030 году у нас будет достаточно информации для обучения моделей, использующих в 80 000 раз больше вычислительных ресурсов, чем GPT-4.
Сопоставив все ограничивающие факторы, эксперты Epoch AI пришли к выводу, что технически возможно создание ИИ-моделей, использующих в 10 000 раз больше вычислительных ресурсов, чем современные системы. Ключевым ограничением в этом случае станет энергопотребление.
Однако реализация такого масштабного роста потребует огромных инвестиций. Генеральный директор Anthropic Дарио Амодеи оценивает, что стоимость обучения одной модели может вырасти с нынешнего $1 млрд до $10 млрд в следующем году и достичь $100 млрд в последующие годы.
Готовность компаний инвестировать такие суммы будет зависеть от практической пользы ИИ-систем. Если масштабирование продолжит приносить значительные улучшения и новые возможности, инвестиции могут быть оправданы. По оценкам Epoch AI, если ИИ сможет автоматизировать существенную часть экономических задач, финансовая отдача может исчисляться триллионами долларов.
Тем не менее, некоторые критики считают, что крупные языковые и мультимодальные модели могут оказаться дорогостоящим тупиком в развитии технологий. Существует также вероятность прорыва, который позволит достичь большего с меньшими затратами ресурсов, подобно тому, как человеческий мозг непрерывно обучается, потребляя энергию всего лишь одной лампочки и используя гораздо меньше данных, чем интернет.
<span style="font-size: 8pt;">* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
Исследователи из некоммерческой организации Epoch AI Для просмотра ссылки Войди
Согласно отчету Для просмотра ссылки Войди
Эксперты отмечают, что современные ИИ-системы уже потребляют значительное количество энергии. Например, для тренировки последней модели Meta* потребовалось 16 000 самых мощных чипов Nvidia, которые в совокупности потребляли 27 мегаватт. Это эквивалентно годовому энергопотреблению 23 000 домохозяйств в США. А к 2030 году, даже с учетом повышения эффективности, для обучения передовой ИИ-модели может потребоваться в 200 раз больше мощи - около 6 гигаватт. Это уже 30% от энергопотребления всех современных дата-центров.
Чтобы преодолеть ограничения, компании могут распределять процесс обучения между несколькими дата-центрами. Такой подход уже применяется Google при обучении модели Gemini Ultra. Однако он требует сверхбыстрых оптоволоконных соединений с высокой пропускной способностью. Что касается чипов, исследователи прогнозируют, что к 2030 году для работы ИИ будет доступно от 20 до 400 миллионов специализированных процессоров. Этого может хватить для создания модели, использующей в 50 000 раз больше вычислительных ресурсов, чем GPT-4.
Объем качественных данных для тренировки алгоритмов также вызывает опасения. Некоторые эксперты предсказывают, что запас общедоступных текстовых данных высокого качества может истощиться уже к 2026 году. Однако Epoch AI считает, что это не ограничит рост моделей как минимум до 2030 года.
Конечно, современные нейросети обучаются не только на текстах, но и на изображениях, аудио и видео. Это значительно расширяет объем доступных материалов. Кроме того, компании экспериментируют с использованием синтетических данных. С учетом всех источников, включая текст, мультимедиа и синтетические датасеты, Epoch AI оценивает, что к 2030 году у нас будет достаточно информации для обучения моделей, использующих в 80 000 раз больше вычислительных ресурсов, чем GPT-4.
Сопоставив все ограничивающие факторы, эксперты Epoch AI пришли к выводу, что технически возможно создание ИИ-моделей, использующих в 10 000 раз больше вычислительных ресурсов, чем современные системы. Ключевым ограничением в этом случае станет энергопотребление.
Однако реализация такого масштабного роста потребует огромных инвестиций. Генеральный директор Anthropic Дарио Амодеи оценивает, что стоимость обучения одной модели может вырасти с нынешнего $1 млрд до $10 млрд в следующем году и достичь $100 млрд в последующие годы.
Готовность компаний инвестировать такие суммы будет зависеть от практической пользы ИИ-систем. Если масштабирование продолжит приносить значительные улучшения и новые возможности, инвестиции могут быть оправданы. По оценкам Epoch AI, если ИИ сможет автоматизировать существенную часть экономических задач, финансовая отдача может исчисляться триллионами долларов.
Тем не менее, некоторые критики считают, что крупные языковые и мультимодальные модели могут оказаться дорогостоящим тупиком в развитии технологий. Существует также вероятность прорыва, который позволит достичь большего с меньшими затратами ресурсов, подобно тому, как человеческий мозг непрерывно обучается, потребляя энергию всего лишь одной лампочки и используя гораздо меньше данных, чем интернет.
<span style="font-size: 8pt;">* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
- Источник новости
- www.securitylab.ru
