- 13,887
- 20
- 8 Ноя 2022
Аналитики раскрыли неудобную правду о работе ИИ с кодом.
Недавнее исследование показало, что программные ассистенты на основе искусственного интеллекта могут вносить больше ошибок в код, чем помогать в его написании. Технологии на базе генеративного ИИ обещали повысить эффективность работы программистов, но сухие цифры говорят о другом.
Компания Uplevel, специализирующаяся на управлении кодом, провела исследование эффективности работы программистов с использованием популярного инструмента от GitHub — Copilot. Результаты эксперимента Для просмотра ссылки Войдиили Зарегистрируйся использование Copilot не привело к значительному росту продуктивности, а напротив, вызвало увеличение ошибок в коде на 41%.
Для исследования Uplevel отслеживала работу 800 разработчиков в течение трёх месяцев до использования Copilot и в течение трёх месяцев после его внедрения. Оценка производительности основывалась на времени добавления кода в репозиторий (пулл-реквестах) и общем количестве выполненных запросов.
Результаты показали, что «Copilot не повлиял на скорость работы разработчиков, не ускорил процесс кодирования и не улучшил качество кода». Вопреки ожиданиям команды Uplevel, временные затраты на пулл-реквесты не сократились, а дефектность кода не уменьшилась, как изначально предполагалось.
Одной из причин низкой эффективности Copilot может быть то, что он основан на больших языковых моделях ( LLM ), которые склонны к так называемым «галлюцинациям» — генерации неверной информации и созданию некорректного кода. Исследование, проведённое учёными из Техасского университета в Сан-Антонио, выявило, что LLM часто предлагают «несуществующие» файлы или библиотеки.
Беспокойство относительно качества кода, сгенерированного искусственным интеллектом, разделяют и представители индустрии. Гендиректор Gehtsoft Иван Гехт отметил, что разбираться и исправлять ошибки в коде, созданном ИИ, может быть настолько сложно, что проще написать его с нуля.
Таким образом, несмотря на ожидания от ИИ-инструментов в кодировании, они пока не оправдывают заявленных преимуществ, порой даже усложняя работу программистов.
Недавнее исследование показало, что программные ассистенты на основе искусственного интеллекта могут вносить больше ошибок в код, чем помогать в его написании. Технологии на базе генеративного ИИ обещали повысить эффективность работы программистов, но сухие цифры говорят о другом.
Компания Uplevel, специализирующаяся на управлении кодом, провела исследование эффективности работы программистов с использованием популярного инструмента от GitHub — Copilot. Результаты эксперимента Для просмотра ссылки Войди
Для исследования Uplevel отслеживала работу 800 разработчиков в течение трёх месяцев до использования Copilot и в течение трёх месяцев после его внедрения. Оценка производительности основывалась на времени добавления кода в репозиторий (пулл-реквестах) и общем количестве выполненных запросов.
Результаты показали, что «Copilot не повлиял на скорость работы разработчиков, не ускорил процесс кодирования и не улучшил качество кода». Вопреки ожиданиям команды Uplevel, временные затраты на пулл-реквесты не сократились, а дефектность кода не уменьшилась, как изначально предполагалось.
Одной из причин низкой эффективности Copilot может быть то, что он основан на больших языковых моделях ( LLM ), которые склонны к так называемым «галлюцинациям» — генерации неверной информации и созданию некорректного кода. Исследование, проведённое учёными из Техасского университета в Сан-Антонио, выявило, что LLM часто предлагают «несуществующие» файлы или библиотеки.
Беспокойство относительно качества кода, сгенерированного искусственным интеллектом, разделяют и представители индустрии. Гендиректор Gehtsoft Иван Гехт отметил, что разбираться и исправлять ошибки в коде, созданном ИИ, может быть настолько сложно, что проще написать его с нуля.
Таким образом, несмотря на ожидания от ИИ-инструментов в кодировании, они пока не оправдывают заявленных преимуществ, порой даже усложняя работу программистов.
- Источник новости
- www.securitylab.ru
