- 14,391
- 20
- 8 Ноя 2022
GitHub тонет в фальшивых отчетах об ошибках.
Разработчики программного обеспечения с открытым исходным кодом столкнулись с новой проблемой - потоком некачественных отчетов об ошибках, сгенерированных искусственным интеллектом. Специалисты отмечают, что ситуация начинает напоминать наводнение социальных сетей дезинформацией, с которой безуспешно борются системы проверки фактов.
Для просмотра ссылки Войдиили Зарегистрируйся , специалист по безопасности Python Software Foundation, поделился своими наблюдениями в недавней публикации. По его словам, в последнее время резко возросло количество спам-отчетов об уязвимостях, созданных с помощью языковых моделей. Отчеты эти выглядят очень правдоподобно, из-за чего разработчикам приходится тратить время на их тщательный анализ и опровержение.
Это особенно серьезная проблема для крупных проектов с открытым исходным кодом вроде Python, WordPress и Android, которые лежат в основе современного интернета. Большинство из них поддерживается небольшими группами энтузиастов-добровольцев, работающих без оплаты. Реальные уязвимости в широко используемых библиотеках кода представляют серьезную опасность, так как их эксплуатация способна нанести ущерб в масштабах всей системы.
Разработчик Даниэль Штернберг на Для просмотра ссылки Войдиили Зарегистрируйся открыто раскритиковал одного из пользователей за подачу сгенерированного отчета об ошибке:
"Вы отправили бессмысленный отчёт, похоже, сгенерированный искусственным интеллектом, где упоминаете некую проблему безопасности — видимо, потому что ИИ убедил вас в её существовании. Затем вы потратили наше время, умолчав о том, что за вас это сделала программа, и продолжили обсуждение, отвечая такой же чепухой — вероятно, тоже сгенерированной ИИ".
Генерация кода становится все более популярным применением больших языковых моделей, хотя среди разработчиков споры о полезности этой технологии еще ведутся. Такие инструменты как GitHub Copilot или генератор кода ChatGPT успешно справляются с созданием базовой структуры проекта и помогают находить нужные функции в программных библиотеках. Однако языковые модели, как и любые ИИ-системы, иногда создают ошибочный или неполный код. Они не понимают программирование на концептуальном уровне, а работают на основе вероятностных моделей, предсказывая возможный результат на основе обучающих данных.
Для создания полноценного проекта разработчикам по-прежнему необходимо глубокое понимание используемого языка, умение отлаживать код и видеть общую архитектуру приложения. Эксперты отмечают, что инструменты генерации кода окажут наибольшее влияние на начинающих программистов, при этом простые приложения, которые можно создать исключительно с помощью ИИ, вероятно, уже существуют.
Платформы вроде HackerOne, которые платят за поиск уязвимостей, вероятно, невольно побуждают использовать ChatGPT для анализа кода и отправки ложных отчетов об ошибках, созданных нейросетью.
Хотя спам - совсем не новое явление для интернета, умные технологии сильно упростили его массовое “производство”. Вероятно, для борьбы с этим явлением потребуется разработка новых защитных механизмов вроде CAPTCHA.
Разработчики программного обеспечения с открытым исходным кодом столкнулись с новой проблемой - потоком некачественных отчетов об ошибках, сгенерированных искусственным интеллектом. Специалисты отмечают, что ситуация начинает напоминать наводнение социальных сетей дезинформацией, с которой безуспешно борются системы проверки фактов.
Для просмотра ссылки Войди
Это особенно серьезная проблема для крупных проектов с открытым исходным кодом вроде Python, WordPress и Android, которые лежат в основе современного интернета. Большинство из них поддерживается небольшими группами энтузиастов-добровольцев, работающих без оплаты. Реальные уязвимости в широко используемых библиотеках кода представляют серьезную опасность, так как их эксплуатация способна нанести ущерб в масштабах всей системы.
Разработчик Даниэль Штернберг на Для просмотра ссылки Войди
"Вы отправили бессмысленный отчёт, похоже, сгенерированный искусственным интеллектом, где упоминаете некую проблему безопасности — видимо, потому что ИИ убедил вас в её существовании. Затем вы потратили наше время, умолчав о том, что за вас это сделала программа, и продолжили обсуждение, отвечая такой же чепухой — вероятно, тоже сгенерированной ИИ".
Генерация кода становится все более популярным применением больших языковых моделей, хотя среди разработчиков споры о полезности этой технологии еще ведутся. Такие инструменты как GitHub Copilot или генератор кода ChatGPT успешно справляются с созданием базовой структуры проекта и помогают находить нужные функции в программных библиотеках. Однако языковые модели, как и любые ИИ-системы, иногда создают ошибочный или неполный код. Они не понимают программирование на концептуальном уровне, а работают на основе вероятностных моделей, предсказывая возможный результат на основе обучающих данных.
Для создания полноценного проекта разработчикам по-прежнему необходимо глубокое понимание используемого языка, умение отлаживать код и видеть общую архитектуру приложения. Эксперты отмечают, что инструменты генерации кода окажут наибольшее влияние на начинающих программистов, при этом простые приложения, которые можно создать исключительно с помощью ИИ, вероятно, уже существуют.
Платформы вроде HackerOne, которые платят за поиск уязвимостей, вероятно, невольно побуждают использовать ChatGPT для анализа кода и отправки ложных отчетов об ошибках, созданных нейросетью.
Хотя спам - совсем не новое явление для интернета, умные технологии сильно упростили его массовое “производство”. Вероятно, для борьбы с этим явлением потребуется разработка новых защитных механизмов вроде CAPTCHA.
- Источник новости
- www.securitylab.ru
