- 13,855
- 20
- 8 Ноя 2022
Изучение функций нейронов, а не их сущности, позволило лучше понять, как работает нейросеть.
В Для просмотра ссылки Войдиили Зарегистрируйся исследовании, проведенном бывшими сотрудниками OpenAI , а ныне сотрудничающими с Anthropic , предложен новый подход к пониманию искусственных нейронных сетей. Эти сети, по своей сути цифровые версии человеческих мозгов, способны выполнять различные задачи, от игры в шахматы до перевода языков.
Ученые сосредоточились на комбинациях нейронов, которые коллективно создают различимые закономерности или особенности, вместо того чтобы тщательно изучать отдельные нейроны. Закономерности оказываются более точными и последовательными, чем их отдельные нейронные аналоги, что позволяет лучше понимать поведение сети.
Основным недостатком способа является отсутствие четко определенной цели у отдельных нейронов в системе. Например, в языковой модели один нейрон может реагировать на различные сценарии, варьируя свою активность.
В статье учёных представлен новый подход к анализу трансформерных моделей. Методика предполагает использование словарного обучения для разложения слоя из 512 нейронов на более 4 000 различных функций, охватывающих широкий спектр тем и концепций, начиная от последовательностей ДНК и юридической терминологии и заканчивая веб-запросами, текстами на иврите и данными о питании.
Такие многогранные особенности остаются в значительной степени скрытыми при исследовании отдельных нейронов. Исследователи используют два разных метода, чтобы продемонстрировать улучшенную интерпретируемость этих функций по сравнению с нейронами.
В первом эксперименте исследователи оценивали простоту понимания функциональности каждой закономерности. Характеристики значительно превосходят нейроны с точки зрения интерпретируемости.
Во втором эксперименте была использована языковая модель для создания кратких описаний каждой особенности, а затем используют другую модель для прогнозирования степени активации каждой функции на основе описаний.
Новые особенности позволяют более точно контролировать поведение сети, что подтверждено универсальностью закономерностей в различных моделях. Эксперименты также были проведены для точной настройки числа особенностей, создавая «рукоятку» для регулировки исследования модели.
Работа является этапом стремления Anthropic к механистической интерпретируемости, что отражает долгосрочное стремление к продвижению безопасности ИИ. Это исследование создает мост между компьютерными науками и нейронауками, раскрывая новые горизонты для понимания искусственных нейронных сетей.
В Для просмотра ссылки Войди
Ученые сосредоточились на комбинациях нейронов, которые коллективно создают различимые закономерности или особенности, вместо того чтобы тщательно изучать отдельные нейроны. Закономерности оказываются более точными и последовательными, чем их отдельные нейронные аналоги, что позволяет лучше понимать поведение сети.
Основным недостатком способа является отсутствие четко определенной цели у отдельных нейронов в системе. Например, в языковой модели один нейрон может реагировать на различные сценарии, варьируя свою активность.
В статье учёных представлен новый подход к анализу трансформерных моделей. Методика предполагает использование словарного обучения для разложения слоя из 512 нейронов на более 4 000 различных функций, охватывающих широкий спектр тем и концепций, начиная от последовательностей ДНК и юридической терминологии и заканчивая веб-запросами, текстами на иврите и данными о питании.
Такие многогранные особенности остаются в значительной степени скрытыми при исследовании отдельных нейронов. Исследователи используют два разных метода, чтобы продемонстрировать улучшенную интерпретируемость этих функций по сравнению с нейронами.
В первом эксперименте исследователи оценивали простоту понимания функциональности каждой закономерности. Характеристики значительно превосходят нейроны с точки зрения интерпретируемости.
Во втором эксперименте была использована языковая модель для создания кратких описаний каждой особенности, а затем используют другую модель для прогнозирования степени активации каждой функции на основе описаний.
Новые особенности позволяют более точно контролировать поведение сети, что подтверждено универсальностью закономерностей в различных моделях. Эксперименты также были проведены для точной настройки числа особенностей, создавая «рукоятку» для регулировки исследования модели.
Работа является этапом стремления Anthropic к механистической интерпретируемости, что отражает долгосрочное стремление к продвижению безопасности ИИ. Это исследование создает мост между компьютерными науками и нейронауками, раскрывая новые горизонты для понимания искусственных нейронных сетей.
- Источник новости
- www.securitylab.ru
