- 13,887
- 20
- 8 Ноя 2022
Как аспирант MIT превратил курс по дифференциальным уравнениям в научный прорыв в машинном обучении.
Вдохновение порой приходит неожиданно, и именно такой момент настиг Бехруза Тахмасеби, аспиранта Массачусетского технологического института ( MIT ) на факультете электротехники и информатики во время курса по дифференциальным уравнениям в конце 2021 года.
Узнав о законе Вейля, сформулированном немецким математиком Германом Вейлем в 1929 году, Тахмасеби увидел в нем потенциал для решения проблемы в области компьютерных наук, над которой он тогда работал. Закон Вейля предоставляет формулу для измерения сложности спектральной информации, содержащейся в основных частотах, например, мембраны барабана или струны гитары.
Тахмасеби рассматривал возможность снижения сложности входных данных для нейронной сети, учитывая симметрии, присущие набору данных, что в свою очередь могло бы ускорить процессы машинного обучения. Однако закон Вейля в своей первоначальной форме ничего не говорил о симметрии.
Вместе со своим научным руководителем, Стефани Джегелкой, Тахмасеби доработал закон Вейля, включив в него фактор симметрии для оценки сложности наборов данных. Работа аспиранта получила высокую оценку на конференции Neural Information Processing Systems (NIPS) в декабре 2023 года, где была отмечена как особенно значимая.
Для просмотра ссылки Войдиили Зарегистрируйся показывает, что модели, удовлетворяющие симметрии задачи, могут производить предсказания с меньшими ошибками, используя меньшее количество обучающих данных, что особенно важно в научных областях с ограниченной информацией, таких как вычислительная химия. Тахмасеби и Джегелка исследовали, как симметрии (инвариантности) могут способствовать машинному обучению, упрощая задачи и сокращая необходимое количество данных для обучения. Они обнаружили, что симметрии могут привести к линейному и даже экспоненциальному увеличению эффективности за счет снижения сложности задач машинного обучения.
Например, задачей конкретного вычисления является выявление на изображении цифры 3. Задача может быть значительно упрощена и ускорена, если алгоритм способен распознавать 3 независимо от её расположения в пределах изображения — будь она точно в центре или сбоку, а также независимо от того, ориентирована ли она прямо, перевернута или лежит под случайным углом. Алгоритм может использовать симметрии переноса и вращения – то есть цифра 3 или любой другой объект сам по себе не изменяется при изменении его положения или при вращении вокруг произвольной оси. Считается, что объект инвариантен к этим сдвигам. Та же логика может быть применена к алгоритмам, задачей которых является идентификация собак или кошек. Можно сказать, что собака остается собакой, независимо от того, как она представлена на изображении.
Работа вносит вклад в теоретическое обоснование быстрорастущего направления Геометрического глубокого обучения (Geometric Deep Learning, GDL), имеющего применение в обучении на графах, трехмерных данных и т.д., расширяя границы традиционного машинного обучения за счет включения геометрических и дифференциальных методов. Таким образом, исследование Тахмасеби и Джегелки открывает новые перспективы для развития искусственного интеллекта, демонстрируя, как известные математические принципы могут найти применение в современных технологических решениях.
Вдохновение порой приходит неожиданно, и именно такой момент настиг Бехруза Тахмасеби, аспиранта Массачусетского технологического института ( MIT ) на факультете электротехники и информатики во время курса по дифференциальным уравнениям в конце 2021 года.
Узнав о законе Вейля, сформулированном немецким математиком Германом Вейлем в 1929 году, Тахмасеби увидел в нем потенциал для решения проблемы в области компьютерных наук, над которой он тогда работал. Закон Вейля предоставляет формулу для измерения сложности спектральной информации, содержащейся в основных частотах, например, мембраны барабана или струны гитары.
Тахмасеби рассматривал возможность снижения сложности входных данных для нейронной сети, учитывая симметрии, присущие набору данных, что в свою очередь могло бы ускорить процессы машинного обучения. Однако закон Вейля в своей первоначальной форме ничего не говорил о симметрии.
Вместе со своим научным руководителем, Стефани Джегелкой, Тахмасеби доработал закон Вейля, включив в него фактор симметрии для оценки сложности наборов данных. Работа аспиранта получила высокую оценку на конференции Neural Information Processing Systems (NIPS) в декабре 2023 года, где была отмечена как особенно значимая.
Для просмотра ссылки Войди
Например, задачей конкретного вычисления является выявление на изображении цифры 3. Задача может быть значительно упрощена и ускорена, если алгоритм способен распознавать 3 независимо от её расположения в пределах изображения — будь она точно в центре или сбоку, а также независимо от того, ориентирована ли она прямо, перевернута или лежит под случайным углом. Алгоритм может использовать симметрии переноса и вращения – то есть цифра 3 или любой другой объект сам по себе не изменяется при изменении его положения или при вращении вокруг произвольной оси. Считается, что объект инвариантен к этим сдвигам. Та же логика может быть применена к алгоритмам, задачей которых является идентификация собак или кошек. Можно сказать, что собака остается собакой, независимо от того, как она представлена на изображении.
Работа вносит вклад в теоретическое обоснование быстрорастущего направления Геометрического глубокого обучения (Geometric Deep Learning, GDL), имеющего применение в обучении на графах, трехмерных данных и т.д., расширяя границы традиционного машинного обучения за счет включения геометрических и дифференциальных методов. Таким образом, исследование Тахмасеби и Джегелки открывает новые перспективы для развития искусственного интеллекта, демонстрируя, как известные математические принципы могут найти применение в современных технологических решениях.
- Источник новости
- www.securitylab.ru
