Графовые нейросети: мимолетный тренд или за ними будущее

Звено эволюции нейросетей

Применение классических моделей нейросетей на графах, являющихся нерегулярными структурами данных, – это естественный этап развития технологии нейронных сетей. Графовые нейросети появились, когда выяснилось, что для анализа структурных данных, которые описывают объекты с набором признаков и оснащены дополнительной информацией о связях между объектами, не подходят классические конструкции нейронных сетей. А между тем в повседневной жизни мы регулярно сталкиваемся с графами — например, когда пользуемся социальными сетями или совершаем покупки в интернет-магазинах. И для того чтобы применять машинное обучение на графах, необходимо было научиться строить числовое представление структурных данных, то есть векторизовать граф, сохраняя какие-то его свойства и исходные признаки объектов в едином представлении.

Схематическое изображение графовой нейросети и ее слоев

Но проблема заключалась в том, что большинство моделей векторизации графов (или векторного представления вершин графа) были достаточно медленными.

Большую эффективность демонстрировали появившиеся в 2015-2016 году модели, в которых представление вершины графа определялось ее «соседями» в графе на основе случайных блужданий. Если попробовать перевести это с математического языка на человеческий, в пример можно привести тот факт, что, выходя из дома и «случайно» выбирая дорогу на развилке, человек на самом деле собирает наиболее интересные для него места: офис, магазины, банк и т. д. И можно сказать, что человек – это то, куда он ходит. Или то, что он ищет в интернете.

Но и эти модели были недостаточно хороши по причине того, что лежащие в их основе случайные блуждания при построении векторной модели графа, которую также называют графовым эмбеддингом, не затрагивали атрибуты, хранящиеся в вершинах и на ребрах графа. Иными словами, в нашем примере мы не могли бы узнать, что женщина с большей вероятностью построит маршрут, на котором будет детский магазин, а мужчина пойдет мимо спортивного.Метавселенная ВДНХ 3.4 т

Графовые нейросети объединили плюсы предыдущих подходов и стали довольно популярной технологией. Идея построения графовой нейросети базируется на модели анализа социальных сетей, в которой решение пользователя о покупке нового смартфона определяется как сумма влияний его друзей и собственного мнения. При этом разные друзья оказывают на нас разное влияние, масштабы которого вычисляет сама модель.

Где применяются графовые нейросети

Графовые нейронные сети активно применяются в машинном обучении на графах для решения локальных (классификация вершин, предсказание связей) и глобальных (схожесть графов, классификация графов) задач.

Локальные методы имеют много примеров применения в обработке текстов, компьютерном зрении и рекомендательных системах. Глобальные методы, в свою очередь, применяются в аппроксимации задач, эффективно не решаемых на современных компьютерах (за исключением квантового компьютера будущего), и используются на стыке компьютерных и естественных наук для предсказания новых свойств и веществ (это актуально, например, при создании новых лекарственных препаратов).

Пика популярности графовые нейросети достигли в 2018 году, когда они стали использоваться и показали высокую эффективность в различных приложениях. Самый известный пример – модель PinSage в рекомендательной системе сервиса Pinterest.

С тех пор находится все больше новых применений технологии в областях, где раньше существующие методы были не способны эффективно учитывать в моделях связи между объектами. Например, при рекомендации модного образа, состоящего из нескольких предметов гардероба, стало возможным учитывать как сочетаемость предметов по визуальным и текстовым характеристикам, так и их сочетаемость в целом в плане коллекции дизайнерских решений.

Графовые нейронные сети являются основой почти всех рекомендательных систем (например, в Amazon, Facebook и т.д.), помогают выявлять признаки мошенничества в банковских транзакциях, предсказывать важность связей между компаниями для агрегации новостной информации в Bloomberg.

Наконец, моделирование пандемии ковида на основе графового подхода показало гораздо более высокую точность, чем на основе описания динамических систем. Таким образом, графовые нейронные сети снова зарекомендовали себя как актуальный и перспективный инструмент для исследователей и практиков.

Исследования в России и за рубежом

Среди авторов статей, посвященных исследованиям в области искусственного интеллекта, на международных ведущих конференциях и в ведущих журналах ученых из России на порядок меньше, чем из США, Европы или Китая. Основная причина этого — существенная разница в финансировании.

Чтобы оценить эту разницу, достаточно взглянуть на исследования, которые принимают в основной поток ведущие конференции в области компьютерных наук. Средний размер гранта на такое исследование составляет миллион долларов.

Программы от российского научного фонда даже при самом хорошем раскладе получают финансирование в 15-30 раз меньше. В таких условиях главными драйверами изучения новых подходов на основе графовых нейронных сетей становятся исследования, проводимые в крупных компаниях.

В России теорией графовых нейронных сетей занимаются в НИУ ВШЭ, Сколтехе и МФТИ. Прикладные исследования ведутся в Университете ИТМО, КФУ. Со стороны бизнеса в развитие этого направления свой вклад вносят VK (ранее Mail.ru Group), Сбер, «Яндекс», JetBrains.

А на мировой арене драйверами развития графовых нейросетей являются Twitter, Google, Amazon, Facebook, Pinterest.

Чего ждать от графовых нейросетей в будущем

Сегодня графовые нейросети уже уступили звание самой обсуждаемой технологии трансформерам с их большими архитектурами, описывающими все возможные зависимости в неструктурированных данных. Но они порождают модели, обучение которых стоит миллионы долларов и доступно только крупным корпорациям. Так что тренд на использование графовых нейронных сетей сохраняется. Вероятно, именно благодаря им ученые сделают новые важные открытия в науке о материалах, фармакологии и медицине.

Возможно, нас ждет появление новых более эффективных моделей, но графовые нейросети сформировались в самостоятельную технологию, которую можно использовать для решения разных интересных задач, и заняли свое место в теории машинного обучения. Наступил очень хороший момент для того, чтобы погрузиться в эту технологию, ведь это шанс участвовать в развитии молодой отрасли как в науке, так и в индустриальных приложениях.

Автор — Илья Макаров

Хроника

2023: Выпущена первая в России открытая библиотека для создания графовых нейросетей

В начале декабря 2023 года была выпущена первая в России открытая библиотека для создания графовых нейросетей. Речь идет о проекте CoolGraph, который развивает МТС в рамках своего центра Big Data. Подробнее здесь.

См. также

Нейронные сети

Машинное обучение

Искусственный интеллект