Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion

Привет, коллега! Наткнулся на свежий препринт, который стоит взять на заметку, если ты работаешь с графовыми моделями или диффузией. Авторы взялись за фундаментальный вопрос: а почему, собственно, attention (внимание) в графовых трансформерах должен хорошо работать для денойзинга графов? Оказывается, интуиция нас подводит. Они вывели математику (с позиций спектральной теории графов) и показали, что **линейное внимание — штука субоптимальная**. В режиме денойзинга оно сходится к усреднению по спектру и не способно качественно разделять сигнал и шум на высоких частотах. Проще говоря, обычный attention «размазывает» структуру, а не восстанавливает её. Это напрямую касается и графовых диффузионных моделей (Graph Diffusion Models), где шум и денойзинг — базовая операция. Если ваш трансформер «слышит» только низкие частоты, то вы гарантированно теряете мелкие детали топологии. **Почему это важно для нас, инженеров:** Исследование даёт чёткий критерий: не стоит бездумно тащить стандартный attention из NLP в графы, особенно для задач восстановления. Если вы проектируете модель для генерации молекулярных графов или очистки графа от шума, вам, вероятно, придётся модифицировать механизм внимания (например, вводить high-pass фильтры или использовать нелинейные варианты) — иначе вы будете получать «сглаженные», нереалистичные структуры. Ссылка на источник: http://arxiv.org/abs/2607.06546v1