Глубокое обучение корректирует жесткое и нежесткое движение при визуализации в реальном времени

В то время как традиционная нейробиология опирается на статические снимки активности мозга, будущее нейровизуализации требует динамического, высокоточного мониторинга крупномасштабных популяций нейронов у свободно ведущих себя животных. До недавнего времени основным претендентом на исправление артефактов движения при визуализации в реальном времени была регистрация твердого тела. Здесь предполагается, что весь мозг движется как единый сплошной блок.

Исследователи также изучают возможность использования алгоритмов оптического потока для отслеживания попиксельных смещений: подход, известный как нежесткая коррекция движения. Этот метод имеет большие перспективы для выявления локальных деформаций, особенно потому, что биологические образцы подвергаются сложным, многомасштабным искажениям из-за дыхания, сердцебиения и движений конечностей. Вопрос на миллион долларов сейчас заключается в определении правильной вычислительной структуры для плавной интеграции глобальных и локальных поправок, что является необходимым условием для интеллектуальной микроскопии следующего поколения.

Теперь исследовательская группа под руководством ученых из Университета Чжэцзян и Городского университета Ханчжоу показала, что DeepMoCo, система адаптивной коррекции движения, основанная на нейронных сетях Graph (GNN), обладает свойствами, которые делают ее очень практичным выбором для флуоресцентной визуализации in vivo.

Графовые нейронные сети: простое решение для создания изображений в реальном времени

В поисках надежной коррекции движения уже были сделаны шаги вперед с использованием традиционных алгоритмов, таких как NoRMCorre. Однако с появлением глубокого обучения структуры на основе GNN стали интригующим соперником. Эти архитектуры моделируют последовательности изображений в виде пространственно-временных графов, что естественным образом наделяет их способностью агрегировать локальные и глобальные характеристики, что позволяет надежно прогнозировать смещения нейронов даже в средах с высоким уровнем шума.

«Это дает значительное преимущество перед традиционными методами, поскольку вам не нужно полагаться на одну модель преобразования для обработки всех типов движения — сеть сама изучает пространственно-временную динамику», — объясняет исследовательская группа. «Это облегчает достижение пространственной точности на уровне пикселей и временной согласованности на уровне миллисекунд без необходимости создания идеальных условий изображения».

Привлекательная, но неуловимая перспектива многомасштабной коррекции движения

Есть одна особая проблема в области живых изображений, которая захватила исследователей: многомасштабные артефакты. Биологическое движение содержит как глобальные жесткие сдвиги, так и локальные нежесткие деформации, которые часто приводят к сбою традиционных унифицированных моделей.

Почему эта коррекция двойной природы настолько заманчива, так это то, что она сохраняет топологическую структуру нейронных цепей, устраняя при этом джиттер. «Это очень полезное свойство, поскольку оно означает, что исправленные изображения сохраняют свою биологическую ценность для последующего анализа», — говорят ученые.

Тем не менее, несмотря на привлекательность адаптивной коррекции для нейробиологии, до этого последнего исследования одновременное достижение как глобального выравнивания, так и восстановления локальной деформации оставалось узким местом в вычислениях.

Преодоление разрыва между сложным движением и высококачественными сигналами

Чтобы преодолеть эту проблему, надежда возлагалась на архитектуры глубокого обучения, способные различать различные модели движения. Однако в прошлом разрыв между теоретическими моделями и зашумленными биологическими данными мешал исследователям получать точные сигналы. «У исследователей, возможно, были данные визуализации, но истинная нейронная активность была скрыта за артефактами движения», — объясняет команда.

В DeepMoCo система сначала классифицирует режим движения, а затем применяет целевые коррекции. Команда проверила каждое предположение с помощью тщательного пространственно-временного отслеживания.

Затем они сделали решающий адаптивный шаг, применив стратегию двухмодальной коррекции. «Поначалу баланс между глобальными и локальными корректировками казался сложной задачей», — говорит команда.

Тщательно выяснив, насколько различные факторы усложняют расчеты, они обнаружили, что за счет объединения многомасштабных функций каркас может поддерживать жесткую точность регистрации, восстанавливая при этом небольшие локальные деформации. Таким образом, они преодолели разрыв между теоретическим глубоким обучением и практической биологической визуализацией, доказав эффективность стратегий адаптивной классификации.

Двери открыты для изучения нейронных цепей разных видов и модальностей

Вооружившись способностью точно восстанавливать сигналы высокой точности, команда продемонстрировала, что производительность DeepMoCo легко обобщается. Независимо от того, применялась ли система к грибовидному телу и эллипсоидному телу у дрозофилы или к аксонам, дендритам и спинному мозгу у мышей и рыбок данио, система последовательно устраняла сложные искажения, вызванные движением.

«Это очень полезное свойство, поскольку нейробиологические исследования потенциально могут проводиться среди разных видов и методов визуализации с помощью единого унифицированного инструмента», — говорят ученые.

Теперь, когда теория и биологическое подтверждение наконец объединены, более широкое исследовательское сообщество оснащено средствами для изучения динамики нейронных цепей в различных моделях и оптимизации их применения для интерфейсов мозг-компьютер и биодинамических исследований. Будущие итерации могут еще больше снизить чувствительность к маскам областей интереса и плотности нейронов, открывая путь к еще более сложной физиологической визуализации.