Объединение различных оценок данных присуща многим проблемам в науке и технике, но это особенно актуально для анализа биомедицинских изображений. Технологии визуализации очень дорогие, поэтому, очень привлекательными являются способы синергического сбора данных. Кроме того, например, так как каждая визуализация активности головного мозга является косвенным отражением лежащей в ее основе нейронной активности в различных пространственно-временных условиях, появление смешанной нейровизуализации предоставляет беспрецедентную возможность для понимания нормальной функции мозга и патофизиологии многих заболеваний головного мозга.
В связи с большим объемом и усложнением мультимодальных биомедицинских данных, есть острая необходимость в новых моделирующих и вычислительных методах для обработки современных мультимедийных сигналов. Такие методы должны быть быстрым, точным и экономически эффективным средством для исследования основных биологических процессов, а также представлять новые методы визуализации, которые будут внедрены в реальные приложения. Традиционно, биомедицинские изображения анализируются с точки зрения технической обработки сигналов или изображений, что было опубликовано в журналах за пределами IEEE Труды по мультимедиа (ТММ). В этой специальной секции мы хотели бы вдохновить будущих исследователей биомедицинских изображений для исследований в области ТММ, а также подтвердить, что мультимодальная обработка биомедицинских изображений – постоянно развивающаяся область. Цель этого специального раздела в том, чтобы собрать вместе анализ изображений и видео, представить разнообразный комплексный подход к анализу, чтобы показать его важность и необходимость автоматических улучшений в области мультимодальной обработки медицинских изображений
М организовали открытый отбор докладов, и получили 24 заявки. После проведения двух туров проффесионального отбора, 9 статей были отобраны для публикации. Окончательные документы представляют собой выдающиеся публикации этой важной и быстро развивающейся междисциплинарной области. Этот аспект ТММ обеспечит широкий взгляд на последние достижения в широком поле обработки мультимодальных биомедицинских изображений по отношению к общим принципам, сбору данных, анализа и синтеза данных, медицинской проверки и прямого клинического применения.
Первые три документа являются обзорными статьями по теме. Комплексное
оптическое изображение является одной из быстро развивающихся
и всезаполняющих областей,
особенно в сочетании с другими методами, такими как
УЗИ. Такая фотоакустическая томография (ФАТ) может преодолеть
фундаментальную проблему невозможности проникновения света и получения
четких изображений в глубоких тканях.
В статье, представленной Jeon и Kim, Мультимодальная фотоакустическая томография
,
рассматривается мультимодальные возможности визуализации
ФАТ, интегрированный с помощью существующих инструментов визуализации,
и рассмотрены
потенциальные доклинические и клинические последствия комбинированных систем.
Заметный сдвиг в хирургических процедурах был сделан с применением малоинвазивных
технологий, не требующих большого разреза для обеспечения необходимого хирургу угла обзора.
Область применения изображений наведения все еще развивается,
но получение изображения является
ключевым для любого автоматизированного комплекса. В статье, опубликованной
Liao и др., Обзор последних достижений в области регистрации методик,
применяемых в малоинвазивной терапии
, приведено комплексное сравнение всех
последних достижений в области методов регистрации, применяемых к минимально
инвазивной терапии, в том числе самых разнообразных методов ислледований в хирургии,
эндоскопии, интервенционная кардиологии, интервенционная радиологии, и гибридных
процедур. Когда ЭЭГ является одним из методов, используемых в исследовании,
желательно иметь построенную нелинейную функцию исходного сигнала ЭЭГ, например,
диапазон мощности ЭЭГ, или же построенных в другой модальности сигналов,
таких как гемодинамическая реакция,
измеренная с помощью ИКС или МРТ. В работе Dahne и др., Интеграция многомерных потоков
данных из сигналов с ограниченной полосой пропускания
, авторы рассмотрели подобные методики
и представили подход к решению этой проблемы, который представляет возможность изучения
моделированных и реальных данных.
Следующие пять статей описывают мультимодальные слияние данных с акцентом на
конкретных медицинских целях. В документе по Bhatnagar и др., Предельное
контрастирование основанное на мультимодальных медицинских изображениях при
поддержке НАН
, описывается мультимодальное слияние изображений на основе не‑половинной
дискретизации контурных преобразований, а также мощное многомасштабное направленное
преобразование. Приведено несколько примеров из клинической нейровизуализации,
а также вызывают интерес попытки объединить информацию из КТ, различных контрастов МРТ и
ПЭТ / ОФЭКТ изображения.
Молекулярная визуализация представляет отличный потенциал для ее применения и
характеризует биологические процессы в неповрежденных живых особях.
Флуоресцирующие изображения могут предоставить дополнительную и перекрестную
информации про молекулярный уровень. В статье Liu и др., Мониторинг ответов
опухоли на терапию с применением наностержней с индоцианиновыми зелеными
конъюгатами с Au с флуоресцентной визуализацией и позитронно-эмиссионной томографией
,
использует оба метода визуализации – флуоресцирующие изображения
и ФДГ‑ПЭТ для контроля ответа опухоли и
предполагает, что такая комбинация может обеспечить неинвазивное средство для
оценки реакции опухоли на противоопухолевую терапию на молекулярном уровне. В
работе Zhang и др., Флуоресцирующая томографическая реконструкция с одновременной
предшествующей позитронно‑эмиссионной томографией
, целевая предварительная информация от
одновременных ПЭТ изображений добавляется к люминесцирующей молекулярной
томографии с реконструкцией, и предлагаемая процедура проверяется
моделированием на фантомных экспериментах.
В работе Lagana др., Ультразвуковое исследование и магнитно-резонансная томограмма
с виртуальным ориентированием
,
предполагается, что исследование глубоких мозговых вен и твердой мозговой
оболочки придаточных пазух носа может очень выиграть от слияния транскраниального
УЗИ с МРТ. В этой работе, анатомические ориентиры на лице
включены в мультимодальное ориентирование для установки более совершенных
технологий поиска.
Интер‑субъектная изменчивость является общей задачей в медицинских целях, и,
следовательно, групповой анализ является комплексным заданием. В докладе Chen и
др. Объединенный мультимодальный групповой анализ объекта для моделирования
мозгодвигательной деятельности
, основное внимание уделяется мозгодвигательному
комплексному анализу, путем анализа связей ЭЭГ и ЭМГ для лучшего понимания опорно‑двигательной системы
человека, которые могут быть изменены при различных заболеваниях,
таких как болезнь Паркинсона. В частности, соединение
сигналов ЭЭГ и ЭМГ, собранных с различных электродов, является особенно полезной
функцией. Новая основа для совместного мультимодального анализа этих способов
предлагается с особым вниманием к модели с учетом внутренних и внешних изменений субъекта.
В последней работе исследуется интересное приложение реального времени в области
мультимодальных человекомашинных интерфейсов и их взаимодействия. В статье
Cong и др., Связывание ответов мозга на природную музыкиу путем анализа текущей
ЭЭГ и особенностей стимуляции
, представляет собой первую попытку проанализировать
получаемую ЭЭГ в реальном времени на непрерывное прослушивание музыки.
Статьи, отобранные в этот специальный раздел, мы считаем, объединить в общую картину новейшие разработки в интересной и плодотворной области исследования мультимодальных биомедицинских изображений. Мы надеемся, что этот сборник поможет решить важные вопросы в области анализа биомедицинских изображений и ключевых вопросов для мультимедиа и средств обработки сигналов и поможет объединить усилия исследователей в разных дисциплинах для ускорения роста этой перспективной области. Редакция хотела бы отметить всех авторов за их выдающийся вклад и рецензентов за их вдумчивые комментарии. Мы также благодарны доктору Mihaela van der Schaar, главному редактору ТММ, за ее любезную поддержку и г‑же Rebecca Wollman за ее добросовестную работу и терпение в составлении данной подборки.
Мы надеемся, что вам понравится эта подборка так же, как и нам понравилось составлять ее.