Инструменты ИИ-шумоподавления: NXT, DeepSNR и их друзья

В последние годы удаление звёзд и шумоподавление в астрофотографии почти полностью перешли в руки инструментов ИИ. В этой статье я собрал несколько основных инструментов ИИ-шумоподавления вместе с преимуществами, недостатками и эволюцией версий, которые я наблюдал в собственных тестах.

Почему ИИ-шумоподавление настолько эффективно?

Сначала взгляните на набор цифр, чтобы почувствовать масштаб моделей, стоящих за этими инструментами (в количестве параметров):

StarXTerminator: 21 млн
StarNet++: 54 млн
StarNet V2: 30 млн
NoiseXTerminator: 24 млн
Topaz Denoise AI: 14 млн

Все эти модели опираются на такие ключевые понятия, как свёртка (convolution), многомасштабность (multiscale) и порог (threshold). Сейчас их основное применение в дипскай-изображениях сводится к двум вещам: удалению звёзд и шумоподавлению.

Ключевой момент в следующем: без машинного обучения — без оптимизации параметров на основе обучающих данных для разных типов изображений небесных объектов — одними только традиционными методами на самом деле очень трудно получить наилучший результат для всевозможных объектов. Именно в этом и заключается ценность инструментов ИИ.

Даже деконволюция теперь под силу ИИ: BlurXTerminator

В 2022 году даже деконволюцию (Deconvolution) стало можно доверить ИИ. Рассел Кроман (Russell Croman, RC) обнаружил ещё одно применение ИИ в обработке изображений и реализовал BlurXTerminator.

Тогда я решил скачать 30-дневную пробную версию и опробовал её на снимке M1, Крабовидной туманности, сделанном десять лет назад: слева — исходный файл только с DBE, в центре — результат, который я ранее получил с помощью встроенной деконволюции PixInsight, а справа — то, что BXT сделал в один клик. Результат оказался настолько хорош, что моя собственная ручная деконволюция на его фоне выглядела как неудавшаяся — а ведь я потратил на подбор параметров не меньше 20 минут, тогда как BXT справился менее чем за минуту. Вывод прост: за то, за что стоит платить, стоит платить — экономит время и даёт хороший результат.

Сравнение трёх видов обработки M1, Крабовидной туманности: только DBE, встроенная деконволюция PI и BXT в один клик

(Полное введение в BXT и связанные с ним нюансы разобраны в отдельной статье, поэтому здесь я не буду углубляться.)

Обзор инструментов шумоподавления

NoiseXTerminator (NXT)

NXT — это на сегодняшний день основной платный инструмент ИИ-шумоподавления, и именно его я неоднократно использую в этой статье как эталон для сравнения. Его эволюция от версии к версии как раз хорошо иллюстрирует свойство инструментов ИИ «постоянно итерироваться».

Проблема со звёздами (эпоха AI1): на раннем этапе использования NXT, если не добавлять маску, повреждались ядра звёзд в RGB, а в центрах звёзд в канале яркости также появлялся лёгкий Star Fade. В то время у этой проблемы не было решения; Рассел упоминал, что похожая ситуация наблюдается и на платформе Mac, и Windows, очевидно, тоже не была исключением. Так что в тот период использование NXT означало послушно сочетать его с маской звёзд.

Демонстрация проблем со звёздами, вызванных NXT

Обновление до AI2 (версия программы 1.1.4): после того как я сообщил о проблеме Расселу, в новой модели этого обновления в ядрах звёзд RGB осталось лишь лёгкое изменение цвета, а Star Fade в ядрах звёзд в канале яркости исчез. Друзьям, пользующимся NXT, я тогда советовал обновиться как можно скорее.

Сравнение состояния звёзд до и после обновления NXT 1.1.4 AI2

Дальнейшая эволюция до AI3: новая версия AI3 действительно улучшила шумоподавление на высоких частотах, однако на средних частотах и с цветовым шумом справляется лишь на среднем уровне; влияние на яркие звёзды в линейном состоянии сохраняется, но значительно ослаблено. Вкратце — друзьям, купившим NXT, стоит не забыть обновиться: общая производительность AI3 действительно превосходит AI2.

Сравнение эффекта шумоподавления NXT AI3 и AI2

DeepSNR

Инструмент ИИ-шумоподавления нового поколения для астрофотографии, разработанный автором StarNet Никитой Мисюрой (Nikita Misiura). В настоящее время он поддерживает только цветные изображения и должен запускаться внутри PixInsight; его прямой конкурент на рынке — как раз NXT.

Я провёл небольшое сравнение: если смотреть на результаты в линейном состоянии, слева направо идут оригинальное изображение, результат NXT и результат DeepSNR. Похоже, DeepSNR показывает весьма достойные результаты. Ещё одно большое преимущество в том, что DeepSNR пока бесплатен.

Сравнение результатов шумоподавления NXT и DeepSNR в линейном состоянии

В более поздних практических тестах и NXT, и DeepSNR на самом деле справились очень хорошо — при сравнении двух результатов через Blink разницу уже почти не разглядеть. Это подводит к практическому суждению: нужно ли ставить ещё более высокую интенсивность для канала яркости? Я считаю, что не нужно — при таком SNR линейный этап примерно и есть та самая золотая середина. Для RGB можно чуть добавить, но я склонен оставлять немного запаса для нелинейного этапа.

Сравнение результатов NXT и DeepSNR через Blink — различить их уже трудно

Одно особое преимущество Adobe CRF Denoise

Напоследок добавлю ситуацию из обычной фотографии. Я откопал на жёстком диске исходный файл ночного неба, снятый на зеркальную камеру (DSLR), выдержка 30 секунд; на оригинале было много горячих пикселей (hot pixels) — тех самых красных и зелёных точек. Обычно мы устраняем их вычитанием дарков и Cosmetic Correction, но после применения CRF Denoise от Adobe горячие пиксели были устранены сразу; NXT же, напротив, устранил только шум, а горячие пиксели оставил.

Поэтому для тех, кто занимается обычной фотографией и не снимает дарки, это преимущество CRF Denoise проявляется в полной мере.

Разница в обработке горячих пикселей между CRF Denoise и NXT на исходном файле ночного неба, снятом на зеркальную камеру (DSLR)

Итоги

ИИ-шумоподавление за последние годы стремительно развилось, и инструментов не один: NXT зрелый и продолжает итерироваться, DeepSNR бесплатен и удобен в использовании, а CRF по-своему хитро полезен в ситуации без дарков. Вместо того чтобы зацикливаться на том, какой инструмент «самый сильный», лучше запомнить два принципа — грамотно используйте маски и оставляйте немного запаса на линейном этапе для того, что будет дальше. Шумоподавление — это не «чем сильнее, тем лучше»; найти ту самую золотую середину — вот в чём мастерство.