Інструменти ШІ для зменшення шуму: NXT, DeepSNR та їхні друзі

Останніми роками роботу з видалення зір і зменшення шуму в астрознімках практично повністю взяли на себе інструменти ШІ. У цій статті я зібрав кілька поширених ШІ-інструментів для зменшення шуму, а також переваги, недоліки та еволюцію версій, які я спостерігав у власних тестах.

Чому зменшення шуму на основі ШІ таке потужне?

Спершу погляньте на низку цифр, щоб відчути масштаб моделей, які стоять за цими інструментами (за кількістю параметрів):

StarXTerminator: 21 мільйон
StarNet++: 54 мільйони
StarNet V2: 30 мільйонів
NoiseXTerminator: 24 мільйони
Topaz Denoise AI: 14 мільйонів

В основі всіх цих моделей лежать поняття згортки (convolution), багатомасштабності (multiscale) і порогу (threshold). Наразі їхнє основне застосування в зображеннях глибокого космосу зводиться до двох речей: видалення зір і зменшення шуму.

Ключове тут ось що: без машинного навчання — без оптимізації параметрів на основі тренувальних даних для різних типів зображень небесних об’єктів — самими лише традиційними методами насправді дуже важко отримати найкращий результат для всіх видів об’єктів. Саме в цьому й полягає цінність інструментів ШІ.

Деконволюцію теж можна довірити ШІ: BlurXTerminator

У 2022 році навіть деконволюцію (Deconvolution) стало можливо доручити ШІ. Рассел Кроман (Russell Croman, RC) знайшов ще одне застосування ШІ в обробці зображень і реалізував BlurXTerminator.

Тоді я завантажив 30-денну пробну версію й випробував її на знімку M1, Крабоподібної туманності, знятому десятьма роками раніше: ліворуч — вихідний файл, до якого застосовано лише DBE, посередині — результат, який я раніше отримав нативною деконволюцією PixInsight, а праворуч — те, чого BXT досяг в один клік. Результат був настільки хороший, що на його тлі моя власна ручна деконволюція виглядала мов невдала спроба — а я витратив на підбір параметрів щонайменше 20 хвилин, тоді як BXT впорався менш ніж за хвилину. Висновок простий: за що варто платити — за те й плати, бо це заощаджує час і дає гарний результат.

Порівняння трьох варіантів обробки Крабоподібної туманності M1: лише DBE, нативна деконволюція PI, BXT в один клік

(Про повний вступ до BXT і застереження щодо нього є окрема стаття, тож тут я не заглиблюватимусь.)

Огляд інструментів зменшення шуму

NoiseXTerminator (NXT)

NXT — це нині найпоширеніший платний ШІ-інструмент зменшення шуму, і саме на нього ця стаття не раз спирається як на еталон порівняння. Його еволюція від версії до версії якраз добре ілюструє властиву інструментам ШІ рису «безперервного вдосконалення».

Проблема із зорями (епоха AI1): на ранньому етапі використання NXT, якщо не додати маску, пошкоджувалися ядра зір у RGB, а в центрі зір каналу яскравості також з’являвся легкий Star Fade. Тоді ця проблема не мала розв’язання; Рассел зауважив, що на платформі Mac спостерігалася подібна ситуація, і ця проблема, вочевидь, не оминула й Windows. Тож у той період використання NXT означало слухняно поєднувати його з маскою зір.

Демонстрація проблеми із зорями, яку спричиняє NXT

Оновлення до AI2 (програма 1.1.4): після того як я повідомив про проблему Расселу, у новій моделі цього оновлення в ядрах зір RGB лишилася тільки легка зміна кольору, а Star Fade в ядрах зір каналу яскравості зник. Друзям, які користувалися NXT, я тоді радив оновитися якнайшвидше.

Порівняння стану зір до і після оновлення NXT 1.1.4 AI2

Подальша еволюція до AI3: нова версія AI3 справді покращила зменшення шуму на високих частотах, хоча із середніми частотами й кольоровим шумом усе виглядає доволі пересічно; вплив на яскраві зорі в лінійному стані досі відчутний, проте значно послаблений. Коротко кажучи — друзі, які придбали NXT, не забувайте оновлюватися: загальна продуктивність AI3 справді краща за AI2.

Порівняння ефекту зменшення шуму NXT AI3 і AI2

DeepSNR

Інструмент ШІ для зменшення шуму нового покоління в астрознімках, розроблений автором StarNet Нікітою Місюрою (Nikita Misiura). Наразі він підтримує лише кольорові зображення і обов’язково має запускатися всередині PixInsight; його прямий конкурент на ринку — саме NXT.

Я зробив невелике порівняння: якщо дивитися на результати в лінійному стані, зліва направо йдуть вихідне зображення, результат NXT і результат DeepSNR. Судячи з вигляду, DeepSNR показує доволі чудові результати. Ще одна велика перевага — DeepSNR наразі безкоштовний.

Порівняння результатів зменшення шуму NXT і DeepSNR у лінійному стані

У пізніших тестах NXT і DeepSNR обидва справді впоралися дуже добре — порівнюючи два результати через Blink, різницю вже майже неможливо розгледіти. Це наводить на практичний висновок: чи потрібно ще підвищувати силу на каналі яскравості? Гадаю, не потрібно — за такого SNR лінійний етап приблизно й є тією золотою серединою. У RGB можна трохи додати, але я схильний лишати трохи запасу для нелінійного етапу.

Порівняння результатів NXT і DeepSNR за допомогою Blink — різницю вже важко розрізнити

Особлива перевага Adobe CRF Denoise

Наостанок додам ситуацію із загальної фотографії. Я викопав зі свого диска вихідний файл нічного неба з DSLR (експозиція 30 секунд); на оригіналі було багато «гарячих пікселів» (ті самі червоні й зелені цятки). Зазвичай ми прибираємо їх відніманням кадрів dark і запуском Cosmetic Correction, але після застосування Adobe CRF Denoise «гарячі пікселі» зникли одразу; натомість NXT прибрав лише шум, а «гарячі пікселі» лишив.

Тож для тих, хто займається загальною фотографією і не знімає кадри dark, ця перевага CRF Denoise виявляється дуже доречною.

Різниця в обробці «гарячих пікселів» між CRF Denoise і NXT на вихідному файлі нічного неба з DSLR

Підсумок

Зменшення шуму на основі ШІ за останні роки стрімко прогресує, і інструментів тут не один: NXT зрілий і продовжує вдосконалюватися, DeepSNR безкоштовний і зручний у використанні, а CRF по-своєму вправно застосовується в ситуації без кадрів dark. Замість того щоб зациклюватися на тому, який інструмент «найпотужніший», варто запам’ятати два принципи — вміло використовуйте маски та лишайте трохи запасу на лінійному етапі для того, що буде далі. Зменшення шуму — це не «чим сильніше, тим краще»; саме вміння знайти ту золоту середину і є майстерністю.