Instrumente de reducere a zgomotului cu AI: NXT, DeepSNR și prietenii lor

În ultimii ani, eliminarea stelelor și reducerea zgomotului în imaginile astronomice au fost preluate aproape complet de instrumentele de inteligență artificială (AI). Acest articol trece în revistă câteva dintre cele mai populare instrumente AI de reducere a zgomotului, împreună cu avantajele, dezavantajele și evoluția de la o versiune la alta pe care le-am observat în propriile teste.

De ce este reducerea zgomotului cu AI atât de puternică?

Priviți mai întâi un set de cifre, ca să vă faceți o idee despre dimensiunea modelelor din spatele acestor instrumente (măsurată în număr de parametri):

StarXTerminator: 21 de milioane
StarNet++: 54 de milioane
StarNet V2: 30 de milioane
NoiseXTerminator: 24 de milioane
Topaz Denoise AI: 14 milioane

Toate aceste modele au la bază conceptele de convoluție (convolution), scară multiplă (multiscale) și prag (threshold). În prezent, principala lor utilizare pe imaginile de cer profund se reduce la două lucruri: eliminarea stelelor și reducerea zgomotului.

Esențialul este acesta – fără să vă bazați pe învățarea automată, adică fără să optimizați parametrii pe baza unor date de antrenament specifice diferitelor tipuri de imagini ale obiectelor cerești, este de fapt foarte greu ca metodele tradiționale, folosite singure, să obțină cele mai bune rezultate pentru orice fel de obiect. Exact aici stă valoarea instrumentelor AI.

Deconvoluția se poate baza și ea pe AI: BlurXTerminator

În 2022, chiar și deconvoluția (Deconvolution) a putut fi lăsată pe seama AI. Russell Croman (RC) a descoperit o nouă aplicație a AI în prelucrarea imaginilor și a realizat BlurXTerminator.

Atunci am ales să descarc versiunea de test de 30 de zile și am aplicat-o pe o imagine a nebuloasei M1 (Nebuloasa Crabului), realizată cu zece ani în urmă: imaginea din stânga este fișierul original cu doar DBE aplicat, cea din mijloc este rezultatul pe care îl obținusem anterior cu deconvoluția nativă din PixInsight, iar cea din dreapta este rezultatul obținut de BXT dintr-un singur clic. Rezultatul a fost atât de bun încât, prin comparație, deconvoluția mea făcută manual a părut una nereușită – și asta după ce petrecusem cel puțin 20 de minute ajustând parametrii, în timp ce BXT a terminat în mai puțin de un minut. Concluzia e simplă: pentru ceea ce merită plătit, se plătește – economisește timp și arată bine.

Comparație a trei prelucrări ale nebuloasei M1 (Nebuloasa Crabului): doar DBE, deconvoluție nativă PI, BXT dintr-un clic

(Despre introducerea completă la BXT și aspectele de care trebuie ținut cont există un articol separat, așa că aici nu voi intra în detalii.)

Un tur al instrumentelor de reducere a zgomotului

NoiseXTerminator (NXT)

NXT este în prezent principalul instrument plătit de reducere a zgomotului cu AI și punctul de referință la care recurg de mai multe ori în acest articol pentru comparații. Evoluția sa de la o versiune la alta ilustrează perfect trăsătura de „iterare continuă” a instrumentelor AI.

Problema stelelor (perioada AI1): în perioada timpurie de utilizare a NXT, dacă nu se adăuga o mască, nucleele stelelor RGB erau afectate, iar în centrul stelelor de luminanță apărea și un ușor Star Fade. Pe atunci, problema nu avea nicio soluție; Russell a menționat că o situație asemănătoare exista și pe platforma Mac, iar Windows, evident, nu a scăpat nici el. Așa că, în acea etapă, NXT se folosea cuminte, împreună cu o mască de stele.

Demonstrație a problemelor cu stelele cauzate de NXT

Actualizarea la AI2 (versiunea 1.1.4 a programului): după ce am raportat problema lui Russell, în noul model din această actualizare au rămas doar ușoare decolorări în nucleele stelelor RGB, iar Star Fade din nucleele stelelor de luminanță a dispărut. Prietenilor care foloseau NXT le-am recomandat atunci să actualizeze cât mai curând.

Comparație a stării stelelor înainte și după actualizarea NXT 1.1.4 AI2

O nouă evoluție până la AI3: noua versiune AI3 aduce într-adevăr îmbunătățiri la reducerea zgomotului de frecvență înaltă, dar la frecvențele medii și la zgomotul de culoare pare doar obișnuită; efectul asupra stelelor luminoase în starea liniară persistă, dar s-a redus mult. Pe scurt – prietenii care au cumpărat NXT să nu uite să facă upgrade, performanța generală a AI3 este într-adevăr mai bună decât a AI2.

Comparație a efectului de reducere a zgomotului între NXT AI3 și AI2

DeepSNR

Un instrument de reducere a zgomotului cu AI de nouă generație, destinat imaginilor astronomice, dezvoltat de Nikita Misiura, autorul StarNet. În prezent acceptă doar imagini color și trebuie rulat în PixInsight; concurentul său direct de pe piață este chiar NXT.

Am făcut o mică comparație: dacă privim rezultatele în starea liniară, de la stânga la dreapta avem, în ordine, imaginea originală, rezultatul NXT și rezultatul DeepSNR. Se pare că DeepSNR are o performanță destul de bună. Un alt mare avantaj este – DeepSNR este în prezent gratuit.

Comparație a rezultatelor de reducere a zgomotului între NXT și DeepSNR în starea liniară

În testele ulterioare, atât NXT, cât și DeepSNR s-au descurcat de fapt foarte bine, iar la compararea celor două rezultate prin Blink nu se mai vede o diferență concretă notabilă. Asta duce și la o decizie practică: canalul de luminanță mai are nevoie de o intensitate și mai mare? Cred că nu – la un asemenea SNR, etapa liniară este aproape exact punctul optim. La RGB se mai poate merge puțin mai departe, dar eu prefer să las ceva spațiu pentru etapa neliniară.

Rezultatele NXT și DeepSNR, comparate prin Blink, deja greu de deosebit

Un avantaj special al Adobe CRF Denoise

În final, mai adaug o situație din fotografia obișnuită. Am scos de pe hard disk un fișier RAW de cer înstelat făcut cu un DSLR (expunere de 30 de secunde); imaginea originală avea mulți hot pixeli (acele puncte roșii și verzi). De obicei îi eliminăm scăzând cadrele dark și rulând Cosmetic Correction, dar după aplicarea CRF Denoise de la Adobe, hot pixelii au dispărut direct; NXT, în schimb, a eliminat doar zgomotul și a lăsat hot pixelii pe loc.

Așa că, pentru cei care fac fotografie obișnuită și nu fotografiază cadre dark, acest avantaj al CRF Denoise iese cu adevărat în evidență.

Diferența dintre CRF Denoise și NXT în tratarea hot pixelilor pe un fișier RAW de cer înstelat de la un DSLR

Concluzie

Reducerea zgomotului cu AI a avansat rapid în ultimii ani, iar instrumentele nu se limitează la unul singur: NXT este matur și evoluează constant, DeepSNR este gratuit și ușor de folosit, iar CRF are propriul său truc isteț în situația fără cadre dark. În loc să vă fixați pe care e „cel mai puternic”, mai bine țineți minte două principii – folosiți bine măștile și lăsați ceva spațiu în etapa liniară pentru ce urmează. Reducerea zgomotului nu înseamnă că mai mult e mereu mai bine; a găsi acel punct optim este adevărata măiestrie.