Narzędzia do redukcji szumu oparte na AI: NXT, DeepSNR i ich przyjaciele

W ostatnich latach usuwanie gwiazd i redukcja szumu na obrazach astronomicznych zostały niemal całkowicie przejęte przez narzędzia AI. W tym artykule zbieram kilka najpopularniejszych narzędzi do redukcji szumu opartych na AI, a także zalety, wady i rozwój kolejnych wersji, które zaobserwowałem we własnych testach.

Dlaczego redukcja szumu oparta na AI jest tak skuteczna?

Spójrz najpierw na zestaw liczb, żeby poczuć skalę modeli stojących za tymi narzędziami (mierzoną liczbą parametrów):

• StarXTerminator: 21 milionów
• StarNet++: 54 miliony
• StarNet V2: 30 milionów
• NoiseXTerminator: 24 miliony
• Topaz Denoise AI: 14 milionów

Wszystkie te modele opierają się na kluczowych pojęciach splotu (convolution), wieloskalowości (multiscale) i progu (threshold). Obecnie ich główne zastosowanie przy obrazach głębokiego nieba sprowadza się do dwóch rzeczy: usuwania gwiazd i redukcji szumu.

Sedno sprawy jest takie — bez pomocy uczenia maszynowego, bez optymalizowania parametrów na danych treningowych przygotowanych dla różnych typów obrazów obiektów niebieskich, samymi tradycyjnymi metodami naprawdę bardzo trudno uzyskać najlepszy wynik dla wszelkiego rodzaju obiektów. I właśnie w tym tkwi wartość narzędzi AI.

Dekonwolucja też może oprzeć się na AI: BlurXTerminator

W 2022 roku nawet dekonwolucję (Deconvolution) można było powierzyć AI. Russell Croman (RC) odkrył kolejne zastosowanie AI w obróbce obrazu i zaimplementował BlurXTerminator.

Zdecydowałem się wtedy pobrać 30-dniową wersję próbną i zastosowałem ją na zdjęciu mgławicy Krab (M1) sprzed dziesięciu lat: obraz po lewej to plik oryginalny z zastosowanym wyłącznie DBE, w środku jest wynik, który uzyskałem wcześniej natywną dekonwolucją w programie PixInsight, a zupełnie po prawej to, co BXT osiągnął jednym kliknięciem. Efekt był tak dobry, że dla porównania moja własna, ręcznie zrobiona dekonwolucja wyglądała jak taka, która się nie do końca udała — a przecież spędziłem co najmniej 20 minut na dobieraniu parametrów, podczas gdy BXT skończył w niecałą minutę. Wniosek jest prosty: za to, za co warto zapłacić, po prostu się płaci — oszczędza czas, a efekt jest świetny.

(Pełnemu wprowadzeniu do BXT wraz z uwagami poświęcony jest osobny artykuł, więc tutaj nie będę tego rozwijać.)

Przegląd narzędzi do redukcji szumu

NoiseXTerminator (NXT)

NXT to obecnie najpopularniejsze płatne narzędzie do redukcji szumu oparte na AI, a zarazem punkt odniesienia, do którego w tym artykule wracam wielokrotnie. Rozwój jego kolejnych wersji doskonale pokazuje cechę narzędzi AI, jaką jest „ciągłe iterowanie”.

Problem z gwiazdami (okres AI1): we wczesnym okresie, jeśli używało się NXT bez maski, rdzenie gwiazd RGB ulegały uszkodzeniu, a w centrach gwiazd w luminancji pojawiało się lekkie Star Fade. Wtedy nie było na to rady; Russell wspominał, że na platformie Mac jest podobnie, a Windows najwyraźniej też się nie wywinął. Na tamtym etapie używanie NXT oznaczało więc grzeczne łączenie go z maską gwiazd.

Aktualizacja do AI2 (program 1.1.4): po zgłoszeniu problemu Russellowi, w nowym modelu z tej aktualizacji w rdzeniach gwiazd RGB została już tylko lekka zmiana barwy, a Star Fade w rdzeniach gwiazd w luminancji zniknął. Znajomym, którzy używali NXT, radziłem wtedy jak najszybciej zaktualizować program.

Kolejny krok naprzód — AI3: nowa wersja AI3 rzeczywiście poprawia redukcję szumu w wysokich częstotliwościach, ale w średnich częstotliwościach i przy szumie barwnym wypada raczej przeciętnie; wpływ na jasne gwiazdy w stanie liniowym nadal występuje, choć został mocno złagodzony. W skrócie — kto kupił NXT, niech pamięta o aktualizacji: ogólne osiągi AI3 są faktycznie lepsze niż w AI2.

DeepSNR

Narzędzie AI nowej generacji do redukcji szumu na obrazach astronomicznych, stworzone przez Nikitę Misiurę, autora StarNet. Na razie obsługuje wyłącznie obrazy kolorowe i musi działać wewnątrz programu PixInsight; jego bezpośrednim konkurentem na rynku jest NXT.

Zrobiłem małe porównanie: patrząc na wyniki w stanie liniowym, od lewej do prawej mamy obraz oryginalny, wynik NXT i wynik DeepSNR. Wygląda na to, że DeepSNR radzi sobie naprawdę znakomicie. Kolejna duża zaleta — DeepSNR jest na razie darmowy.

W późniejszych testach zarówno NXT, jak i DeepSNR poradziły sobie w gruncie rzeczy bardzo dobrze — porównując oba wyniki w Blink, trudno już dostrzec konkretną różnicę. Wynika z tego też praktyczny wniosek: czy w kanale luminancji trzeba podkręcić siłę jeszcze wyżej? Moim zdaniem nie — przy takim SNR etap liniowy jest mniej więcej w sweet spot. W RGB można pójść trochę dalej, ale ja wolę zostawić nieco zapasu na etap nieliniowy.

Pewna szczególna zaleta Adobe CRF Denoise

Na koniec dorzucam jeszcze scenariusz ze zwykłej fotografii. Wygrzebałem z dysku oryginalny plik z rozgwieżdżonym niebem zrobiony lustrzanką (ekspozycja 30 s); na oryginale było mnóstwo gorących pikseli (hot pixels) — tych czerwonych i zielonych kropek. Zwykle usuwamy je odejmowaniem klatek dark i procesem Cosmetic Correction, ale po zastosowaniu CRF Denoise od Adobe gorące piksele zniknęły od razu; NXT z kolei usunął tylko szum, a gorące piksele zostawił.

Dlatego dla znajomych, którzy zajmują się zwykłą fotografią i nie robią klatek dark, ta zaleta CRF Denoise pokazuje się w pełnej krasie.

Podsumowanie

Redukcja szumu oparta na AI zrobiła w ostatnich latach błyskawiczne postępy i narzędzi jest więcej niż jedno: NXT jest dojrzały i wciąż iterowany, DeepSNR darmowy i wygodny, a CRF ma swoje sprytne zastosowanie tam, gdzie nie ma klatek dark. Zamiast upierać się przy tym, które jest „najmocniejsze”, lepiej zapamiętać dwie zasady — umiejętnie korzystaj z masek oraz na etapie liniowym zostaw trochę miejsca na to, co przyjdzie później. W redukcji szumu nie jest tak, że im mocniej, tym lepiej; dopiero znalezienie tego sweet spot to prawdziwa sztuka.