Czy korzystanie z AI oznacza, że maski nie są już potrzebne? Zaczynając od artefaktów na gwiazdach powodowanych przez NXT

Ten artykuł powstał na podstawie notatek z 2023 roku; część narzędzi lub procedur została od tego czasu zaktualizowana, więc miej to na uwadze podczas lektury.

Tradycyjnie procesów, które potrafią zepsuć gwiazdy, jest całkiem sporo — na przykład odszumianie, dekonwolucja, falki (Wavelet), LHE i tak dalej. Właśnie dlatego dawniej, korzystając z tych procesów, musieliśmy zwykle najpierw przygotować maskę gwiazd, żeby uchronić gwiazdy przed zniszczeniem.

Odkąd pojawiły się procesy oparte na AI, niszczenie gwiazd znacznie zmalało. Procesy usuwania gwiazd pozwalają nam najpierw usunąć gwiazdy i wzmacniać samo tło. Nie każdy proces da się jednak wykonać na obrazie po usunięciu gwiazd — na przykład klasyczna dekonwolucja często niszczy jądra tych gwiazd, których PSF jest nieprawidłowa. Oczywiście ten problem wydaje się rozwiązany, odkąd pojawił się BXT.

Czy zatem, mając AI, maski nie są już w ogóle potrzebne? Moje niedawne doświadczenie dało odpowiedź przeczącą.

Problem: NXT psuje centra gwiazd w stanie liniowym

Kiedy zauważyłem, że w niedawno obrabianym obrazie wszystkie centra gwiazd w stanie nieliniowym są wadliwe, cofnąłem się o kilka kroków i w końcu znalazłem odpowiedź.

NoiseXTerminator (NXT) jako narzędzie odszumiania nowej generacji oparte na AI stawia przede wszystkim na automatyczne rozpoznawanie szumu bez naruszania pozostałych części obrazu. Dzięki wytrenowanemu modelowi AI ten proces faktycznie radzi sobie bardzo dobrze. Odkryłem jednak, że proces ten użyty w stanie liniowym wywołuje odmienne problemy w centrach gwiazd kolorowych i gwiazd luminancji, a przy tym problem ten nie rzuca się w oczy — zwykle daje się go dostrzec dopiero po nieliniowym rozciąganiu (stretch).

• Gwiazdy kolorowe: piksele jądra jaśniejszych gwiazd zostają zmodyfikowane (jak na środku górnego rzędu ilustracji). Po nieliniowym rozciąganiu widać wtedy artefakty o dziwnym kolorze.
• Gwiazdy luminancji: zwykle jądro gwiazdy jest najjaśniejsze, ale po użyciu NXT jasność centrum gwiazdy spada, przez co otoczenie staje się jaśniejsze niż środek, a w jądrze pojawia się problem star fade (jak w dolnym rzędzie ilustracji). W porównaniu z gwiazdami RGB jest to mniej widoczne, ale na gwiazdach o średniej jasności da się to zauważyć.

Rozwiązanie: AI też potrzebuje maski

Wcześniej, kiedy nie znałem jeszcze przyczyny, jądra gwiazd naprawiałem zawsze na sam koniec w programie Photoshop narzędziem Łatka (Patch Tool), a po stronie luminancji nieco podnosiłem światła, żeby rozjaśnić centra gwiazd.

Teraz, gdy znalazłem źródło problemu, robię tak: używając NXT, stosuję przynajmniej maskę gwiazd (albo maskę jasnych obiektów), dokładnie tak jak przy klasycznym odszumianiu.

Problem zgłosiłem już Russellowi Cromanowi. Zanim zostanie rozwiązany, przy korzystaniu z NXT radzę stosować maskę. Radzę też, żebyś wrócił do własnych obrazów, przy których używałeś NXT, i sprawdził, czy nie pojawiło się coś podobnego.