Braucht man mit KI keine Masken mehr? Ausgehend von den Sternartefakten, die NXT verursacht
Dieser Artikel ist aus Notizen von 2023 zusammengestellt; einige Werkzeuge oder Abläufe wurden inzwischen aktualisiert, behalte das beim Lesen bitte im Hinterkopf.
Traditionell gibt es tatsächlich eine ganze Reihe von Verarbeitungsprozessen, die Sterne kaputtmachen können, etwa Rauschreduzierung, Dekonvolution, Wavelet und LHE und so weiter. Deshalb mussten wir früher beim Einsatz dieser Prozesse oft zuerst eine Sternmaske erstellen, um zu verhindern, dass die Sterne beschädigt werden.
Seit die KI-bezogenen Prozesse aufgekommen sind, hat sich das Problem der Sternbeschädigung deutlich verringert. Die Sternentfernungs-Prozesse erlauben es uns, die Sterne zuerst zu entfernen und nur den Hintergrund zu verstärken. Allerdings lassen sich nicht alle Prozesse zwangsläufig mit einem sternlosen Bild bewältigen — die traditionelle Dekonvolution etwa beschädigt häufig den Kern von Sternen mit falscher PSF. Dieses Problem scheint seit dem Erscheinen von BXT allerdings gelöst zu sein.
Heißt das also, dass man mit KI überhaupt keine Masken mehr braucht? Eine Erfahrung, die ich kürzlich gemacht habe, gab darauf eine klare Absage.
Das Problem: NXT hat im linearen Zustand die Sternzentren verschlimmert
Als ich bemerkte, dass die Sternzentren bei einem kürzlich bearbeiteten Bild im nichtlinearen Zustand allesamt Probleme hatten, ging ich einige Schritte zurück und fand schließlich die Antwort.
NoiseXTerminator (NXT) als KI-Rauschreduzierungs-Werkzeug der neuen Generation wirbt gerade damit, Rauschen automatisch zu erkennen, ohne die übrigen Teile des Bildes zu beeinträchtigen. Dank des KI-Modelltrainings macht dieser Prozess das tatsächlich sehr gut. Allerdings habe ich festgestellt, dass dieser Prozess, wenn man ihn im linearen Zustand verwendet, bei den Zentren von Farbsternen und Luminanzsternen jeweils unterschiedliche Probleme erzeugt, und dieses Problem ist nicht offensichtlich — meist bemerkt man es erst nach dem nichtlinearen Stretchen.
- Farbsterne: Die Kernpixel der helleren Sterne werden verändert (wie in der Mitte der oberen Bildreihe). Nach dem nichtlinearen Stretchen zeigt sich das als seltsam gefärbte Artefakte.
- Luminanzsterne: Normalerweise ist der Kern eines Sterns am hellsten, doch nach dem Einsatz von NXT sinkt die Helligkeit des Sternzentrums, sodass die Umgebung am Ende heller ist als das Zentrum und im Kern das Problem eines star fade entsteht (wie in der unteren Bildreihe). Dieses Problem ist im Vergleich zu RGB-Sternen weniger offensichtlich, aber an mittelhellen Sternen erkennbar.
Die Lösung: Auch KI braucht Masken
Zuvor, weil ich die Ursache nicht gefunden hatte, habe ich die Sternkerne stets zum Schluss in Photoshop mit dem Ausbessern-Werkzeug repariert, und bei der Luminanz habe ich die Lichter ein wenig angehoben, um die Sternzentren aufzuhellen.
Jetzt, da ich die Wurzel gefunden habe, ist mein Vorgehen: Wenn du NXT verwendest, kombiniere es zumindest mit einer Sternmaske (oder einer Maske für helle Objekte), genau wie bei der traditionellen Rauschreduzierung.
Dieses Problem habe ich inzwischen bereits an Russell Croman gemeldet. Bis es behoben ist, würde ich beim Einsatz von NXT empfehlen, eine Maske dazuzunehmen. Ich würde außerdem jedem raten, noch einmal die eigenen Bilder durchzusehen, bei denen NXT zum Einsatz kam, und zu prüfen, ob etwas Ähnliches aufgetreten ist.