AI-ruisreductiegereedschappen: NXT, DeepSNR en hun vrienden

De laatste jaren is het werk van sterverwijdering en ruisreductie bij astronomische beelden bijna volledig overgenomen door AI-gereedschappen. Dit artikel zet enkele gangbare AI-ruisreductiegereedschappen op een rij, samen met de voor- en nadelen en de evolutie van versie tot versie die ik tijdens mijn tests heb waargenomen.

Waarom is AI-ruisreductie zo krachtig?

Kijk eerst eens naar een reeks getallen om een gevoel te krijgen voor de schaal van de modellen achter deze gereedschappen (gemeten in aantal parameters):

StarXTerminator: 21 miljoen
StarNet++: 54 miljoen
StarNet V2: 30 miljoen
NoiseXTerminator: 24 miljoen
Topaz Denoise AI: 14 miljoen

Deze modellen hebben allemaal convolutie (convolution), multischaal (multiscale) en drempelwaarde (threshold) als kernconcepten. Hun huidige belangrijkste toepassing bij deepsky-beelden komt neer op twee dingen: sterverwijdering en ruisreductie.

Het cruciale punt is dit: zonder machine learning — zonder de parameters te optimaliseren aan de hand van trainingsgegevens gericht op de verschillende typen beelden van hemelobjecten — is het met de traditionele methoden alleen in werkelijkheid zeer moeilijk om voor allerlei objecten het beste resultaat te bereiken. Precies daar ligt de waarde van de AI-gereedschappen.

Ook deconvolutie kan op AI leunen: BlurXTerminator

In 2022 kon zelfs de deconvolutie (Deconvolution) aan AI worden overgelaten. Russell Croman (RC) ontdekte nog een toepassing van AI in de beeldbewerking en realiseerde BlurXTerminator.

Ik koos er destijds voor de proefversie van 30 dagen te downloaden en paste die toe op een beeld van M1, de Krabnevel, tien jaar eerder opgenomen: het linkerbeeld is het ruwe bestand waarop alleen DBE is toegepast, het middelste is een resultaat dat ik eerder met de eigen deconvolutie van PixInsight had gemaakt, en helemaal rechts staat wat BXT met één klik voor elkaar kreeg. Het resultaat was zo goed dat mijn eigen, met de hand gemaakte deconvolutie er in vergelijking uitzag als een die niet echt gelukt was — en ik had er nog minstens 20 minuten aan besteed om de parameters af te stellen, terwijl BXT in minder dan een minuut klaar was. De conclusie is eenvoudig: waarvoor het de moeite waard is te betalen, daarvoor betaalt u — het bespaart tijd en het resultaat is prima.

Drie bewerkingen van M1, de Krabnevel, vergeleken: alleen DBE, eigen PI-deconvolutie, BXT met één klik

(Over de volledige inleiding tot BXT en de aandachtspunten bestaat een apart artikel, dus daar ga ik hier niet verder op in.)

Een rondgang langs de ruisreductiegereedschappen

NoiseXTerminator (NXT)

NXT is momenteel het gangbare betaalde AI-ruisreductiegereedschap, en tevens het referentiepunt waar ik in dit artikel meermaals op terugval. De evolutie ervan van versie tot versie illustreert juist het kenmerk van AI-gereedschappen om “voortdurend te itereren”.

Het sterprobleem (het AI1-tijdperk): in het begin, bij het gebruik van NXT, werd zonder masker de kern van de RGB-sterren beschadigd, en in het midden van de luminantiesterren verscheen ook een lichte Star Fade. Dit probleem was destijds onoplosbaar; Russell vermeldde dat het Mac-platform een soortgelijke situatie kende, en Windows ontkwam er duidelijk ook niet aan. In die fase betekende NXT gebruiken dus dat u het braaf combineerde met een stermasker.

Een demonstratie van de sterproblemen die NXT veroorzaakt

Update naar AI2 (programma 1.1.4): nadat ik het probleem aan Russell had gemeld, liet het nieuwe model van deze bijgewerkte versie in de kernen van de RGB-sterren nog maar een lichte verkleuring achter, terwijl de Star Fade in de kernen van de luminantiesterren was verdwenen. De vrienden die NXT gebruikten, raadde ik destijds aan zo snel mogelijk bij te werken.

Een vergelijking van de sterren voor en na de NXT 1.1.4 AI2-update

Verdere evolutie naar AI3: de nieuwe versie AI3 brengt bij de ruisreductie in de hoge frequenties inderdaad verbetering, maar bij de middenfrequenties en de kleurruis oogt ze slechts gewoontjes; in lineaire toestand blijft het effect op heldere sterren aanwezig, maar het is sterk verminderd. Kort samengevat — de vrienden die NXT hebben gekocht moeten niet vergeten te upgraden, want de algehele prestatie van AI3 is werkelijk beter dan die van AI2.

Een vergelijking van het ruisreductie-effect van NXT AI3 en AI2

DeepSNR

Een AI-ruisreductiegereedschap van de nieuwe generatie voor astronomische beelden, ontwikkeld door StarNet-auteur Nikita Misiura. Het ondersteunt momenteel alleen kleurbeelden en moet binnen PixInsight worden uitgevoerd; zijn directe concurrent op de markt is NXT.

Ik heb een kleine vergelijking gemaakt: kijkend naar de resultaten in lineaire toestand, staan van links naar rechts achtereenvolgens het oorspronkelijke beeld, het NXT-resultaat en het DeepSNR-resultaat. DeepSNR presteert ogenschijnlijk vrij uitstekend. Een ander groot voordeel is dat DeepSNR momenteel gratis is.

Een vergelijking van de ruisreductieresultaten van NXT en DeepSNR in lineaire toestand

Bij de latere tests deden NXT en DeepSNR het eigenlijk allebei erg goed — vergelijkt u de twee resultaten met Blink, dan is er nauwelijks nog een concreet verschil te bespeuren. Dat brengt ook een praktische afweging naar voren: heeft het luminantiekanaal een nog hogere sterkte nodig? Ik denk van niet — bij een dergelijke SNR ligt de lineaire fase ongeveer op de sweet spot. Bij RGB kunt u iets verder gaan, maar ik ben geneigd wat ruimte te laten voor de niet-lineaire fase.

NXT- en DeepSNR-resultaten vergeleken met Blink — nu nauwelijks nog te onderscheiden

Een bijzonder voordeel van Adobe CRF Denoise

Tot slot nog een scenario uit de algemene fotografie. Ik heb van mijn harde schijf een ruw bestand van een sterrenhemel met een DSLR (belichting van 30 seconden) opgediept; het oorspronkelijke beeld had veel hete pixels (hot pixels — die rode en groene puntjes). Gewoonlijk verwijderen we ze door de darks af te trekken en Cosmetic Correction uit te voeren, maar na het toepassen van Adobe’s CRF Denoise waren de hete pixels regelrecht weg; NXT daarentegen verwijderde alleen de ruis en liet de hete pixels achter.

Daarom komt voor de vrienden die algemene fotografie doen en geen darks opnemen, dit voordeel van CRF Denoise goed tot zijn recht.

Het verschil tussen CRF Denoise en NXT in de behandeling van hete pixels op een ruw sterrenhemelbestand van een DSLR

Samenvatting

AI-ruisreductie heeft de afgelopen jaren razendsnel vooruitgang geboekt, en er is niet maar één gereedschap: NXT is volwassen en blijft itereren, DeepSNR is gratis en prettig in gebruik, en CRF heeft zijn eigen vernuftige nut in het scenario zonder darks. In plaats van u vast te bijten in welke ervan “het krachtigst” is, kunt u beter twee principes onthouden — maak goed gebruik van maskers, en laat in de lineaire fase wat ruimte voor wat daarna komt. Bij ruisreductie geldt niet: hoe zwaarder, hoe beter; die sweet spot vinden, daar zit het vakmanschap.