Ferramentas de redução de ruído com IA: NXT, DeepSNR e seus amigos

Nos últimos anos, o trabalho de remoção de estrelas e redução de ruído nas imagens astronômicas passou quase inteiramente para as mãos das ferramentas de IA. Este artigo organiza algumas das principais ferramentas de redução de ruído com IA, junto com os prós, os contras e a evolução de versão em versão que observei nos meus próprios testes.

Por que a redução de ruído com IA é tão poderosa?

Primeiro, dê uma olhada em um conjunto de números para ter uma noção da escala dos modelos que estão por trás dessas ferramentas (medida pelo número de parâmetros):

StarXTerminator: 21 milhões
StarNet++: 54 milhões
StarNet V2: 30 milhões
NoiseXTerminator: 24 milhões
Topaz Denoise AI: 14 milhões

Todos esses modelos têm como conceitos centrais a convolução (convolution), a multiescala (multiscale) e o limiar (threshold). Atualmente, nas imagens de céu profundo, o seu uso principal se resume a duas coisas: a remoção de estrelas e a redução de ruído.

O ponto-chave é este: sem recorrer ao machine learning — sem otimizar os parâmetros com base em dados de treinamento voltados aos diversos tipos de imagens de objetos celestes — é, na verdade, muito difícil obter o melhor resultado para todo tipo de objeto apenas com os métodos tradicionais. É justamente aí que reside o valor das ferramentas de IA.

A deconvolução também pode contar com a IA: BlurXTerminator

Em 2022, até a deconvolução (Deconvolution) pôde ser confiada à IA. Russell Croman (RC) descobriu mais uma aplicação da IA no processamento de imagens e implementou o BlurXTerminator.

Na época, optei por baixar a versão de avaliação de 30 dias e a apliquei em uma imagem de M1, a Nebulosa do Caranguejo, feita dez anos antes: a imagem à esquerda é o arquivo original com apenas o DBE aplicado, a do meio é um resultado que eu havia obtido antes com a deconvolução nativa do PixInsight, e a da extrema direita é o que o BXT alcançou com um único clique. O resultado foi tão bom que, em comparação, a deconvolução que fiz à mão parecia daquelas que não tinham dado muito certo — e ainda por cima eu havia gastado pelo menos 20 minutos ajustando os parâmetros, enquanto o BXT terminou em menos de um minuto. A conclusão é simples: pelo que vale a pena pagar, paga-se — economiza tempo e o resultado fica ótimo.

Comparação de três processamentos de M1, a Nebulosa do Caranguejo: apenas DBE, deconvolução nativa do PI, BXT com um único clique

(Sobre a introdução completa ao BXT e os pontos a que se deve prestar atenção existe um artigo dedicado, por isso não me estendo aqui.)

Um passeio pelas ferramentas de redução de ruído

NoiseXTerminator (NXT)

O NXT é atualmente a ferramenta paga de redução de ruído com IA mais difundida, e também o ponto de referência ao qual recorro várias vezes neste artigo como base de comparação. A sua evolução de versão em versão ilustra justamente a característica de “iteração contínua” própria das ferramentas de IA.

O problema das estrelas (a era do AI1): no início, ao usar o NXT, se você não adicionasse uma máscara, os núcleos das estrelas RGB eram danificados, e no centro das estrelas de luminância aparecia também um leve Star Fade. Na época, esse problema não tinha solução; Russell mencionou que a plataforma Mac apresentava uma situação semelhante, e o Windows evidentemente também não escapava. Por isso, naquela fase, usar o NXT significava combiná-lo docilmente com uma máscara de estrelas.

Demonstração dos problemas de estrelas causados pelo NXT

Atualização para o AI2 (programa 1.1.4): depois que reportei o problema a Russell, o novo modelo dessa versão atualizada deixava nos núcleos das estrelas RGB apenas uma leve alteração de cor, enquanto o Star Fade nos núcleos das estrelas de luminância havia desaparecido. Aos amigos que usavam o NXT, na época recomendei que atualizassem o quanto antes.

Comparação do estado das estrelas antes e depois da atualização AI2 do NXT 1.1.4

Uma nova evolução para o AI3: a nova versão AI3 traz de fato melhorias na redução de ruído nas altas frequências, mas nas frequências médias e no ruído cromático parece apenas mediana; no estado linear, o efeito sobre as estrelas brilhantes permanece, mas foi muito atenuado. Em resumo — os amigos que compraram o NXT não devem esquecer de fazer o upgrade, pois o desempenho geral do AI3 é realmente superior ao do AI2.

Comparação do efeito de redução de ruído entre NXT AI3 e AI2

DeepSNR

Uma ferramenta de redução de ruído com IA de nova geração para imagens astronômicas, desenvolvida por Nikita Misiura, o autor do StarNet. No momento, ela só oferece suporte a imagens coloridas e precisa ser executada dentro do PixInsight; o seu concorrente direto no mercado é justamente o NXT.

Fiz uma pequena comparação: olhando os resultados no estado linear, da esquerda para a direita estão, na ordem, a imagem original, o resultado do NXT e o resultado do DeepSNR. Pelo que se vê, o DeepSNR se sai muito bem. Outra grande vantagem é que o DeepSNR, no momento, é gratuito.

Comparação dos resultados de redução de ruído de NXT e DeepSNR no estado linear

Nos testes posteriores, na verdade tanto o NXT quanto o DeepSNR se saíram muito bem: comparando os dois resultados com o Blink, já é difícil perceber uma diferença concreta. Daí surge também um juízo prático: o canal de luminância precisa de uma intensidade ainda mais alta? Eu acho que não — com um SNR desses, a fase linear está mais ou menos no ponto ideal. No RGB dá para forçar um pouco mais, mas eu tendo a deixar um pouco de espaço para a fase não linear.

Resultados de NXT e DeepSNR comparados com o Blink — agora difíceis de distinguir

Uma vantagem particular do Adobe CRF Denoise

Para terminar, acrescento um cenário de fotografia geral. Desencavei do disco rígido um arquivo original de céu estrelado feito com uma DSLR (exposição de 30 segundos); a imagem original tinha muitos hot pixels, ou seja, pixels quentes (aqueles pontinhos avermelhados e esverdeados). Normalmente, nós os eliminamos subtraindo os darks e executando a Cosmetic Correction, mas depois de aplicar o CRF Denoise da Adobe os hot pixels foram eliminados de imediato; o NXT, ao contrário, eliminou apenas o ruído e deixou os hot pixels.

Assim, para os amigos que fazem fotografia geral e não vão tirar darks, essa vantagem do CRF Denoise se revela plenamente.

A diferença entre CRF Denoise e NXT no tratamento dos hot pixels em um arquivo original de céu estrelado de uma DSLR

Em resumo

A redução de ruído com IA avançou rapidamente nestes últimos anos, e não há apenas uma ferramenta: o NXT é maduro e continua a iterar, o DeepSNR é gratuito e cômodo de usar, e o CRF tem o seu próprio uso engenhoso no cenário sem darks. Em vez de se obstinar em qual delas é “a mais poderosa”, é melhor guardar dois princípios — aproveitar bem as máscaras e deixar um pouco de espaço na fase linear para o que vem depois. Na redução de ruído, não é verdade que quanto mais forte, melhor; encontrar aquele ponto ideal, é aí que está a habilidade.