AI를 쓰면 마스크는 필요 없을까? NXT가 만들어 내는 별 아티팩트에서 이야기를 시작하다

이 글은 2023년의 노트를 정리한 것으로, 일부 도구나 흐름은 이미 업데이트되었으니 읽으실 때 유의하시기 바랍니다.

전통적으로 별을 망가뜨리는 처리 프로세스는 사실 적지 않습니다. 예를 들어 노이즈 감소, 디컨볼루션, 웨이블릿(Wavelet), LHE 등이 그렇습니다. 그래서 과거에 이런 프로세스를 사용할 때는, 별이 파괴되는 것을 막기 위해 흔히 먼저 별 마스크를 하나 만들어야 했습니다.

AI 관련 프로세스가 등장한 이후로, 별이 파괴되는 일은 상당히 줄었습니다. 별 제거 프로세스 덕분에 먼저 별을 제거하고 배경만 강화할 수 있게 되었습니다. 다만 일부 프로세스는 별을 제거한 이미지로 완료할 수 있다고 볼 수는 없습니다. 예를 들어 전통적인 디컨볼루션은 PSF가 올바르지 않은 별의 중심을 자주 파괴합니다—물론 이 문제는 BXT가 등장한 뒤로 이미 해결된 듯합니다.

그렇다면 AI가 있으면 더 이상 마스크는 필요 없는 걸까요? 최근 저의 한 경험은 그것에 부정적인 답을 주었습니다.

문제: NXT가 선형 상태에서 별 중심을 나쁘게 바꿨다

최근 처리한 이미지가 비선형 상태에서 별 중심에 모두 문제가 있다는 것을 발견했을 때, 저는 몇몇 단계를 거슬러 올라가, 마침내 답을 찾았습니다.

NoiseXTerminator(NXT)는 새로운 세대의 AI 노이즈 감소 도구로, 이미지의 다른 부분에 영향을 주지 않으면서 노이즈를 자동으로 식별하는 것을 내세웁니다. AI 모델 훈련 덕분에 이 프로세스는 확실히 잘 만들어졌습니다. 다만, 저는 이 프로세스를 선형 상태에서 사용하면 색상 별과 명도 별의 중심에 각각 다른 문제를 일으킨다는 것을 발견했습니다. 게다가 이 문제는 뚜렷하지 않아서, 대개 비선형 스트레칭 후에야 알아챌 수 있습니다.

• 색상 별: 비교적 밝은 별의 중심 픽셀이 수정됩니다(그림 위쪽 줄 가운데처럼). 이 상황은 비선형 스트레칭 후에 색이 이상한 아티팩트로 보이게 됩니다.
• 명도 별: 보통 별의 중심이 가장 밝은데, NXT를 사용하면 별 중심의 밝기가 낮아져, 주변이 오히려 중심보다 밝아지고, 중심에 star fade 문제가 생깁니다(그림 아래쪽 줄처럼). 이 문제는 RGB 별에 비하면 덜 뚜렷하지만, 중간 밝기의 별에서는 알아볼 수 있습니다.

해결 방법: AI에도 마스크를 곁들여야 한다

이전에는 원인을 찾아내지 못해서, 저는 늘 마지막에 Photoshop에서 패치 도구로 별 중심을 복구하고, 명도 부분은 밝은 영역을 약간 끌어올려 별 중심을 밝게 만들었습니다.

이제 근원을 찾은 뒤, 제 방법은 이렇습니다. NXT를 사용할 때는 적어도 별 마스크(또는 밝은 영역 오브젝트 마스크)를 함께 쓴다, 전통적인 노이즈 감소와 마찬가지로 말입니다.

이 문제는 제가 이미 Russell Croman에게 보고했습니다. 해결되기 전까지, NXT를 사용할 때는 마스크를 곁들일 것을 권합니다. 또한 여러분도 지금까지 NXT를 사용한 자신의 이미지를 다시 살펴보고, 비슷한 상황이 나타났는지 확인해 보시길 권합니다.