Learned image SR: advancing in modeling and generative sample selection

Abstract

Super-resolution (SR) is an ill-posed inverse problem focused on reconstructing high-resolution images from low-resolution counterparts by recovering missing details. Despite advancements, SR faces persistent challenges in generalization, balancing fidelity and perceptual quality, mitigating artifacts, and ensuring trustworthy results. This thesis tackles these issues through innovations in model architecture, loss design, and sample selection. Central to our contributions is the use of wavelet loss, which improve the ability of SR models to distinguish genuine details from artifacts. By leveraging these losses in both GAN-based and transformer-based models, we achieve enhanced fidelity and perceptual quality. Furthermore, we augment transformer architectures with convolutional non-local sparse attention blocks and wavelet-based training, delivering state-of-the-art performance across diverse datasets. For generative models, we address the challenge of selecting a single trustworthy solution from the diverse outputs generated by flow-based and diffusion-based models. We propose image fusion strategies for flow-based models to optimize the perception-distortion trade-off and introduce human-in-the-loop and vision-language model-guided approaches for selecting reliable diffusion model samples. These strategies provide scalable, automated solutions that match or surpass human assessments in generating trustworthy SR outputs. This thesis presents comprehensive advancements in SR methodologies, spanning both regressive and generative paradigms. By introducing novel frameworks and scalable solutions, it sets new benchmarks for reliability, efficiency, and visual quality in SR, with promising implications for real-world applications, including medical imaging, satellite imagery, and digital content enhancement.

Süper çözünürlük (SÇ), düşük çözünürlüklü görüntülerden kayıp detayları geri kazanarak yüksek çözünürlüklü görüntüler oluşturmayı amaçlayan, iyi tanımlanmamış bir ters problemdir. Gelişmelere rağmen, SÇ hala genelleme, algısal kaliteyi dengeleme, yapay detay ve bozulmaları azaltma ve güvenilir sonuçlar elde etme konularında zorluklarla karşılaşmaktadır. Bu tez, model mimarisi, kayıp tasarımı ve örnek seçimi alanlarında yenilikçi yaklaşımlar sunarak bu zorlukları ele almaktadır. Katkılarımızın merkezinde, SÇ modellerinin gerçek detayları yapay artefaktlardan ayırt etme yeteneğini artıran dalgacık alanındaki kayıpların kullanımı yer almaktadır. Bu kayıpları hem GAN tabanlı hem de dönüştürücü (transformer) tabanlı modellerde kullanarak, algısal kaliteyi artırmayı başardık. Ayrıca, transformer mimarilerini evrişimsel yerel olmayan seyrek dikkat blokları ve dalgacık tabanlı eğitimle destekleyerek, algılama alanlarını önemli ölçüde genişletiyor ve çeşitli veri kümelerinde son teknoloji performansı sağlıyoruz. Üretici modeller için, akış (flow) ve yayılma (diffusion) tabanlı modellerin ürettiği çeşitli çıktılar arasından tek bir güvenilir çözüm seçme sorununu ele alıyoruz. Akış tabanlı modeller için algı-bozulma dengesini optimize etmek amacıyla görüntü birleştirme stratejileri öneriyor; yayılma tabanlı modeller için güvenilir örnekleri seçmek adına insan geri bildirimi ve görsel-dil modeli (VLM) rehberli yaklaşımlar sunuyoruz. Bu stratejiler, güvenilir SR çıktıları oluştururken insan değerlendirmeleriyle uyumlu ve hatta onları aşabilen ölçeklenebilir ve otomatik çözümler sağlamaktadır. Bu tez, hem regresif hem de üretici paradigmaları kapsayan SÇ metodolojilerinde kapsamlı ilerlemeler sunmaktadır. Yenilikçi çerçeveler ve ölçeklenebilir çözümler sunarak, SÇ alanında güvenilirlik, verimlilik ve görsel kalite için yeni standartlar belirlemekte ve tıbbi görüntüleme, uydu görüntüleri ve dijital içerik geliştirme gibi gerçek dünya uygulamaları için umut vadeden sonuçlar ortaya koymaktadır.