Increasing spectral resolution of hyper spectral images while decreasing spectral variability using deep generative model

Abstract

Hyperspectral imaging has become an indispensable tool for analyzing Earth's surface materials and extracting valuable information in various applications, including environmental monitoring, agriculture, and remote sensing. One fundamental task in hyperspectral analysis is spectral unmixing, which aims to decompose mixed pixel spectra into their constituent endmember spectra and corresponding abundances. Traditional spectral unmixing methods typically rely on linear models, assuming that the mixed pixel spectra are linear combinations of the pure spectral signatures. in this thesis, an approach to enhance the spectral resolution of hyperspectral images while simultaneously reducing spectral variability is explored by proposing a technique called Deep Generative Endmember Modeling (DGEM) applied to unsupervised spectral unmixing. The Linear Mixing Model (LMM) is commonly used for spectral unmixing, which aims to decompose the mixed spectral information in an image into individual pure spectral signatures called endmembers. However, traditional LMM approaches struggle with limited spectral resolution and high spectral variability, which can hinder accurate unmixing results. To address these challenges, a Deep Generative EM is proposed, which leverages deep generative models to learn the underlying structure of the endmembers. By employing a deep neural network architecture which is capable of capturing intricate relationships and generating high-resolution endmembers with reduced spectral variability. The proposed Model framework enhances the spectral resolution of hyperspectral images by estimating high-resolution spectral bands based on the learned endmember representations. Additionally, the generated endmembers exhibit reduced spectral variability, resulting in improved unmixing performance.

Hiperspektral görüntüleme, Dünya'nın yüzey materyallerini analiz etmek ve çevresel izleme, tarım ve uzaktan algılama dahil olmak üzere çeşitli uygulamalarda değerli bilgiler elde etmek için vazgeçilmez bir araç haline gelmiştir. Hiperspektral analizdeki temel görevlerden biri, karışık piksel spektrumlarını kendilerini oluşturan son üye spektrumlarına ve karşılık gelen bolluklara ayrıştırmayı amaçlayan spektral karıştırma işlemidir. Geleneksel spektral karıştırma yöntemleri tipik olarak doğrusal modellere dayanır ve karışık piksel spektrumlarının saf spektral imzaların doğrusal kombinasyonları olduğunu varsayar. Bu tezde, hiperspektral görüntülerin spektral çözünürlüğünü artırırken aynı zamanda spektral değişkenliği azaltmaya yönelik bir yaklaşım, denetimsiz spektral karıştırmaya uygulanan Derin Üretken Uç Üye Modellemesi (DGEM) adı verilen bir teknik önerilerek araştırılmıştır. Doğrusal Karıştırma Modeli (LMM), bir görüntüdeki karışık spektral bilgiyi uç üye adı verilen bireysel saf spektral imzalara ayrıştırmayı amaçlayan spektral karıştırma için yaygın olarak kullanılmaktadır. Bununla birlikte, geleneksel LMM yaklaşımları sınırlı spektral çözünürlük ve yüksek spektral değişkenlik ile mücadele eder ve bu da doğru karıştırma sonuçlarını engelleyebilir. Bu zorlukların üstesinden gelmek için, uç öğelerin altında yatan yapıyı öğrenmek için derin üretken modellerden yararlanan bir Derin Üretken EM önerilmiştir. Karmaşık ilişkileri yakalayabilen ve azaltılmış spektral değişkenliğe sahip yüksek çözünürlüklü uç üyeler üretebilen derin bir sinir ağı mimarisi kullanılarak. Önerilen Model çerçevesi, öğrenilen uç üye temsillerine dayalı olarak yüksek çözünürlüklü spektral bantları tahmin ederek hiperspektral görüntülerin spektral çözünürlüğünü artırmaktadır. Buna ek olarak, üretilen uç üyeler daha az spektral değişkenlik sergileyerek daha iyi karıştırma performansı sağlar.