高光谱遥感图像分类

目录

• 高光谱图像分类必看综述
• 一些经典深度学习 HSIC 方法
  • Base On CNN
  • Base on Transfomer
  • Unsupervised methods
  • Else
• 高光谱遥感图像分类数据集
  • 📑 Indian Pines Dataset
  • 📑 Salinas Dataset
  • 📑 Pavia Centre and University Dataset
  • 📑 Kennedy Space Center Dataset
  • 📑 Botswana Dataset
  • 📑 WashingtonDC Dataset
  • 📑 Houston Dataset
  • 📑 DFC2018 Houston Dataset
  • 📑 雄安马蹄湾村数据集
  • 📑 WHU-Hi Dataset
  • 📑 Fanglu Tea Farm
  • 📑 其他数据集

高光谱图像分类必看综述

• Recent Advances on Spectral–Spatial Hyperspectral Image Classification: An Overview and New Guidelines - 2017
• Deep Learning for Hyperspectral Image Classification: An Overview - 2019
• Hyperspectral Image Classification—Traditional to Deep Models: A Survey for Future Prospects - 2021

一些经典深度学习 HSIC 方法

Base On CNN

• Deep Convolutional Neural Networks for Hyperspectral Image Classification 最早使用 1 维卷积神经网络对高光谱图像进行分类，但是用的是一维卷积提取光谱特征 - 2015
• Hyperspectral imagery classification using sparse representations of convolutional neural network features 利用二维CNN通过稀疏表示来提取空间-光谱特征 -2016
• Dual-Channel Densenet for Hyperspectral Image Classification 首次使用双通道卷积神经网络来处理高光谱遥感图像。其网络模型使用1D-CNN来提取光谱特征，2D-CNN来提取空间特征。综合两种特征进行分类，取得了很好的效果。- 2018
• Hyperspectral classification based on Siamese neural network using spectral-spatial feature 同年，孪生神经网络(siamese neural network, SNN)也被应用于高光谱图像分类。SNN的结构也为双通道，并且两个通道通过权值共享来实现“孪生”，然后通过具有给定标签的线性全连接层来学习两个深层特征之间的绝对差异, 实现分类。 - 2018
• Deep Feature Extraction and Classification of Hyperspectral Images Based on Convolutional Neural Networks - 2016，很经典的 3D-CNN 提出，后面很多方法做实验都拿这个方法做对比
• Multi-scale 3D deep convolutional neural network for hyperspectral image classification - 2017，M3D-CNN
• 联合空-谱信息的高光谱影像深度三维卷积网络分类，Res-3D-CNN，实现了高层次特征的提取,增强了网络的特征表达能力。
• Spectral–Spatial Residual Network for Hyperspectral Image Classification: A 3-D Deep Learning Framework - 2017，利用连续的残差模块分别学习光谱和空间特征,该方法相较于上述方法有效地提高了分类精度。
• HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification，结合 2D-CNN 和 3D-CNN 的优点进行混合使用，相比 SSRN 的可训练参数是多了很多的，但是最后分类精度很高，但是缺点就是所需的样本数很多，但是这也是 HSIC 所面临的一个主要问题。- 2019
• A Fast Dense Spectral–Spatial Convolution Network Framework for Hyperspectral Images Classification，提出 FDSSC 网络，将 DenseNet 用于 HSIC。- 2018
• 利用残差密集网络的高光谱图像分类 结合残差网络和密集网络设计了残差密集网络模型(ResDenNet),该模型充分利用了所有分层特征,增强了分类方法的稳定性。 - 2019

（待补充）..

Base on Transfomer

• SpectralFormer: Rethinking Hyperspectral Image Classification With Transformers
• Spectral–Spatial Feature Tokenization Transformer for Hyperspectral Image Classification
• Hyperspectral Image Classification Using Group-Aware Hierarchical Transformer

Unsupervised methods

• Unsupervised Spectral-Spatial Feature Learning via Deep Residual Conv-Deconv Network for Hyperspectral Image Classification
• Unsupervised Spatial–Spectral Feature Learning by 3D Convolutional Autoencoder for Hyperspectral Classification
• Unsupervised Spatial-Spectral CNN-Based Feature Learning for Hyperspectral Image Classification
• SC-EADNet: A Self-Supervised Contrastive Efficient Asymmetric Dilated Network for Hyperspectral Image Classification
• Unsupervised Spectral–Spatial Semantic Feature Learning for Hyperspectral Image Classification
• SpectralDiff: A Generative Framework for Hyperspectral Image Classification with Diffusion Models Diffusion Model
• When Hyperspectral Image Classification Meets Diffusion Models: An Unsupervised Feature Learning Framework

Else

• Graph Convolutional Networks for Hyperspectral Image Classification 图卷积神经网络在高光谱图像分类的应用
• SSTN: Spectral-Spatial Transformer Network for Hyperspectral Image Classification: A FAS Framework Transformer 在 HSIC 中的应用，首先利用 CNN 提取每一个通道的空间信息，然后再将通道位置进行编码输入到 Transformer 中提取通道之间的光谱依赖性，最后用 MLP 对其进行分类。
• Hyperspectral Classification Based on Lightweight 3-D-CNN With Transfer Learning 针对 DL 在 HSIC 遭遇的样本数较少以及过多参数造成过拟合问题，提出了端到端的 3D 轻量级卷积网络，此外针对小样本问题，引入两种迁移学习的策略。

（待补充...）

高光谱遥感图像分类数据集

📑 Indian Pines Dataset

Indian Pines 数据集是最早用来 HSIC 的 数据集，由机载可视红外成像光谱仪 AVIRIS 于 1992 年对美国印第安纳州一块印度松树进行成像，截取尺寸为 $145 \times 145$ 的大小进行标注作为 HSIC 用途。可以下载到三个文件下：Indian_pines.mat、Indian_pines_corrected、Indian_pines_gt.mat。但实际上用到的会是后两个，第一个是完整的 Indian PInes 数据集，但是里面第 104-108，第 150-163 和第 220 个波段不能被水反射，因此，我们一般使用的是剔除了这 20 个波段后剩下的 200 个波段作为研究的对象。

📑 Salinas Dataset

• Salinas 数据集也是是由 AVIRIS 传感器获得的，对加利福尼亚州萨利纳斯谷上空进行成像，数据空间大小为 $512 \times 217$，和 Indian Pines 场景一样，丢弃了无效的 20 个波段，包含 204 个有效波段。该场景有着 16 类地物。
• Salinas-A Scene 是 Salina 图像中的一个小场景，有时候也会被使用，数据空间大小为 $86 \times 83$，包括六个类别。

📑 Pavia Centre and University Dataset

这是 ROSIS 传感器在意大利北部帕维亚的一次飞行活动中获取的两个场景。传感器一共有 115 个波段，经过处理后，Pavia University 数据有103个波段；Pavia Center 数据有 102 个波段。虽然两幅影像都有 9 个地物类别，但这两幅影像的类别不完全一致。

📑 Kennedy Space Center Dataset

Kennedy Space Center 数据集是由 AVIRIS 传感器于 1996 年在佛罗里达州肯尼迪太空中心成像，原数据含有 224 个波段，去除一些吸水和低信噪比波段后，包含 176 个有效波段。

📑 Botswana Dataset

Botswana 数据集是由星载 NASA EO-1 传感器 2001 ~2004 年在 Botswana 三角洲上空采集的一系列数据， 原数据集含有 242 个波段，去除吸水和噪声波段后，包含 145个有效波段。该场景有着14类地物。

📑 WashingtonDC Dataset

WashingtonDC 数据集是由 机载 Hydice 传感器于 2013 年在华盛顿特区购物中心上空获得， 原数据含有 210 个波段，丢弃了大气不透明的 0.9μm 和 1,4 μm 区域中的波段，包含 191 个有效波段，7 种地物分类。

📑 Houston Dataset

Houston 数据集是由 ITRES CASI 传感器于 2013获得的，包含144个有效波段。该场景有着 15 类地物。该数据集需要申请。

📑 DFC2018 Houston Dataset

该数据集是由多传感器数据，包含 48 个有效波段。该场景有着 20类 地物。好像也是要申请。

📑 雄安马蹄湾村数据集

国内数据集。由中国科学院上海技术物理研究所研制高分专项航空系统全谱段多模态成像光谱仪采集，光谱范围为 400—1000 nm，波段 250 个，影像大小为 3750×1580 像元，空间分辨率0.5 m；同步实地调研地类分布 19种，包括水稻茬、草地、榆树、白蜡、国槐、菜地、杨树、大豆、刺槐、水稻、水体、柳树、复叶槭、栾树、桃树、玉米、梨树、荷叶、建筑。利用随机森林分类方法对该数据进行了分类验证，分类精度可达97%。

📑 WHU-Hi Dataset

武汉大学测绘遥感信息工程国家重点实验室 RSIDEA 团队构建了一套公开共享的高光谱高空间(双高)遥感影像地物精细分类数据集 WHU-Hi，该数据集同时具有纳米级光谱分辨率和厘米级空间分辨率，农作物种类最高十八种以上，通过对像素分类、面向对象分类、条件随机场、深度学习分类器进行的标准测试，为高光谱遥感地物精细分类提供了新的数据集和算法基准。

WHU-Hi 数据集共包含三个典型场景的数据，分别是 WHU-Hi-Longkou 数据（作物种类少的简单农业场景），WHU-Hi-HongHu 数据（作物种类多而复杂的农业场景），WHU-Hi-HanChuan数据（城乡结合区域的农业场景）。

📑 Fanglu Tea Farm

该数据集采集于中国常州芳露茶场，包括高光谱遥感影像和同步地面调查数据。高光谱遥感图像由气溶胶推扫式高光谱成像仪（PHI）获取，图像中心位于119°22′53″E，31°40′39″N。它由 $348 \times 512$ 像素组成；空间分辨率为 2.25 m。

📑 其他数据集

更多数据集可参考：

• Hyperspectral Remote Sensing Scenes
• 深度学习 遥感影像数据集汇总
• 高光谱遥感数据集 - 遥感学报
• 高光谱遥感影像数据集汇总
• Remote Sensing Datasets