Github链接:https://github.com/yyyujintang/Awesome-Mamba-Papers/blob/main/README.md
Mamba是一种基于选择性状态空间的线性时间序列建模方法,可以有效地处理长序列数据。这个仓库包含了Mamba及其变体在不同领域的应用,如图像分割、文本摘要、点云分析等。这个仓库还提供了一些其他有用的资源,如Mamba的论文列表和状态空间模型的相关资料。这个仓库由yyyujintang和radarFudan两位贡献者创建和维护。
下面咱们一块看看在短短几个月就能出来这么多研究,看看大家的手速是有多快!!!
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces:这篇论文提出了一种基于选择性状态空间的序列建模方法,称为Mamba。Mamba可以在线性时间内处理任意长度的序列,并且可以捕捉长距离的依赖关系。Mamba的关键技术是使用一个稀疏的状态转移矩阵,来选择性地更新和传递状态信息。Mamba在自然语言处理和计算机视觉的多个任务上取得了优异的性能。
- MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts:这篇论文将混合专家模型(MoE)和选择性状态空间模型(Mamba)结合起来,提出了一种高效的序列建模方法,称为MoE-Mamba。MoE-Mamba利用MoE的多头注意力机制,来增强Mamba的状态选择能力,从而提高模型的表达能力和泛化能力。MoE-Mamba在多个序列建模任务上,超越了Mamba和其他基准模型。
- U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation:这篇论文针对生物医学图像分割任务,提出了一种基于Mamba的U型网络,称为U-Mamba。U-Mamba利用Mamba的选择性状态空间模型,来增强图像的长距离依赖关系,从而提高分割的精度和鲁棒性。U-Mamba在多个生物医学图像分割数据集上,显著优于其他U型网络。
- Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model:这篇论文提出了一种基于双向状态空间模型的视觉表示学习方法,称为Vision Mamba。Vision Mamba使用两个Mamba模型,分别从左到右和从右到左处理图像序列,从而实现双向的状态传递和信息融合。Vision Mamba在图像分类、目标检测和语义分割等任务上,达到了与Transformer相当或更好的效果,同时具有更低的计算复杂度和内存消耗。
- VMamba: Visual State Space Model:这篇论文提出了一种基于状态空间模型的视觉模型,称为VMamba。VMamba使用一个卷积神经网络(CNN)作为编码器,将图像转换为一维的序列,然后使用一个Mamba模型作为解码器,将序列转换为所需的输出。VMamba可以处理不同的视觉任务,如图像分类、图像生成、图像修复等,并且具有较高的效率和灵活性。
- SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation:这篇论文针对三维医学图像分割任务,提出了一种基于Mamba的分割模型,称为SegMamba。SegMamba将三维图像切分为一维的序列,然后使用一个Mamba模型来对序列进行分割。SegMamba可以有效地捕捉三维图像的长距离依赖关系,从而提高分割的质量和一致性。SegMamba在多个三维医学图像分割数据集上,表现出了优越的性能。
- MambaByte: Token-free Selective State Space Model:这篇论文提出了一种无需分词的选择性状态空间模型,称为MambaByte。MambaByte直接使用字节作为序列的基本单元,从而避免了分词的开销和错误。MambaByte使用一个字节级的Mamba模型,来对序列进行建模和生成。MambaByte在文本生成、代码生成和图像生成等任务上,展示了强大的能力和泛化性。
- Vivim: a Video Vision Mamba for Medical Video Object Segmentation:这篇论文针对医学视频对象分割任务,提出了一种基于Mamba的视频视觉模型,称为Vivim。Vivim将视频帧转换为一维的序列,然后使用一个Mamba模型来对序列进行分割。Vivim可以有效地处理视频中的动态变化和遮挡问题,从而提高分割的准确度和鲁棒性。Vivim在多个医学视频对象分割数据集上,取得了最佳的结果。
- MambaMorph: a Mamba-based Backbone with Contrastive Feature Learning for Deformable MR-CT Registration:这篇论文针对可变形的磁共振-计算机断层扫描(MR-CT)配准任务,提出了一种基于Mamba的特征学习方法,称为MambaMorph。MambaMorph使用一个Mamba模型作为特征提取器,将MR和CT图像转换为一维的序列,然后使用一个对比学习的损失函数,来优化特征的相似性和对齐性。MambaMorph可以有效地处理MR和CT图像之间的强度差异和形变变化,从而提高配准的精度和效率。
- LOCOST: State-Space Models for Long Document Abstractive Summarization:这篇论文针对长文档的摘要生成任务,提出了一种基于状态空间模型的方法,称为LOCOST。LOCOST使用一个Mamba模型作为编码器,将长文档转换为一维的序列,然后使用一个Transformer模型作为解码器,将序列转换为摘要。LOCOST可以有效地处理长文档中的信息冗余和结构复杂性,从而提高摘要的简洁性和连贯性。LOCOST在多个长文档摘要生成数据集上,超越了其他方法。
- Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective State Spaces:这篇论文提出了一种基于选择性状态空间的图序列建模方法,称为Graph-Mamba。Graph-Mamba将图结构转换为一维的序列,然后使用一个Mamba模型来对序列进行建模。Graph-Mamba可以有效地处理图序列中的长距离依赖关系和动态变化,从而提高模型的表达能力和泛化能力。Graph-Mamba在多个图序列建模任务上,取得了优异的性能。
- VM-UNet: Vision Mamba UNet for Medical Image Segmentation:这篇论文针对医学图像分割任务,提出了一种基于Mamba的U型网络,称为VM-UNet。VM-UNet使用一个Vision Mamba模型作为编码器,将图像转换为一维的序列,然后使用一个U型网络作为解码器,将序列转换为分割结果。VM-UNet可以有效地处理图像中的长距离依赖关系和细节信息,从而提高分割的精度和鲁棒性。VM-UNet在多个医学图像分割数据集上,显著优于其他U型网络。
- Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining: 这篇论文介绍了一种名为Swin-UMamba的新型Mamba-based模型,专门为医学图像分割任务设计,利用ImageNet-based预训练的优势。实验结果揭示了ImageNet-based训练在提高Mamba-based模型性能方面的重要作用。
- nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark Detection with State Space Model: 这篇论文介绍了nnMamba,这是一种新的架构,它整合了CNNs和State Space Sequence Models (SSMs)的优势。nnMamba将SSMs添加到卷积残差块中以提取局部特征并建模复杂的依赖关系。
- U-shaped Vision Mamba for Single Image Dehazing[^10^]¹¹¹²¹³: 为了解决这个挑战,我们引入了U-shaped Vision Mamba (UVM-Net),这是一个高效的单图像去雾网络。
- Can Mamba Learn How to Learn? A Comparative Study on In-Context Learning Tasks: 这项研究评估了SSMs(主要是Mamba)在各种任务中的ICL性能,并与Transformer模型进行了比较。
- Mamba-ND: Selective State Space Modeling for Multi-Dimensional Data: 这篇论文介绍了Mamba-ND,这是一种将Mamba架构扩展到任意多维数据的通用设计。
- FD-Vision Mamba for Endoscopic Exposure Correction: 为了解决这个问题,设计了一个基于频域的网络,称为FD-Vision Mamba (FDVM-Net),通过重构内窥镜图像的频域来实现高质量的图像曝光校正。
- Semi-Mamba-UNet: Pixel-Level Contrastive Cross-Supervised Visual Mamba-based UNet for Semi-Supervised Medical Image Segmentation: 这篇论文介绍了Semi-Mamba-UNet,它将视觉mamba-based UNet架构与传统的UNet集成到一个半监督学习(SSL)框架中。
- P-Mamba: Marrying Perona Malik Diffusion with Mamba for Efficient Pediatric Echocardiographic Left Ventricular Segmentation: 为了解决这些问题,引入了P-Mamba,用于高效的儿科超声心动图左心室分割。
- Graph Mamba: Towards Learning on Graphs with State Space Models: 一组研究人员引入了Graph-Mamba,这是一种创新的模型,将选择性SSM集成到GraphGPS框架中。
- Hierarchical State Space Models for Continuous Sequence-to-Sequence Modeling: 在这项工作中,提出了分层状态空间模型(HiSS),这是一种连续序列预测的新技术。
- PointMamba: A Simple State Space Model for Point Cloud Analysis: 这篇论文介绍了PointMamba,这是一种简单的状态空间模型,用于点云分析。
- Weak-Mamba-UNet: Visual Mamba Makes CNN and ViT Work Better for Scribble-based Medical Image Segmentation³³: 这篇论文介绍了Weak-Mamba-UNet,这是一种用于基于涂鸦的医学图像分割的视觉Mamba模型。
- Pan-Mamba: Effective pan-sharpening with State Space Model: 这篇论文介绍了Pan-Mamba,这是一种有效的全景锐化状态空间模型。