.YOLO-Worldconfigspretrainyolo_world_v2_l_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_1280ft_lvis_minival.py
代码语言：javascript
复制# 设置基础配置文件路径
_base_ = ('../../third_party/mmyolo/configs/yolov8/'
'yolov8_l_syncbn_fast_8xb16-500e_coco.py')
# 自定义导入模块配置
custom_imports = dict(imports=['yolo_world'],
allow_failed_imports=False)
# 超参数设置
num_classes = 1203
num_training_classes = 80
max_epochs = 20 # 最大训练轮数
close_mosaic_epochs = 2
save_epoch_intervals = 2
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-4
weight_decay = 0.025
train_batch_size_per_gpu = 4
load_from = "pretrained_models/yolo_world_v2_l_obj365v1_goldg_pretrain-a82b1fe3.pth"
img_scale = (1280, 1280)
# 模型设置
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=['all'])),
neck=dict(type='YOLOWorldPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv')),
bbox_head=dict(type='YOLOWorldHead',
head_module=dict(type='YOLOWorldHeadModule',
use_bn_head=True,
embed_dims=text_channels,
num_classes=num_training_classes)),
train_cfg=dict(assigner=dict(num_classes=num_training_classes)))
# 数据集设置
text_transform = [
# 定义一个字典，包含参数 type、num_neg_samples、max_num_samples、padding_to_max 和 padding_value
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes),
max_num_samples=num_training_classes,
padding_to_max=True,
padding_value=''),
# 定义一个字典，包含参数 type 和 meta_keys
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts'))
# train_pipeline 列表定义，包含一系列数据处理步骤
train_pipeline = [
*_base_.pre_transform, # 将_base_.pre_transform中的元素添加到train_pipeline中
dict(type='MultiModalMosaic', # 使用MultiModalMosaic进行数据增强
img_scale=img_scale, # 图像缩放比例
pad_val=114.0, # 填充值
pre_transform=_base_.pre_transform), # 预处理步骤
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5RandomAffine进行数据增强
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border=(-img_scale[0] // 2, -img_scale[1] // 2), # 边界
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 将_base_.last_transform中的元素添加到train_pipeline中，除了最后一个元素
*text_transform, # 将text_transform中的元素添加到train_pipeline中
]
# train_pipeline_stage2 列表定义，包含一系列数据处理步骤
train_pipeline_stage2 = [
*_base_.pre_transform, # 将_base_.pre_transform中的元素添加到train_pipeline_stage2中
dict(type='YOLOv5KeepRatioResize', scale=img_scale), # 使用YOLOv5KeepRatioResize进行数据增强
dict(
type='LetterResize', # 使用LetterResize进行数据增强
scale=img_scale, # 图像缩放比例
allow_scale_up=True, # 允许缩放
pad_val=dict(img=114.0)), # 图像填充值
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5RandomAffine进行数据增强
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 将_base_.last_transform中的元素添加到train_pipeline_stage2中，除了最后一个元素
*text_transform # 将text_transform中的元素添加到train_pipeline_stage2中
]
# obj365v1_train_dataset 字典定义，包含数据集相关信息和数据处理步骤
obj365v1_train_dataset = dict(
type='MultiModalDataset', # 多模态数据集
dataset=dict(
type='YOLOv5Objects365V1Dataset', # 使用YOLOv5Objects365V1Dataset数据集
data_root='data/objects365v1/', # 数据根目录
ann_file='annotations/objects365_train.json', # 标注文件
data_prefix=dict(img='train/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32)), # 过滤配置
class_text_path='data/texts/obj365v1_class_texts.json', # 类别文本路径
pipeline=train_pipeline # 数据处理步骤
)
# mg_train_dataset 字典定义，包含数据集相关信息和数据处理步骤
mg_train_dataset = dict(type='YOLOv5MixedGroundingDataset', # 使用YOLOv5MixedGroundingDataset数据集
data_root='data/mixed_grounding/', # 数据根目录
ann_file='annotations/final_mixed_train_no_coco.json', # 标注文件
data_prefix=dict(img='gqa/images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32), # 过滤配置
pipeline=train_pipeline # 数据处理步骤
)
# flickr_train_dataset 字典定义，包含数据集相关信息和数据处理步骤
flickr_train_dataset = dict(
type='YOLOv5MixedGroundingDataset',
# 数据根目录
data_root='data/flickr/',
# 注释文件路径
ann_file='annotations/final_flickr_separateGT_train.json',
# 数据前缀，包含图片路径
data_prefix=dict(img='full_images/'),
# 过滤配置，包含是否过滤空的 ground truth 和最小尺寸限制
filter_cfg=dict(filter_empty_gt=True, min_size=32),
# 训练管道
pipeline=train_pipeline)
# 定义训练数据加载器，设置批量大小、数据集拼接方式、数据集列表和忽略的键
train_dataloader = dict(batch_size=train_batch_size_per_gpu,
collate_fn=dict(type='yolow_collate'),
dataset=dict(_delete_=True,
type='ConcatDataset',
datasets=[
obj365v1_train_dataset,
flickr_train_dataset, mg_train_dataset
],
ignore_keys=['classes', 'palette']))
# 定义测试数据处理流程，包括加载图像、YOLOv5保持比例缩放、LetterResize、加载标注、加载文本和打包检测输入
test_pipeline = [
dict(type='LoadImageFromFile'),
dict(type='YOLOv5KeepRatioResize', scale=img_scale),
dict(
type='LetterResize',
scale=img_scale,
allow_scale_up=False,
pad_val=dict(img=114)),
dict(type='LoadAnnotations', with_bbox=True, _scope_='mmdet'),
dict(type='LoadText'),
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts'))
]
# 定义COCO验证数据集，设置数据集类型、数据根目录、测试模式、标注文件、数据前缀和批量形状配置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_minival_inserted_image_name.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
class_text_path='data/texts/lvis_v1_class_texts.json',
pipeline=test_pipeline)
# 定义验证数据加载器，设置数据集为COCO验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将测试数据加载器设置为验证数据加载器
test_dataloader = val_dataloader
# 定义验证评估器，设置评估类型为bbox，标注文件为LVIS标注文件
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_minival_inserted_image_name.json',
metric='bbox')
# 将测试评估器设置为验证评估器
test_evaluator = val_evaluator
# 训练设置，包括默认钩子和自定义钩子
default_hooks = dict(param_scheduler=dict(max_epochs=max_epochs),
checkpoint=dict(interval=save_epoch_intervals,
rule='greater'))
custom_hooks = [
# 创建一个字典，包含EMAHook的相关参数
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
# 创建一个字典，包含PipelineSwitchHook的相关参数
dict(type='mmdet.PipelineSwitchHook',
# 计算切换pipeline的时机，根据最大训练轮数和关闭mosaic的轮数计算得出
switch_epoch=max_epochs - close_mosaic_epochs,
# 设置切换后的pipeline为train_pipeline_stage2
switch_pipeline=train_pipeline_stage2)
# 创建一个字典，包含训练配置参数，如最大训练轮数、验证间隔等
train_cfg = dict(max_epochs=max_epochs,
val_interval=10,
dynamic_intervals=[((max_epochs - close_mosaic_epochs),
_base_.val_interval_stage2)])
# 创建一个字典，包含优化器的配置参数，如优化器类型、学习率、权重衰减等
optim_wrapper = dict(optimizer=dict(
_delete_=True,
type='AdamW',
lr=base_lr,
weight_decay=weight_decay,
batch_size_per_gpu=train_batch_size_per_gpu),
paramwise_cfg=dict(bias_decay_mult=0.0,
norm_decay_mult=0.0,
custom_keys={
'backbone.text_model':
dict(lr_mult=0.01),
'logit_scale':
dict(weight_decay=0.0)
}),
constructor='YOLOWv5OptimizerConstructor')
.YOLO-Worldconfigspretrainyolo_world_v2_l_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py
代码语言：javascript
复制_base_ = ('../../third_party/mmyolo/configs/yolov8/'
'yolov8_l_syncbn_fast_8xb16-500e_coco.py')
custom_imports = dict(imports=['yolo_world'],
allow_failed_imports=False)
# 定义基础配置文件路径
# 定义自定义导入模块和是否允许导入失败
# hyper-parameters
num_classes = 1203
num_training_classes = 80
max_epochs = 100 # Maximum training epochs
close_mosaic_epochs = 2
save_epoch_intervals = 2
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-3
weight_decay = 0.05 / 2
train_batch_size_per_gpu = 16
# 定义超参数
# 定义类别数量、训练类别数量、最大训练轮数、关闭mosaic的轮数、保存模型的间隔轮数、文本通道数、neck嵌入通道数、neck头数、基础学习率、权重衰减、每GPU的训练批次大小
# model settings
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=['all'])),
neck=dict(type='YOLOWorldPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv')),
bbox_head=dict(type='YOLOWorldHead',
head_module=dict(type='YOLOWorldHeadModule',
use_bn_head=True,
embed_dims=text_channels,
num_classes=num_training_classes)),
train_cfg=dict(assigner=dict(num_classes=num_training_classes)))
# 定义模型设置
# 定义模型类型、是否使用neck、训练类别数量、测试类别数量、数据预处理器、骨干网络、neck、bbox头、训练配置
# dataset settings
text_transform = [
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes),
max_num_samples=num_training_classes,
padding_to_max=True,
padding_value=''),
# 定义数据集设置
# 定义文本转换器
# 创建一个字典对象，包含指定的键值对
dict(type='mmdet.PackDetInputs',
# 定义元数据的键名元组
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts'))
# 定义训练管道，包含一系列数据处理和增强操作
train_pipeline = [
*_base_.pre_transform, # 使用基础预处理操作
dict(type='MultiModalMosaic', # 使用多模态马赛克操作
img_scale=_base_.img_scale, # 图像缩放比例
pad_val=114.0, # 填充值
pre_transform=_base_.pre_transform), # 预处理操作
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5随机仿射变换操作
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border=(-_base_.img_scale[0] // 2, -_base_.img_scale[1] // 2), # 边界
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 使用基础最后的转换操作
*text_transform, # 文本转换操作
]
# 定义第二阶段的训练管道
train_pipeline_stage2 = [*_base_.train_pipeline_stage2[:-1], *text_transform]
# 定义obj365v1训练数据集
obj365v1_train_dataset = dict(
type='MultiModalDataset', # 多模态数据集类型
dataset=dict(
type='YOLOv5Objects365V1Dataset', # 使用YOLOv5 Objects365V1数据集
data_root='data/objects365v1/', # 数据根目录
ann_file='annotations/objects365_train.json', # 标注文件
data_prefix=dict(img='train/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32)), # 过滤配置
class_text_path='data/texts/obj365v1_class_texts.json', # 类别文本路径
pipeline=train_pipeline) # 数据处理管道
# 定义mg训练数据集
mg_train_dataset = dict(type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/mixed_grounding/', # 数据根目录
ann_file='annotations/final_mixed_train_no_coco.json', # 标注文件
data_prefix=dict(img='gqa/images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义flickr训练数据集
flickr_train_dataset = dict(
type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/flickr/', # 数据根目录
ann_file='annotations/final_flickr_separateGT_train.json', # 标注文件
data_prefix=dict(img='full_images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=True, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义训练数据加载器，设置批量大小、数据集拼接方式、数据集列表和忽略的键
train_dataloader = dict(batch_size=train_batch_size_per_gpu,
collate_fn=dict(type='yolow_collate'),
dataset=dict(_delete_=True,
type='ConcatDataset',
datasets=[
obj365v1_train_dataset,
flickr_train_dataset, mg_train_dataset
],
ignore_keys=['classes', 'palette']))
# 定义测试数据处理流程，包括加载文本和打包检测输入
test_pipeline = [
*_base_.test_pipeline[:-1],
dict(type='LoadText'),
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts'))
]
# 定义 COCO 验证数据集，设置数据集类型、根目录、测试模式、注释文件、数据前缀和批量形状配置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_minival_inserted_image_name.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
class_text_path='data/texts/lvis_v1_class_texts.json',
pipeline=test_pipeline)
# 定义验证数据加载器，设置数据集为 COCO 验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将测试数据加载器设置为验证数据加载器
test_dataloader = val_dataloader
# 定义验证评估器，设置评估类型为 LVIS 检测指标，注释文件为 LVIS 最小验证集的插入图像名称文件
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_minival_inserted_image_name.json',
metric='bbox')
# 将测试评估器设置为验证评估器
test_evaluator = val_evaluator
# 训练设置
# 默认钩子，设置参数调度器和检查点保存间隔
default_hooks = dict(param_scheduler=dict(max_epochs=max_epochs),
checkpoint=dict(interval=save_epoch_intervals,
rule='greater'))
# 自定义钩子，设置指数动量 EMA 钩子的参数
custom_hooks = [
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
# 创建一个字典，包含PipelineSwitchHook的相关参数
dict(type='mmdet.PipelineSwitchHook',
# 设置切换pipeline的时机为最大训练轮数减去关闭mosaic的轮数
switch_epoch=max_epochs - close_mosaic_epochs,
# 设置切换的pipeline为train_pipeline_stage2
switch_pipeline=train_pipeline_stage2)
# 创建一个字典，包含训练配置参数
train_cfg = dict(max_epochs=max_epochs, # 最大训练轮数
val_interval=10, # 验证间隔
dynamic_intervals=[((max_epochs - close_mosaic_epochs), # 动态间隔
_base_.val_interval_stage2)]) # 验证阶段2的间隔设置
# 定义优化器包装器的配置参数
optim_wrapper = dict(optimizer=dict(
_delete_=True, # 删除原有的优化器配置
type='AdamW', # 优化器类型为AdamW
lr=base_lr, # 学习率
weight_decay=weight_decay, # 权重衰减
batch_size_per_gpu=train_batch_size_per_gpu), # 每个GPU的批处理大小
paramwise_cfg=dict(bias_decay_mult=0.0, # 偏置项衰减倍数
norm_decay_mult=0.0, # 归一化层衰减倍数
custom_keys={ # 自定义键值对
'backbone.text_model': # 文本模型的键
dict(lr_mult=0.01), # 学习率倍数
'logit_scale': # 输出层缩放的键
dict(weight_decay=0.0) # 输出层权重衰减
}),
constructor='YOLOWv5OptimizerConstructor') # 构造函数为YOLOWv5OptimizerConstructor
.YOLO-Worldconfigspretrainyolo_world_v2_m_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py
代码语言：javascript
复制_base_ = ('../../third_party/mmyolo/configs/yolov8/'
'yolov8_m_syncbn_fast_8xb16-500e_coco.py')
custom_imports = dict(imports=['yolo_world'],
allow_failed_imports=False)
# 定义基础配置文件路径
# 定义自定义导入模块和是否允许导入失败
# hyper-parameters
num_classes = 1203
num_training_classes = 80
max_epochs = 100 # Maximum training epochs
close_mosaic_epochs = 2
save_epoch_intervals = 2
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-3
weight_decay = 0.05 / 2
train_batch_size_per_gpu = 16
# 定义超参数
# 定义类别数量、训练类别数量、最大训练轮数、关闭mosaic的轮数、保存模型的间隔轮数、文本通道数、neck嵌入通道数、neck头数、基础学习率、权重衰减、每GPU训练批次大小
# model settings
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=['all'])),
neck=dict(type='YOLOWorldPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv')),
bbox_head=dict(type='YOLOWorldHead',
head_module=dict(type='YOLOWorldHeadModule',
use_bn_head=True,
embed_dims=text_channels,
num_classes=num_training_classes)),
train_cfg=dict(assigner=dict(num_classes=num_training_classes)))
# 定义模型设置
# 定义模型类型、是否使用neck、训练类别数量、测试类别数量、数据预处理器、骨干网络、neck、bbox头、训练配置
# dataset settings
text_transform = [
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes),
max_num_samples=num_training_classes,
padding_to_max=True,
padding_value=''),
# 定义数据集设置
# 定义文本转换器，随机加载文本、负样本数量、最大样本数量、是否填充到最大长度、填充值
# 创建一个字典对象，包含指定的键值对
dict(type='mmdet.PackDetInputs',
# 定义元数据的键名元组
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts'))
# 定义训练管道，包含一系列数据处理和增强操作
train_pipeline = [
*_base_.pre_transform, # 使用基础预处理操作
dict(type='MultiModalMosaic', # 使用多模态马赛克操作
img_scale=_base_.img_scale, # 图像缩放比例
pad_val=114.0, # 填充值
pre_transform=_base_.pre_transform), # 预处理操作
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5随机仿射变换操作
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border=(-_base_.img_scale[0] // 2, -_base_.img_scale[1] // 2), # 边界
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 使用基础最后的转换操作
*text_transform, # 文本转换操作
]
# 定义第二阶段的训练管道
train_pipeline_stage2 = [*_base_.train_pipeline_stage2[:-1], *text_transform]
# 定义obj365v1训练数据集
obj365v1_train_dataset = dict(
type='MultiModalDataset', # 多模态数据集类型
dataset=dict(
type='YOLOv5Objects365V1Dataset', # 使用YOLOv5 Objects365V1数据集
data_root='data/objects365v1/', # 数据根目录
ann_file='annotations/objects365_train.json', # 标注文件
data_prefix=dict(img='train/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32)), # 过滤配置
class_text_path='data/texts/obj365v1_class_texts.json', # 类别文本路径
pipeline=train_pipeline) # 数据处理管道
# 定义mg训练数据集
mg_train_dataset = dict(type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/mixed_grounding/', # 数据根目录
ann_file='annotations/final_mixed_train_no_coco.json', # 标注文件
data_prefix=dict(img='gqa/images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义flickr训练数据集
flickr_train_dataset = dict(
type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/flickr/', # 数据根目录
ann_file='annotations/final_flickr_separateGT_train.json', # 标注文件
data_prefix=dict(img='full_images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=True, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义训练数据加载器，设置批量大小、数据集拼接方式、数据集列表和忽略的键
train_dataloader = dict(batch_size=train_batch_size_per_gpu,
collate_fn=dict(type='yolow_collate'),
dataset=dict(_delete_=True,
type='ConcatDataset',
datasets=[
obj365v1_train_dataset,
flickr_train_dataset, mg_train_dataset
],
ignore_keys=['classes', 'palette']))
# 定义测试数据处理流程，包括加载文本和打包检测输入
test_pipeline = [
*_base_.test_pipeline[:-1],
dict(type='LoadText'),
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts'))
]
# 定义 COCO 验证数据集，设置数据集类型、根目录、测试模式、注释文件、数据前缀和批量形状配置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_minival_inserted_image_name.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
class_text_path='data/texts/lvis_v1_class_texts.json',
pipeline=test_pipeline)
# 定义验证数据加载器，设置数据集为 COCO 验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将测试数据加载器设置为验证数据加载器
test_dataloader = val_dataloader
# 定义验证评估器，设置评估类型为 LVIS 检测指标，注释文件为 LVIS 最小验证集的插入图像名称文件
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_minival_inserted_image_name.json',
metric='bbox')
# 将测试评估器设置为验证评估器
test_evaluator = val_evaluator
# 训练设置
# 默认钩子，设置参数调度器和检查点保存间隔
default_hooks = dict(param_scheduler=dict(max_epochs=max_epochs),
checkpoint=dict(interval=save_epoch_intervals,
rule='greater'))
# 自定义钩子，设置指数动量 EMA 钩子的参数
custom_hooks = [
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
# 创建一个字典，包含PipelineSwitchHook的相关参数
dict(type='mmdet.PipelineSwitchHook',
# 设置切换pipeline的时机为最大训练轮数减去关闭mosaic的轮数
switch_epoch=max_epochs - close_mosaic_epochs,
# 设置切换的pipeline为train_pipeline_stage2
switch_pipeline=train_pipeline_stage2)
# 创建一个字典，包含训练配置参数
train_cfg = dict(max_epochs=max_epochs, # 最大训练轮数
val_interval=10, # 验证间隔
dynamic_intervals=[((max_epochs - close_mosaic_epochs), # 动态间隔
_base_.val_interval_stage2)]) # 验证阶段2的间隔设置
# 定义优化器包装器的配置参数
optim_wrapper = dict(optimizer=dict(
_delete_=True, # 删除原有的优化器配置
type='AdamW', # 优化器类型为AdamW
lr=base_lr, # 学习率
weight_decay=weight_decay, # 权重衰减
batch_size_per_gpu=train_batch_size_per_gpu), # 每个GPU的批处理大小
paramwise_cfg=dict(bias_decay_mult=0.0, # 偏置项衰减倍数
norm_decay_mult=0.0, # 归一化层衰减倍数
custom_keys={ # 自定义键值对
'backbone.text_model': # 文本模型的键
dict(lr_mult=0.01), # 学习率倍数
'logit_scale': # 输出层缩放的键
dict(weight_decay=0.0) # 输出层权重衰减
}),
constructor='YOLOWv5OptimizerConstructor') # 构造函数为YOLOWv5OptimizerConstructor
.YOLO-Worldconfigspretrainyolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py
代码语言：javascript
复制# 基础配置文件路径
_base_ = ('../../third_party/mmyolo/configs/yolov8/'
'yolov8_s_syncbn_fast_8xb16-500e_coco.py')
# 自定义导入配置
custom_imports = dict(imports=['yolo_world'],
allow_failed_imports=False)
# 超参数设置
num_classes = 1203
num_training_classes = 80
max_epochs = 100 # 最大训练轮数
close_mosaic_epochs = 2
save_epoch_intervals = 2
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-3
weight_decay = 0.05 / 2
train_batch_size_per_gpu = 16
# 模型设置
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=['all'])),
neck=dict(type='YOLOWorldPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv')),
bbox_head=dict(type='YOLOWorldHead',
head_module=dict(type='YOLOWorldHeadModule',
use_bn_head=True,
embed_dims=text_channels,
num_classes=num_training_classes)),
train_cfg=dict(assigner=dict(num_classes=num_training_classes)))
# 数据集设置
text_transform = [
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes),
max_num_samples=num_training_classes,
padding_to_max=True,
padding_value=''),
# 创建一个字典对象，包含指定的键值对
dict(type='mmdet.PackDetInputs',
# 定义元数据的键名元组
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts'))
# 定义训练管道，包含一系列数据处理和增强操作
train_pipeline = [
*_base_.pre_transform, # 使用基础预处理操作
dict(type='MultiModalMosaic', # 使用多模态马赛克操作
img_scale=_base_.img_scale, # 图像缩放比例
pad_val=114.0, # 填充值
pre_transform=_base_.pre_transform), # 预处理操作
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5随机仿射变换操作
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border=(-_base_.img_scale[0] // 2, -_base_.img_scale[1] // 2), # 边界
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 使用基础最后的转换操作
*text_transform, # 文本转换操作
]
# 定义第二阶段的训练管道
train_pipeline_stage2 = [*_base_.train_pipeline_stage2[:-1], *text_transform]
# 定义obj365v1训练数据集
obj365v1_train_dataset = dict(
type='MultiModalDataset', # 多模态数据集类型
dataset=dict(
type='YOLOv5Objects365V1Dataset', # 使用YOLOv5 Objects365V1数据集
data_root='data/objects365v1/', # 数据根目录
ann_file='annotations/objects365_train.json', # 标注文件
data_prefix=dict(img='train/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32)), # 过滤配置
class_text_path='data/texts/obj365v1_class_texts.json', # 类别文本路径
pipeline=train_pipeline) # 数据处理管道
# 定义mg训练数据集
mg_train_dataset = dict(type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/mixed_grounding/', # 数据根目录
ann_file='annotations/final_mixed_train_no_coco.json', # 标注文件
data_prefix=dict(img='gqa/images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义flickr训练数据集
flickr_train_dataset = dict(
type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/flickr/', # 数据根目录
ann_file='annotations/final_flickr_separateGT_train.json', # 标注文件
data_prefix=dict(img='full_images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=True, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义训练数据加载器，设置批量大小、数据集拼接方式、数据集列表和忽略的键
train_dataloader = dict(batch_size=train_batch_size_per_gpu,
collate_fn=dict(type='yolow_collate'),
dataset=dict(_delete_=True,
type='ConcatDataset',
datasets=[
obj365v1_train_dataset,
flickr_train_dataset, mg_train_dataset
],
ignore_keys=['classes', 'palette']))
# 定义测试数据处理流程，包括加载文本和打包检测输入
test_pipeline = [
*_base_.test_pipeline[:-1],
dict(type='LoadText'),
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts'))
]
# 定义 COCO 验证数据集，设置数据集类型、根目录、测试模式、注释文件、数据前缀和批量形状配置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_minival_inserted_image_name.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
class_text_path='data/texts/lvis_v1_class_texts.json',
pipeline=test_pipeline)
# 定义验证数据加载器，设置数据集为 COCO 验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将测试数据加载器设置为验证数据加载器
test_dataloader = val_dataloader
# 定义验证评估器，设置评估类型为 LVIS 检测指标，注释文件为 LVIS 最小验证集的插入图像名称文件
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_minival_inserted_image_name.json',
metric='bbox')
# 将测试评估器设置为验证评估器
test_evaluator = val_evaluator
# 训练设置
# 默认钩子，设置参数调度器和检查点保存间隔
default_hooks = dict(param_scheduler=dict(max_epochs=max_epochs),
checkpoint=dict(interval=save_epoch_intervals,
rule='greater'))
# 自定义钩子，设置指数动量 EMA 钩子的参数
custom_hooks = [
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
# 创建一个字典，包含PipelineSwitchHook的相关参数
dict(type='mmdet.PipelineSwitchHook',
# 设置切换pipeline的时机为最大训练轮数减去关闭mosaic的轮数
switch_epoch=max_epochs - close_mosaic_epochs,
# 设置切换的pipeline为train_pipeline_stage2
switch_pipeline=train_pipeline_stage2)
# 创建一个字典，包含训练配置参数
train_cfg = dict(max_epochs=max_epochs, # 最大训练轮数
val_interval=10, # 验证间隔
dynamic_intervals=[((max_epochs - close_mosaic_epochs), # 动态间隔
_base_.val_interval_stage2)]) # 验证阶段2的间隔设置
# 定义优化器包装器的配置参数
optim_wrapper = dict(optimizer=dict(
_delete_=True, # 删除原有的优化器配置
type='AdamW', # 优化器类型为AdamW
lr=base_lr, # 学习率
weight_decay=weight_decay, # 权重衰减
batch_size_per_gpu=train_batch_size_per_gpu), # 每个GPU的批处理大小
paramwise_cfg=dict(bias_decay_mult=0.0, # 偏置项衰减倍数
norm_decay_mult=0.0, # 归一化层衰减倍数
custom_keys={ # 自定义键值对
'backbone.text_model': # 文本模型的键
dict(lr_mult=0.01), # 学习率倍数
'logit_scale': # 输出层缩放的键
dict(weight_decay=0.0) # 输出层权重衰减
}),
constructor='YOLOWv5OptimizerConstructor') # 构造函数为YOLOWv5OptimizerConstructor
.YOLO-Worldconfigspretrainyolo_world_v2_x_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py
代码语言：javascript
复制# 设置基础配置文件路径
_base_ = ('../../third_party/mmyolo/configs/yolov8/'
'yolov8_x_syncbn_fast_8xb16-500e_coco.py')
# 自定义导入模块
custom_imports = dict(imports=['yolo_world'],
allow_failed_imports=False)
# 超参数设置
num_classes = 1203
num_training_classes = 80
max_epochs = 100 # 最大训练轮数
close_mosaic_epochs = 2
save_epoch_intervals = 2
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-3
weight_decay = 0.05 / 2
train_batch_size_per_gpu = 16
# 模型设置
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=['all'])),
neck=dict(type='YOLOWorldPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv')),
bbox_head=dict(type='YOLOWorldHead',
head_module=dict(type='YOLOWorldHeadModule',
use_bn_head=True,
embed_dims=text_channels,
num_classes=num_training_classes)),
train_cfg=dict(assigner=dict(num_classes=num_training_classes)))
# 数据集设置
text_transform = [
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes),
max_num_samples=num_training_classes,
padding_to_max=True,
padding_value=''),
# 创建一个字典对象，包含指定的键值对
dict(type='mmdet.PackDetInputs',
# 定义元数据的键名元组
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts'))
# 定义训练管道，包含一系列数据处理和增强操作
train_pipeline = [
*_base_.pre_transform, # 使用基础预处理操作
dict(type='MultiModalMosaic', # 使用多模态马赛克操作
img_scale=_base_.img_scale, # 图像缩放比例
pad_val=114.0, # 填充值
pre_transform=_base_.pre_transform), # 预处理操作
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5随机仿射变换操作
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border=(-_base_.img_scale[0] // 2, -_base_.img_scale[1] // 2), # 边界
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 使用基础最后的转换操作
*text_transform, # 文本转换操作
]
# 定义第二阶段的训练管道
train_pipeline_stage2 = [*_base_.train_pipeline_stage2[:-1], *text_transform]
# 定义obj365v1训练数据集
obj365v1_train_dataset = dict(
type='MultiModalDataset', # 多模态数据集类型
dataset=dict(
type='YOLOv5Objects365V1Dataset', # 使用YOLOv5 Objects365V1数据集
data_root='data/objects365v1/', # 数据根目录
ann_file='annotations/objects365_train.json', # 标注文件
data_prefix=dict(img='train/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32)), # 过滤配置
class_text_path='data/texts/obj365v1_class_texts.json', # 类别文本路径
pipeline=train_pipeline) # 数据处理管道
# 定义mg训练数据集
mg_train_dataset = dict(type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/mixed_grounding/', # 数据根目录
ann_file='annotations/final_mixed_train_no_coco.json', # 标注文件
data_prefix=dict(img='gqa/images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义flickr训练数据集
flickr_train_dataset = dict(
type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/flickr/', # 数据根目录
ann_file='annotations/final_flickr_separateGT_train.json', # 标注文件
data_prefix=dict(img='full_images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=True, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义训练数据加载器，设置批量大小、数据集拼接方式、数据集列表和忽略的键
train_dataloader = dict(batch_size=train_batch_size_per_gpu,
collate_fn=dict(type='yolow_collate'),
dataset=dict(_delete_=True,
type='ConcatDataset',
datasets=[
obj365v1_train_dataset,
flickr_train_dataset, mg_train_dataset
],
ignore_keys=['classes', 'palette']))
# 定义测试数据处理流程，包括加载文本和打包检测输入
test_pipeline = [
*_base_.test_pipeline[:-1],
dict(type='LoadText'),
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts'))
]
# 定义 COCO 验证数据集，设置数据集类型、根目录、测试模式、注释文件、数据前缀和批量形状配置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_minival_inserted_image_name.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
class_text_path='data/texts/lvis_v1_class_texts.json',
pipeline=test_pipeline)
# 定义验证数据加载器，设置数据集为 COCO 验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将测试数据加载器设置为验证数据加载器
test_dataloader = val_dataloader
# 定义验证评估器，设置评估类型为 LVIS 检测指标，注释文件为 LVIS 最小验证集的插入图像名称文件
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_minival_inserted_image_name.json',
metric='bbox')
# 将测试评估器设置为验证评估器
test_evaluator = val_evaluator
# 训练设置
# 默认钩子，设置参数调度器和检查点保存间隔
default_hooks = dict(param_scheduler=dict(max_epochs=max_epochs),
checkpoint=dict(interval=save_epoch_intervals,
rule='greater'))
# 自定义钩子，设置指数动量 EMA 钩子的参数
custom_hooks = [
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
# 创建一个字典，包含PipelineSwitchHook的相关参数
dict(type='mmdet.PipelineSwitchHook',
# 设置切换pipeline的时机为最大训练轮数减去关闭mosaic的轮数
switch_epoch=max_epochs - close_mosaic_epochs,
# 设置切换的pipeline为train_pipeline_stage2
switch_pipeline=train_pipeline_stage2)
# 创建一个字典，包含训练配置参数
train_cfg = dict(max_epochs=max_epochs, # 最大训练轮数
val_interval=10, # 验证间隔
dynamic_intervals=[((max_epochs - close_mosaic_epochs), # 动态间隔
_base_.val_interval_stage2)]) # 验证阶段2的间隔设置
# 定义优化器包装器的配置参数
optim_wrapper = dict(optimizer=dict(
_delete_=True, # 删除原有的优化器配置
type='AdamW', # 优化器类型为AdamW
lr=base_lr, # 学习率
weight_decay=weight_decay, # 权重衰减
batch_size_per_gpu=train_batch_size_per_gpu), # 每个GPU的批处理大小
paramwise_cfg=dict(bias_decay_mult=0.0, # 偏置项衰减倍数
norm_decay_mult=0.0, # 归一化层衰减倍数
custom_keys={ # 自定义键值对
'backbone.text_model': # 文本模型的键
dict(lr_mult=0.01), # 学习率倍数
'logit_scale': # 输出层缩放的键
dict(weight_decay=0.0) # 输出层权重衰减
}),
constructor='YOLOWv5OptimizerConstructor') # 构造函数为YOLOWv5OptimizerConstructor
.YOLO-Worldconfigspretrainyolo_world_x_dual_vlpan_l2norm_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py
代码语言：javascript
复制# 设置基础配置文件路径
_base_ = ('../../third_party/mmyolo/configs/yolov8/'
'yolov8_x_syncbn_fast_8xb16-500e_coco.py')
# 自定义导入模块
custom_imports = dict(imports=['yolo_world'],
allow_failed_imports=False)
# 超参数设置
num_classes = 1203
num_training_classes = 80
max_epochs = 100 # 最大训练轮数
close_mosaic_epochs = 2
save_epoch_intervals = 2
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-3
weight_decay = 0.05 / 2
train_batch_size_per_gpu = 16
# 模型设置
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=['all'])),
neck=dict(type='YOLOWorldDualPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv'),
text_enhancder=dict(type='ImagePoolingAttentionModule',
embed_channels=256,
num_heads=8)),
bbox_head=dict(type='YOLOWorldHead',
head_module=dict(type='YOLOWorldHeadModule',
embed_dims=text_channels,
num_classes=num_training_classes)),
train_cfg=dict(assigner=dict(num_classes=num_training_classes)))
# 数据集设置
text_transform = [
# 定义一个字典，包含参数 type、num_neg_samples、max_num_samples、padding_to_max 和 padding_value
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes),
max_num_samples=num_training_classes,
padding_to_max=True,
padding_value=''),
# 定义一个字典，包含参数 type 和 meta_keys
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts'))
# 定义训练管道，包含一系列数据处理和增强操作
train_pipeline = [
*_base_.pre_transform, # 使用基础预处理操作
dict(type='MultiModalMosaic', # 使用多模态马赛克操作
img_scale=_base_.img_scale, # 图像缩放比例
pad_val=114.0, # 填充值
pre_transform=_base_.pre_transform), # 预处理操作
dict(
type='YOLOv5RandomAffine', # 使用YOLOv5随机仿射变换操作
max_rotate_degree=0.0, # 最大旋转角度
max_shear_degree=0.0, # 最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 最大长宽比
border=(-_base_.img_scale[0] // 2, -_base_.img_scale[1] // 2), # 边界
border_val=(114, 114, 114)), # 边界填充值
*_base_.last_transform[:-1], # 使用基础最后的转换操作
*text_transform, # 文本转换操作
]
# 定义第二阶段的训练管道
train_pipeline_stage2 = [*_base_.train_pipeline_stage2[:-1], *text_transform]
# 定义obj365v1训练数据集
obj365v1_train_dataset = dict(
type='MultiModalDataset', # 多模态数据集类型
dataset=dict(
type='YOLOv5Objects365V1Dataset', # 使用YOLOv5 Objects365V1数据集
data_root='data/objects365v1/', # 数据根目录
ann_file='annotations/objects365_train.json', # 标注文件
data_prefix=dict(img='train/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32)), # 过滤配置
class_text_path='data/texts/obj365v1_class_texts.json', # 类别文本路径
pipeline=train_pipeline) # 数据处理管道
# 定义mg训练数据集
mg_train_dataset = dict(type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/mixed_grounding/', # 数据根目录
ann_file='annotations/final_mixed_train_no_coco.json', # 标注文件
data_prefix=dict(img='gqa/images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=False, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义flickr训练数据集
flickr_train_dataset = dict(
type='YOLOv5MixedGroundingDataset', # 使用YOLOv5混合定位数据集
data_root='data/flickr/', # 数据根目录
ann_file='annotations/final_flickr_separateGT_train.json', # 标注文件
data_prefix=dict(img='full_images/'), # 数据前缀
filter_cfg=dict(filter_empty_gt=True, min_size=32), # 过滤配置
pipeline=train_pipeline) # 数据处理管道
# 定义训练数据加载器，设置批量大小、数据集拼接方式、数据集列表和忽略的键
train_dataloader = dict(batch_size=train_batch_size_per_gpu,
collate_fn=dict(type='yolow_collate'),
dataset=dict(_delete_=True,
type='ConcatDataset',
datasets=[
obj365v1_train_dataset,
flickr_train_dataset, mg_train_dataset
],
ignore_keys=['classes', 'palette']))
# 定义测试数据处理流程，包括加载文本和打包检测输入
test_pipeline = [
*_base_.test_pipeline[:-1],
dict(type='LoadText'),
dict(type='mmdet.PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts'))
]
# 定义 COCO 验证数据集，设置数据集类型、根目录、测试模式、注释文件、数据前缀和批量形状配置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_minival_inserted_image_name.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
class_text_path='data/texts/lvis_v1_class_texts.json',
pipeline=test_pipeline)
# 定义验证数据加载器，设置数据集为 COCO 验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将测试数据加载器设置为验证数据加载器
test_dataloader = val_dataloader
# 定义验证评估器，设置评估类型为 LVIS 检测指标，注释文件为 LVIS 最小验证集的插入图像名称文件
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_minival_inserted_image_name.json',
metric='bbox')
# 将测试评估器设置为验证评估器
test_evaluator = val_evaluator
# 训练设置
# 默认钩子，设置参数调度器和检查点保存间隔
default_hooks = dict(param_scheduler=dict(max_epochs=max_epochs),
checkpoint=dict(interval=save_epoch_intervals,
rule='greater'))
# 自定义钩子，设置指数动量 EMA 钩子的参数
custom_hooks = [
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
# 创建一个字典，包含PipelineSwitchHook的相关参数
dict(type='mmdet.PipelineSwitchHook',
# 设置切换pipeline的时机为最大训练轮数减去关闭mosaic的轮数
switch_epoch=max_epochs - close_mosaic_epochs,
# 设置切换的pipeline为train_pipeline_stage2
switch_pipeline=train_pipeline_stage2)
# 创建一个字典，包含训练配置参数
train_cfg = dict(max_epochs=max_epochs, # 最大训练轮数
val_interval=10, # 验证间隔
dynamic_intervals=[((max_epochs - close_mosaic_epochs), # 动态间隔
_base_.val_interval_stage2)]) # 验证阶段2的间隔设置
# 定义优化器包装器的配置参数
optim_wrapper = dict(optimizer=dict(
_delete_=True, # 删除原有的优化器配置
type='AdamW', # 优化器类型为AdamW
lr=base_lr, # 学习率
weight_decay=weight_decay, # 权重衰减
batch_size_per_gpu=train_batch_size_per_gpu), # 每个GPU的批处理大小
paramwise_cfg=dict(bias_decay_mult=0.0, # 偏置项衰减倍数
norm_decay_mult=0.0, # 归一化层衰减倍数
custom_keys={ # 自定义键值对
'backbone.text_model': # 文本模型的键
dict(lr_mult=0.01), # 学习率倍数
'logit_scale': # 输出层缩放的键
dict(weight_decay=0.0) # 输出层权重衰减
}),
constructor='YOLOWv5OptimizerConstructor') # 构造函数为YOLOWv5OptimizerConstructor
.YOLO-Worldconfigssegmentationyolo_world_seg_l_dual_vlpan_2e-4_80e_8gpus_allmodules_finetune_lvis.py
代码语言：javascript
复制_base_ = (
'../../third_party/mmyolo/configs/yolov8/yolov8_l_mask-refine_syncbn_fast_8xb16-500e_coco.py'
)
# 定义基础配置文件路径
custom_imports = dict(imports=['yolo_world'], allow_failed_imports=False)
# 自定义导入模块，禁止导入失败
# 超参数
num_classes = 1203
num_training_classes = 80
max_epochs = 80 # 最大训练轮数
close_mosaic_epochs = 10
save_epoch_intervals = 5
text_channels = 512
neck_embed_channels = [128, 256, _base_.last_stage_out_channels // 2]
neck_num_heads = [4, 8, _base_.last_stage_out_channels // 2 // 32]
base_lr = 2e-4
weight_decay = 0.05
train_batch_size_per_gpu = 8
load_from = 'pretrained_models/yolo_world_l_clip_base_dual_vlpan_2e-3adamw_32xb16_100e_o365_goldg_train_pretrained-0e566235.pth'
persistent_workers = False
# Polygon2Mask
downsample_ratio = 4
mask_overlap = False
use_mask2refine = True
max_aspect_ratio = 100
min_area_ratio = 0.01
# 模型设置
model = dict(
type='YOLOWorldDetector',
mm_neck=True,
num_train_classes=num_training_classes,
num_test_classes=num_classes,
data_preprocessor=dict(type='YOLOWDetDataPreprocessor'),
backbone=dict(
_delete_=True,
type='MultiModalYOLOBackbone',
image_model={{_base_.model.backbone}},
text_model=dict(
type='HuggingCLIPLanguageBackbone',
model_name='openai/clip-vit-base-patch32',
frozen_modules=[])),
neck=dict(type='YOLOWorldDualPAFPN',
guide_channels=text_channels,
embed_channels=neck_embed_channels,
num_heads=neck_num_heads,
block_cfg=dict(type='MaxSigmoidCSPLayerWithTwoConv'),
text_enhancder=dict(type='ImagePoolingAttentionModule',
embed_channels=256,
num_heads=8)),
# 定义 YOLO 网络的头部结构，包括类型、模块类型、嵌入维度、类别数量、掩模通道数和原型通道数
bbox_head=dict(type='YOLOWorldSegHead',
head_module=dict(type='YOLOWorldSegHeadModule',
embed_dims=text_channels,
num_classes=num_training_classes,
mask_channels=32,
proto_channels=256),
mask_overlap=mask_overlap,
# 定义掩模损失函数，使用交叉熵损失，采用 sigmoid 函数，不进行降维
loss_mask=dict(type='mmdet.CrossEntropyLoss',
use_sigmoid=True,
reduction='none'),
# 定义掩模损失的权重
loss_mask_weight=1.0),
# 定义训练配置，包括分配器和类别数量
train_cfg=dict(assigner=dict(num_classes=num_training_classes)),
# 定义测试配置，包括二值化掩模阈值和快速测试标志
test_cfg=dict(mask_thr_binary=0.5, fast_test=True))
# 定义数据预处理流程的前置转换操作
pre_transform = [
dict(type='LoadImageFromFile', backend_args=_base_.backend_args), # 从文件加载图像
dict(type='LoadAnnotations',
with_bbox=True, # 加载边界框信息
with_mask=True, # 加载掩码信息
mask2bbox=True) # 将掩码转换为边界框
]
# 定义数据预处理流程的最终转换操作
last_transform = [
dict(type='mmdet.Albu',
transforms=_base_.albu_train_transforms, # 使用指定的数据增强操作
bbox_params=dict(type='BboxParams',
format='pascal_voc',
label_fields=['gt_bboxes_labels',
'gt_ignore_flags']), # 设置边界框参数
keymap={
'img': 'image',
'gt_bboxes': 'bboxes'
}), # 映射关键字
dict(type='YOLOv5HSVRandomAug'), # 使用YOLOv5的HSV随机增强
dict(type='mmdet.RandomFlip', prob=0.5), # 随机翻转操作
dict(type='Polygon2Mask',
downsample_ratio=downsample_ratio, # 设置下采样比例
mask_overlap=mask_overlap) # 设置掩码重叠参数
]
# 数据集设置
text_transform = [
dict(type='RandomLoadText',
num_neg_samples=(num_classes, num_classes), # 设置负样本数量
max_num_samples=num_training_classes, # 设置最大样本数量
padding_to_max=True, # 填充到最大长度
padding_value=''), # 设置填充值
dict(type='PackDetInputs',
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'flip',
'flip_direction', 'texts')) # 打包检测输入信息
]
mosaic_affine_transform = [
dict(type='MultiModalMosaic',
img_scale=_base_.img_scale, # 设置图像缩放比例
pad_val=114.0, # 设置填充值
pre_transform=pre_transform), # 设置前置转换操作
dict(type='YOLOv5CopyPaste', prob=_base_.copypaste_prob), # 使用YOLOv5的复制粘贴操作
dict(
type='YOLOv5RandomAffine',
max_rotate_degree=0.0, # 设置最大旋转角度
max_shear_degree=0.0, # 设置最大剪切角度
max_aspect_ratio=100., # 设置最大长宽比
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 设置缩放比例范围
border=(-_base_.img_scale[0] // 2, -_base_.img_scale[1] // 2), # 设置边界
border_val=(114, 114, 114), # 设置边界填充值
min_area_ratio=_base_.min_area_ratio, # 设置最小区域比例
use_mask_refine=True) # 使用掩码细化
]
train_pipeline = [
*pre_transform, *mosaic_affine_transform, # 将前置转换操作和镜像仿射变换操作合并到训练流程中
# 创建一个字典，指定模型类型为YOLOv5MultiModalMixUp，概率为mixup_prob
dict(type='YOLOv5MultiModalMixUp',
prob=_base_.mixup_prob,
# 将pre_transform和mosaic_affine_transform的元素合并到一个列表中
pre_transform=[*pre_transform, *mosaic_affine_transform]),
# 将last_transform和text_transform的元素合并到一个列表中
*last_transform, *text_transform
# 定义训练管道的第二阶段，包括预处理、YOLOv5KeepRatioResize、LetterResize、YOLOv5RandomAffine等操作
_train_pipeline_stage2 = [
*pre_transform, # 将pre_transform中的操作添加到管道中
dict(type='YOLOv5KeepRatioResize', scale=_base_.img_scale), # 使用YOLOv5KeepRatioResize进行图像尺寸调整
dict(type='LetterResize', # 使用LetterResize进行图像尺寸调整
scale=_base_.img_scale, # 设置尺度
allow_scale_up=True, # 允许尺度放大
pad_val=dict(img=114.0)), # 设置填充值
dict(type='YOLOv5RandomAffine', # 使用YOLOv5RandomAffine进行随机仿射变换
max_rotate_degree=0.0, # 设置最大旋转角度
max_shear_degree=0.0, # 设置最大剪切角度
scaling_ratio_range=(1 - _base_.affine_scale, 1 _base_.affine_scale), # 设置缩放比例范围
max_aspect_ratio=_base_.max_aspect_ratio, # 设置最大长宽比
border_val=(114, 114, 114), # 设置边界值
min_area_ratio=min_area_ratio, # 设置最小区域比例
use_mask_refine=use_mask2refine), # 是否使用mask进行细化
*last_transform # 将last_transform中的操作添加到管道中
]
# 将_train_pipeline_stage2和text_transform合并为train_pipeline_stage2
train_pipeline_stage2 = [*_train_pipeline_stage2, *text_transform]
# 定义coco_train_dataset，包括数据集类型、数据根目录、注释文件、数据前缀等信息
coco_train_dataset = dict(
_delete_=True, # 删除该字段
type='MultiModalDataset', # 数据集类型为MultiModalDataset
dataset=dict(type='YOLOv5LVISV1Dataset', # 数据集类型为YOLOv5LVISV1Dataset
data_root='data/coco', # 数据根目录
ann_file='lvis/lvis_v1_train_base.json', # 注释文件
data_prefix=dict(img=''), # 数据前缀
filter_cfg=dict(filter_empty_gt=True, min_size=32)), # 过滤配置信息
class_text_path='data/captions/lvis_v1_base_class_captions.json', # 类别文本路径
pipeline=train_pipeline) # 数据处理管道为train_pipeline
# 定义train_dataloader，包括持久化工作进程、每个GPU的训练批次大小、数据集、数据集合并函数等信息
train_dataloader = dict(persistent_workers=persistent_workers, # 持久化工作进程
batch_size=train_batch_size_per_gpu, # 每个GPU的训练批次大小
collate_fn=dict(type='yolow_collate'), # 数据集合并函数
dataset=coco_train_dataset) # 数据集为coco_train_dataset
# 定义测试管道，包括基础测试管道、LoadText、mmdet.PackDetInputs等操作
test_pipeline = [
*_base_.test_pipeline[:-1], # 将基础测试管道中的操作添加到管道中，去掉最后一个操作
dict(type='LoadText'), # 加载文本
dict(type='mmdet.PackDetInputs', # 使用mmdet.PackDetInputs打包检测输入
meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape',
'scale_factor', 'pad_param', 'texts')) # 设置元数据键
]
# 训练设置
# 默认的钩子配置，包括参数调度器和检查点
default_hooks = dict(param_scheduler=dict(scheduler_type='linear',
lr_factor=0.01,
max_epochs=max_epochs),
checkpoint=dict(max_keep_ckpts=-1,
save_best=None,
interval=save_epoch_intervals))
# 自定义的钩子配置
custom_hooks = [
dict(type='EMAHook',
ema_type='ExpMomentumEMA',
momentum=0.0001,
update_buffers=True,
strict_load=False,
priority=49),
dict(type='mmdet.PipelineSwitchHook',
switch_epoch=max_epochs - close_mosaic_epochs,
switch_pipeline=train_pipeline_stage2)
]
# 训练配置
train_cfg = dict(max_epochs=max_epochs,
val_interval=5,
dynamic_intervals=[((max_epochs - close_mosaic_epochs),
_base_.val_interval_stage2)])
# 优化器包装器配置
optim_wrapper = dict(optimizer=dict(
_delete_=True,
type='AdamW',
lr=base_lr,
weight_decay=weight_decay,
batch_size_per_gpu=train_batch_size_per_gpu),
paramwise_cfg=dict(bias_decay_mult=0.0,
norm_decay_mult=0.0,
custom_keys={
'backbone.text_model':
dict(lr_mult=0.01),
'logit_scale':
dict(weight_decay=0.0),
}),
constructor='YOLOWv5OptimizerConstructor')
# 评估设置
coco_val_dataset = dict(
_delete_=True,
type='MultiModalDataset',
dataset=dict(type='YOLOv5LVISV1Dataset',
data_root='data/coco/',
test_mode=True,
ann_file='lvis/lvis_v1_val.json',
data_prefix=dict(img=''),
batch_shapes_cfg=None),
# 定义类别文本路径为'data/captions/lvis_v1_class_captions.json'，用于存储类别标签的文本信息
class_text_path='data/captions/lvis_v1_class_captions.json',
# 定义数据处理流程为test_pipeline，用于对数据进行预处理和增强操作
pipeline=test_pipeline)
# 创建验证数据加载器，使用 COCO 验证数据集
val_dataloader = dict(dataset=coco_val_dataset)
# 将验证数据加载器赋值给测试数据加载器
test_dataloader = val_dataloader
# 创建验证评估器，类型为 'mmdet.LVISMetric'，使用 LVIS 验证注释文件，评估指标包括边界框和分割
val_evaluator = dict(type='mmdet.LVISMetric',
ann_file='data/coco/lvis/lvis_v1_val.json',
metric=['bbox', 'segm'])
# 将验证评估器赋值给测试评估器
test_evaluator = val_evaluator
# 设置参数为查找未使用的参数
find_unused_parameters = True
