[CLS] 和 [SEP] 是 BERT 中的两个特殊标记符号,在 BERT 的输入文本中起到特殊的作用。
[CLS] 是 "classification" 的缩写,在文本分类任务中,它通常表示句子或文档的开头。在 BERT 中,[CLS] 对应着输入文本中第一个词的词向量,输出层中的第一个神经元通常会被用来预测文本的类别。
[SEP] 是 "separator" 的缩写,它通常表示句子或文档的结尾。在 BERT 中,[SEP] 对应着输入文本中最后一个词的词向量,它的作用是用来分割不同的句子。例如,在 BERT 中处理句子对时,两个句子之间通常会插入一个 [SEP] 来表示它们的分界点。