为什么使用GNN,因为相关性是一个网络。
邻接矩阵是GNN要得到的东西,但是相关性的邻接矩阵不就是相关性矩阵吗
所以可以直接计算相关性矩阵来实现,但是这种做法是十分耗时的。
而且也只能是起到attention的作用,增强了某些信息。
通过增加空白节点作为胶水的形式,融合模态。
思考:预训练编码器(信源编码),然后通过任意DNN预测模态间特征的邻接矩阵(融合指导),使用GNN预测每一个特征上的附加信息(信道编码)。
注:附加信息量与初始信息量的比例,等于多个模态编码后的码长之比。
为什么使用GNN,因为相关性是一个网络。
邻接矩阵是GNN要得到的东西,但是相关性的邻接矩阵不就是相关性矩阵吗
所以可以直接计算相关性矩阵来实现,但是这种做法是十分耗时的。
而且也只能是起到attention的作用,增强了某些信息。
通过增加空白节点作为胶水的形式,融合模态。
思考:预训练编码器(信源编码),然后通过任意DNN预测模态间特征的邻接矩阵(融合指导),使用GNN预测每一个特征上的附加信息(信道编码)。
注:附加信息量与初始信息量的比例,等于多个模态编码后的码长之比。