Time2Vec 的理解与简单实现

前言

Time2Vec 从其名字就可以看出其功能，将时间进行 Embedding，并且能够应用于不同的模型。

2019 年的一篇论文：Time2Vec: Learning a Vector Representation of Time

Time2Vec

Time2Vec 的设计主要基于以下几个方面：

捕获周期性和非周期性模式
对时间缩放不变
易于与其他模型融合

Time2Vec 的公式并不复杂：

其中kkk为 time2vec 的维度，

为周期激活函数，

为可学习参数。为了使算法可以捕获周期性，所以Fmathcal{F}F选用sin⁡sinsin函数（cos⁡coscos函数同样效果）捕获周期性。

PyTorch 实现

代码语言：javascript复制

def t2v(tau, f, out_features, w, b, w0, b0, arg=None):
    if arg:
        v1 = f(torch.matmul(tau, w)   b, arg)
    else:
        v1 = f(torch.matmul(tau, w)   b)
    v2 = torch.matmul(tau, w0)   b0
    return torch.cat([v1, v2], 1)


class SineActivation(nn.Module):
    def __init__(self, in_features, out_features):
        super(SineActivation, self).__init__()
        self.out_features = out_features
        self.w0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.b0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.w = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.b = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.f = torch.sin

    def forward(self, tau):
        return t2v(tau, self.f, self.out_features, self.w, self.b, self.w0, self.b0)


class CosineActivation(nn.Module):
    def __init__(self, in_features, out_features):
        super(CosineActivation, self).__init__()
        self.out_features = out_features
        self.w0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.b0 = nn.parameter.Parameter(torch.randn(in_features, 1))
        self.w = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.b = nn.parameter.Parameter(torch.randn(in_features, out_features - 1))
        self.f = torch.cos

    def forward(self, tau):
        return t2v(tau, self.f, self.out_features, self.w, self.b, self.w0, self.b0)


class Time2Vec(nn.Module):
    def __init__(self, activation, hiddem_dim):
        super(Time2Vec, self).__init__()
        if activation == "sin":
            self.l1 = SineActivation(1, hiddem_dim)
        elif activation == "cos":
            self.l1 = CosineActivation(1, hiddem_dim)

        self.fc1 = nn.Linear(hiddem_dim, 2)

    def forward(self, x):
        x = self.l1(x)
        x = self.fc1(x)
        return x

总结

对于时间的 Embedding 怎么说呢，个人感觉其实有必要又没必要，可有可无，当然不是说时间信息不重要。论文没有仔细看，当然主要是内容也比较少，感觉对于时间、位置这些东西的处理，到底还是 sin、cos 效果会好一点？看代码的时候又看见了作者的Date2Vec，模型没怎么看懂，具体也没解释原理，有兴趣的可以看看。

参考资料

[1] Time2Vec: Learning a Vector Representation of Time

对象存储

0 人点赞