时间序列中应用的Keras官方Transformer示例代码是否包含Position Embedding部分？

【问题标题】：Does Keras official sample code about Transformer applied in time-series contain Position Embedding part?时间序列中应用的Keras官方Transformer示例代码是否包含Position Embedding部分？
【发布时间】：2022-06-14 21:29:26
【问题描述】：

url:https://keras.io/examples/timeseries/timeseries_transformer_classification/引用示例代码

我在上述网址的整页中找不到任何关于“位置嵌入”内容的描述。当我浏览了 NLP 中应用的 Transformer 时，我可以清楚地看到名为“TokenAndPositionEmbedding”的类。

如果不包含“Position Embedding”，如何在示例代码中应用时间序列中的Position Embedding？

【问题讨论】：

标签： keras time-series transformer

【解决方案1】：

我认为您必须根据示例代码提供的时间序列转换器自己构建位置编码。我尝试通过下面的链接根据另一个示例对其进行修改，它似乎在提高整体准确性方面起作用。我也遇到了一个错误，但如果您遇到，第二个链接已修复该错误。我正在处理遥感数据，所以我丢弃了用于令牌嵌入的行。

请在下面找到链接：

https://keras.io/examples/vision/image_classification_with_vision_transformer/

NotImplementedError: Layers with arguments in `__init__` must override `get_config`

【讨论】：