TensorFlow Federated：具有自定义学习算法的 Keras 模型

Question

This 教程描述了如何从 keras 模型构建 TFF 计算。 This 教程描述了如何从头开始构建自定义 TFF 计算，可能使用自定义联邦学习算法。

我需要的是这些的组合：我想构建一个自定义的联邦学习算法，并且我想使用现有的 keras 模型。 问。怎么办？

第二个教程需要MODEL_TYPE，它基于MODEL_SPEC，但我不知道如何获得。我可以在model.trainable_variables（model = tff.learning.from_keras_model(keras_model, ...）中看到一些变量，但我怀疑这是我需要的。

当然，我可以手动实现模型（如第二个教程），但我想避免它。

Answer 1

我认为您对编写自定义联合计算以及将 Keras 模型转换为 tff.learning.Model 有正确的指导。因此，我们将专注于从现有的 tff.learning.Model 中提取 TFF 类型签名。

一旦您掌握了这样的模型，您应该能够使用 tff.learning.framework.weights_type_from_model 提取适当的 TFF 类型以用于您的自定义算法。

这里有一个有趣的警告：您在自定义算法中使用tff.learning.Model 的精确程度几乎取决于您，这可能会影响您所需的模型权重类型。不太可能出现这种情况（您可能只是将传入张量的值分配给模型变量），所以我认为我们应该避免更深入地讨论这个警告。

最后，TFF中端到端自定义算法实现的几点说明：

• TFF 拥有的最简单的完整示例之一是simple_fedavg，它是完全独立的，包含运行指令。
• code 的一篇关于 Adaptive Federated Optimization 的论文包含 handwritten implementation 在 TFF 中客户端的学习率衰减。
• 自适应学习率衰减的similar implementation（想想 Keras 在高原上衰减学习率的函数）就在 AFO 代码的旁边。