数据处理
tf.data
- 负责数据管理,支持多种数据来源:本地文件、分布式文件系统(数据集很大,HDFS, NFS)、对象存储系统(更大的数据集,S3, OBS, OSS等);
- 支持多种数据格式:图像文件、文本文件、CSV文件,NumPy数组,Python生成器,TFRecord等;
- 支持多种数据处理:图像解码,Shuffle, py_function, 重采样
tf.keras:
- 相对于原生keras,有分布式和高性能的优势
- 在TensorFlow中也能写keras,构建和训练模型的高层次API
- API完全兼容原生keras
- 支持保存和加载TensorFlow SavedModel
- 支持Eager Execution底层动态图引擎,动态debug,开发AI模型。比如pytorch有动态图的特性,tf.keras集成了这一点
tf.distribute:
- 很少代码实现分布式;
- 内置6种不同策略
SavedModel:
- 模型序列化、将模型储存到硬盘中;
- 用protobuff方式进行序列化,提升模型性能,减少模型大小。
相关文章:
-
2021-10-21
-
2021-04-11
-
2021-11-19
-
2021-12-08
-
2021-08-01
-
2022-01-30
-
2021-07-31
猜你喜欢
-
2022-01-22
-
2021-05-27
-
2021-05-02
-
2022-01-04
-
2021-11-17
-
2021-07-19
-
2022-02-11
相关资源
-
下载
2023-01-04
-
下载
2023-01-21
-
下载
2023-04-02