如何将自定义功能合并到tf.data管道衬里过程中,以实现最高效率

问题描述 投票:1回答:1

因此,例如tf.image已经实现了一些基本的图像处理方法,我认为这些方法已经过优化。问题是当我在图像的大型数据集中迭代时,在每个图像上实现更复杂功能的推荐方法是什么/如何,当然,批量(例如,补丁2-D DCT)尽可能使用整个tf.data框架。

提前致谢。

附:当然我可以使用“地图”方法,但我要求超越。就好像我正在传递一个纯粹的numpy书面函数来传递给“map”一样,它也无济于事。

python-3.x tensorflow image-processing pipeline
1个回答
0
投票

目前最好的方法(缺少用C ++ / CUDA编写自定义操作)可能是使用https://www.tensorflow.org/api_docs/python/tf/contrib/eager/py_func。这允许您编写任何TF急切代码并使用Python控制流语句。有了这个,你应该可以做你用numpy做的大部分事情。额外的好处是你可以使用你的GPU,你在tfe.py_func中生成的张量将立即用于你的常规TF代码 - 不需要复制。

© www.soinside.com 2019 - 2024. All rights reserved.