近期,PaddleOCR开源了Style-Text数据合成工具。 https://github.com/PaddlePaddle/PaddleOCR/blob/dygraph/StyleText/README_ch.md
项目主页
https://github.com/PaddlePaddle/PaddleOCR
到底多强
结合GAN,输入一串文本和一个风格图片就可以生成对应的场景的图片!!!!!项目开源直接使用无需训练!!!!
效果⬇️
该工具可以批量合成大量与目标场景类似的图像,如下图所示。
Style-Text数据合成工具是基于百度自研的文本编辑算法《Editing Text in the Wild》 https://arxiv.org/abs/1908.03047
不同于常用的基于GAN的数据合成工具,Style-Text主要框架包括:1.文本前景风格迁移模块 2.背景抽取模块 3.融合模块。如上图所示。经过这样三步,就可以迅速实现图像文本风格迁移。下图是更多的数据合成工具效果图。
此外,采用上述合成数据和真实数据一起训练,可以显著提升特殊场景的性能指标,Repo中也给出了两个场景应用案例:
下面给出一些真实场景图像和合成图像的示例:
此外,该项目还提供了一批中英韩5万张通用场景数据用作文本风格图像,便于合成场景丰富的文本图像,下图给出了一些示例。
这个方向才刚刚开始,文本数据自动合成对于产业应用还是很有意义,尤其是长尾场景。