新智元报道
来源：arXiv
编辑：贝壳
【新智元导读】你见过手绘草图秒变逼真秀发吗？香港城市大学提出的新网络SketchHairSalon就可以，不但头发结构外观真假难辨，而且细节也清晰无比，只是通过简单寥寥几笔素描，想拥有什么样的发型都不在话下。
现有的解决方案通常需要用户提供的二进制掩码来指定目标发型。这不仅会增加用户的劳动成本，而且也无法捕捉复杂的头发边界。这些解决方案通常通过方向图编码头发结构，然而，这对编码复杂结构并不是很有效。
其实，彩色头发草图已经含蓄地定义了目标头发形状和头发外观，比方向图更灵活地描述头发结构。基于这些观察，香港城市大学提出了SketchHairSalon，一个两阶段框架，直接从手绘草图生成真实的头发图像，描绘所需的头发结构和外观。
并且还提供了设计界面，如下图所示，包括Hair Structure Specification（头发结构定制）、Hair Shape Refinement（头发形状优化）、Hair Appearance Specification（头发的外观定制）、Sketch Auto-completion（自动完成草图）等功能。
设计思想
为了解决现有算法存在的问题，作者观察到头发草图本身包含了足够的信息来描述局部和整体层面上所需发型的结构、外观和形状。例如，对于一个波浪发型，一笔可以代表一个局部和连贯的头发束，而两笔可以用来形成一个t型结。彩色的笔画能够表明头发图像的局部外观。
此外，描绘发型结构的草图已经含蓄地定义了头发区域的整体形状，最好是沿着毛发区域的边界自动推断局部和柔软的细节，因为这些细节很难由用户指定，而且耗时。在这种情况下，由于支持软边界，毛发哑光比二进制掩模更适合描述毛发区域。
基于以上关键观察，作者提出了SketchHairSalon，一个新颖的深度生成框架，直接从一组彩色笔画合成真实的头发图像。它包括两个关键阶段:素描到亚光生成和素描到图像生成。
第一阶段侧重于从输入的头发草图生成头发哑光，以减少草图到头发生成的模糊性。用户可以选择输入非毛发笔画，这些笔画被用作额外的条件来指导哑光的生成。
第二阶段根据给定输入草图和生成的头发哑光，设法合成一个逼真的头发图像。同时将自我注意模块应用到这两个阶段的网络中，以学习更多的对应关系。
为了训练这两个阶段的网络，作者还提出了一个新的头发草图-图像数据集，其中包含了数以千计的头发图像和相应的手工注释的头发草图，以描述底层的头发结构。每个头发图像也与自动生成的头发哑光相关联。
网络架构
该网络框架由两个主要网络组成:
- 素描到亚光网络(简称S2M-Net)
- 素描到图像网络(简称S2I-Net)
素描到亚光网络(S2M-Net)
S2M-Net以素描图
