Aliasing-Aware and Cell-Controllable Pixelization
- paper https://orca.cardiff.ac.uk/id/eprint/152816/
- code https://github.com/WuZongWei6/Pixelization
img
Abstract
- 像素艺术是一种具有低分辨率外表的独一无二的艺术风格，可将其视为二维网格，每个网格单元包含 N × N 相同颜色的像素。由于分辨率有限，像素画需要色彩单元均匀分布，才能有效地表现重要内容。
- 我们提出了一种数据驱动的像素化方法，该方法可以在控制单元大小的情况下产生清晰（sharp）的单元效果
- 我们将像素化过程分解为特定的单元感知阶段cell-aware和锯齿感知aliasing-aware阶段，从而减少了联合学习单元大小、锯齿效应和颜色分配时的模糊性
Contributions
- 像素化通常应满足以下要求：
- 识别锯齿：像素艺术应具有清晰锐利的边缘，而不是抗锯齿外观
- 可控制单元格：用户可根据需要控制结果的单元格大小
- 保留细节：结果应尽可能保留特征和连续边缘的外观
- 非配对数据：对于基于学习的方法，其训练应不需要像素艺术和相应的高分辨率图像的配对数据。 因为目前还没有这种成对图像的大比例数据集
- 构造了非配对像素数据集
Related Work
image-20231109101523060
经典的插值方法
- nearest-neighbor, bicubic (最近邻采样会丢失原始图像中的关键细节，而双三次取样则会产生不理想的抗锯齿效果)
- 最近邻插值：
- 原理：最近邻插值是一种简单的插值方法，它选择离目标位置最近的已知像素值作为插值结果。
- 优点：计算速度快，实现简单。
- 缺点：结果可能不够平滑，会产生锯齿状的伪影效果。
- 双线性插值：
- 原理：双线性插值使用目标位置周围4个最近的已知像素值，根据距离和权重进行加权平均来计算插值结果。
- 优点：相比于最近邻插值，结果更平滑，减少了锯齿状伪影。
- 缺点：计算量较大，对于图像旋转和放大时，可能会引入一定程度的模糊。
- 双三次插值（bicubic interpolation）：
插值方法原理优点缺点最近邻插值选择离目标位置最近的已知像素值作为插值结果计算速度快结果可能不够平滑，产生锯齿状伪影双线性插值使用目标位置周围4个最近的已知像素值进行加权平均插值结果相对平滑，减少锯齿状伪影计算量较大，对于旋转和放大可能会引入模糊双三次插值 (Bicubic)在目标位置周围16个最近的已知像素值上应用三次多项式插值进行加权平均插值结果平滑，保留图像细节计算量较大，对于某些纹理可能会引入模糊
- 原理：双三次插值在目标位置周围16个最近的已知像素值上应用三次多项式插值，根据距离和权重进行加权平均计算插值结果。
- 优点：结果更加平滑，图像细节保留较好，适用于图像放大和缩小。
- 缺点：计算量较大，对于一些特定的图像纹理，可能会引入一定程度的模糊
- 锯齿感，就是边缘有锯齿，抗锯齿越强，边缘锯齿越平滑，效果越模糊
image-20231109104725803
基于深度学习的方法
- Deep Pixelization
- https://github.com/csqiangwen/Deep-Unsupervised-Pixelization
- 在无监督的情况下，在输入图像和生成的像素艺术之间建立图像到图像的循环转换过程，虽然在锯齿感知和细节保存方面取得了突破，但仍存在两个主要问题。
- 首先，其结果可能包含大小不一的非均匀单元，即它无法控制单元。此外，其模型将内容和像素化风格纠缠在一起，可能会导致色彩失真。
- Make Your Own Sprites: Aliasing-Aware and Cell-Controllable Pixelization
- 我们的方法能生成与输入图像分辨率相同的结果图像，其中的像素形成指定单元大小的单元。
Methodology
Overview
image-20231109101741735
1 我们将像素艺术视为由正方形单元格组成的网格，其中每个单元格包含
