Image Cartoonization Based on Saturation Enhancement and Edge Pre-serving Filtering
-
摘要:
通过图像饱和度提升、保边滤波、边缘检测及去除等处理，实现了图像的卡通化.通过对边沿像素值去除率的实验，发现边沿像素的值减小25%时效果较好；与其他图像卡通化方法比较，也显示出较好的渲染效果.
Abstract:The image is cartoonized by the image saturation enhancement, edge-preserving filtering, edge detection and removal. Through the experiment of the edge pixel value removal rate, it is found that the edge pixel value is reduced by 25%, and the effect is better. Compared with other image cartoonization methods, it also shows a better rendering effect.
-
Keywords:
- saturation enhancement /
- edge-preserving filtering /
- edge detection /
- cartoonization
-
开放科学(资源服务)标识码(OSID):
开放科学(资源服务)标识码(OSID):
0. 引言
图像风格化也称为图像卡通化，图像的卡通风格渲染是艺术风格渲染的一个分支，与真实感渲染相比，非真实感渲染更专注于图像的个性化表现和艺术性，大量运用于电影及游戏等产业中，具有重要的研究意义和应用价值[1].卡通图像一般由一些高度抽象的有意义区域组成，区域边界清晰并由光滑连贯的线条组成；此外，不同于自然图像亮度的连续变化，卡通图像的亮度是突变的且对比度高.图像卡通风格渲染通常要解决以下三个关键问题：其一，如何从原图像中划分出有意义的区域；其二，如何获取光滑、连贯清晰的区域边界；其三，如何调整图像的亮度，使渲染出的图像明暗变化符合卡通画的特点[2].
图像的卡通化作为一种新兴的文化产业受到越来越多国内外视觉领域专家学者的关注和研究，并提出了多种实现图像卡通化的方法.
梅洪等[2]针对现有图像卡通化渲染算法区域划分不明显或提取的边界不够连贯的问题，提出了一种基于Mean Shift和FDoG的图像卡通化渲染方法.该方法通过区域分割与边界处理相融合的手段，获取区域明晰、边界光滑连贯的卡通对象，同时结合亮度量化策略等后处理技术净化对象，获得具有卡通效果的图像.该方法实现简单，自动化程度较高，实验结果较理想.张群等[3]提出了一种新型的视频图像卡通化处理方案，首先根据视觉显著性模型从输入的视频图像中计算出一张视觉注意力函数图，并将视频图像转换到Lab色彩空间；在视觉注意图的指导下对低对比度区域用迭代的可分离双边滤波器做平滑操作，对高对比度区域用DoG算子作线条增强；最后用颜色的软量化算子处理亮度通道，使之生成类似于卡通化的颜料块效果，同时加深各边界之间的不连续性.实验表明，在视觉上更能体现出卡通化的效果.
曾冬梅[4]提出一种基于冲击滤波器的视频图像卡通化算法，应用改进的冲击滤波器对彩色视频图像进行颜色聚类和噪声消除，对冲击滤波后的图像使用高斯差分算子进行边缘检测，并做颜色量化处理，融合边缘曲线和量化图像生成个性化的卡通图像.该算法能够获得更清晰、完整、光滑和连续的边缘曲线，风格化图像的视觉显著性更强，保真度更高，并能通过系列图像的风格化转换自动生成个性化的卡通视频.ZHOU等[5]提出了一种数据驱动方法，用于自动构建人物面部的卡通化3D混合形状.给定真实面部表情的预定义混合形状模板和由艺术家创建的相应卡通化混合形状模板，在真实和卡通面部空间中表示身份的混合形状，借助卡通化的混合形状模板和学习的映射自动构建人物的卡通化混合形状.成功地保留了艺术风格和不同人物的个性化表达.
卡通面孔通过面部表情传达基本情绪状态.ZHAO等[6]使用行为研究方法和事件相关电位，对17名大学生进行了面部表情识别实验，以比较卡通人脸与真人脸的处理.ZHANG等[7]提出了一种数据驱动方法，通过离线分析从数据库中选择并组合面部组件；从给定的肖像图像中自动生成不同风格的卡通人脸，具有一定的通用性和稳健性.李倩影等[8]提出了一种基于人脸匹配的卡通化方案.
图像的油画风格化绘制是将一幅输入的真实图像转化成具有油画风格的绘画作品，黄华等[9]进行了图像和视频油画风格化的研究，详述了基于模拟、学习、视频序列和视频体的绘制技术.WANG等[10]提出的视频卡通化框架包括色彩空间转换、双边滤波、色彩量化和边缘检测.实现了两个版本的算法，能够实时处理视频.CHEN等[11]提出了一种用于卡通风格化的生成对抗网络框架的解决方案，基于学习的方法解决了语义内容及边缘丢失的问题，将现实世界场景的照片转换为卡通风格的图像.SHAHCHERAGHI等[12]提出了一种非锐化掩模过程来强调最终输出视频中的特征细节，以改进视频卡通化的效果.YANG等[13]提出了一种基于语义语法模型的有效框架，利用肖像语义来丰富和操纵漫画风格，用于将输入的人像图像转换为艺术卡通风格.GAO等[14]提出了一种新的基于密集描述符的模型，用于从脸部照片中合成脸部动画，生成卡通肖像和卡通素描两种风格化的脸部漫画.
由于卡通化风格具有高级简化和抽象的独特特征，以及卡通图像倾向于具有清晰的边缘、平滑的颜色阴影和相对简单的事实，现有方法不能产生令人满意的卡通化结果.本文将所采集的图像变成卡通风格分以下几步：首先进行饱和度提升；然后做保边滤波(区域平滑)，将区域内部的细节弱化乃至去除；最后，在此基础上进行边缘检测，从原图中减去边缘像素，以突出显示边缘线条.
0. 引言
图像风格化也称为图像卡通化，图像的卡通风格渲染是艺术风格渲染的一个分支，与真实感渲染相比，非真实感渲染更专注于图像的个性化表现和艺术性，大量运用于电影及游戏等产业中，具有重要的研究意义和应用价值[1].卡通图像一般由一些高度抽象的有意义区域组成，区域边界清晰并由光滑连贯的线条组成；此外，不同于自然图像亮度的连续变化，卡通图像的亮度是突变的且对比度高.图像卡通风格渲染通常要解决以下三个关键问题：其一，如何从原图像中划分出有意义的区域；其二，如何获取光滑、连贯清晰的区域边界；其三，如何调整图像的亮度，使渲染出的图像明暗变化符合卡通画的特点[2].
图像的卡通化作为一种新兴的文化产业受到越来越多国内外视觉领域专家学者的关注和研究，并提出了多种实现图像卡通化的方法.
梅洪等[2]针对现有图像卡通化渲染算法区域划分不明显或提取的边界不够连贯的问题，提出了一种基于Mean Shift和FDoG的图像卡通化渲染方法.该方法通过区域分割与边界处理相融合的手段，获取区域明晰、边界光滑连贯的卡通对象，同时结合亮度量化策略等后处理技术净化对象，获得具有卡通效果的图像.该方法实现简单，自动化程度较高，实验结果较理想.张群等[3]提出了一种新型的视频图像卡通化处理方案，首先根据视觉显著性模型从输入的视频图像中计算出一张视觉注意力函数图，并将视频图像转换到Lab色彩空间；在视觉注意图的指导下对低对比度区域用迭代的可分离双边滤波器做平滑操作，对高对比度区域用DoG算子作线条增强；最后用颜色的软量化算子处理亮度通道，使之生成类似于卡通化的颜料块效果，同时加深各边界之间的不连续性.实验表明，在视觉上更能体现出卡通化的效果.
曾冬梅[4]提出一种基于冲击滤波器的视频图像卡通化算法，应用改进的冲击滤波器对彩色视频图像进行颜色聚类和噪声消除，对冲击滤波后的图像使用高斯差分算子进行边缘检测，并做颜色量化处理，融合边缘曲线和量化图像生成个性化的卡通图像.该算法能够获得更清晰、完整、光滑和连续的边缘曲线，风格化图像的视觉显著性更强，保真度更高，并能通过系列图像的风格化转换自动生成个性化的卡通视频.ZHOU等[5]提出了一种数据驱动方法，用于自动构建人物面部的卡通化3D混合形状.给定真实面部表情的预定义混合形状模板和由艺术家创建的相应卡通化混合形状模板，在真实和卡通面部空间中表示身份的混合形状，借助卡通化的混合形状模板和学习的映射自动构建人物的卡通化混合形状.成功地保留了艺术风格和不同人物的个性化表达.
卡通面孔通过面部表情传达基本情绪状态.ZHAO等[6]使用行为研究方法和事件相关电位，对17名大学生进行了面部表情识别实验，以比较卡通人脸与真人脸的处理.ZHANG等[7]提出了一种数据驱动方法，通过离线分析从数据库中选择并组合面部组件；从给定的肖像图像中自动生成不同风格的卡通人脸，具有一定的通用性和稳健性.李倩影等[8]提出了一种基于人脸匹配的卡通化方案.
图像的油画风格化绘制是将一幅输入的真实图像转化成具有油画风格的绘画作品，黄华等[9]进行了图像和视频油画风格化的研究，详述了基于模拟、学习、视频序列和视频体的绘制技术.WANG等[10]提出的视频卡通化框架包括色彩空间转换、双边滤波、色彩量化和边缘检测.实现了两个版本的算法，能够实时处理视频.CHEN等[11]提出了一种用于卡通风格化的生成对抗网络框架的解决方案，基于学习的方法解决了语义内容及边缘丢失的问题，将现实世界场景的照片转换为卡通风格的图像.SHAHCHERAGHI等[12]提出了一种非锐化掩模过程来强调最终输出视频中的特征细节，以改进视频卡通化的效果.YANG等[13]提出了一种基于语义语法模型的有效框架，利用肖像语义来丰富和操纵漫画风格，用于将输入的人像图像转换为艺术卡通风格.GAO等[14]提出了一种新的基于密集描述符的模型，用于从脸部照片中合成脸部动画，生成卡通肖像和卡通素描两种风格化的脸部漫画.
由于卡通化风格具有高级简化和抽象的独特特征，以及卡通图像倾向于具有清晰的边缘、平滑的颜色阴影和相对简单的事实，现有方法不能产生令人满意的卡通化结果.本文将所采集的图像变成卡通风格分以下几步：首先进行饱和度提升；然后做保边滤波(区域平滑)，将区域内部的细节弱化乃至去除；最后，在此基础上进行边缘检测，从原图中减去边缘像素，以突出显示边缘线条.
1. 卡通化模型的建立
本文建立的图像卡通化模型包括以下几步：(1)饱和度提升；(2)保边滤波(区域平滑)；(3)边缘检测，然后从原图中减去边缘像素，以突出显示边缘线条.其中饱和度提升放在最开始也可以放在最后一步进行，但是(2)和(3)最好依次进行，因为如果先进行边缘检测的话，会将区域内部的某些明暗光影等检测出来，而这些是不希望过分突出的部分；而先进行保边滤波，就可以将区域内部的细节弱化乃至去除，在此基础上再进行边缘检测，效果就会好得多.流程图如图 1所示.
1. 卡通化模型的建立
本文建立的图像卡通化模型包括以下几步：(1)饱和度提升；(2)保边滤波(区域平滑)；(3)边缘检测，然后从原图中减去边缘像素，以突出显示边缘线条.其中饱和度提升放在最开始也可以放在最后一步进行，但是(2)和(3)最好依次进行，因为如果先进行边缘检测的话，会将区域内部的某些明暗光影等检测出来，而这些是不希望过分突出的部分；而先进行保边滤波，就可以将区域内部的细节弱化乃至去除，在此基础上再进行边缘检测，效果就会好得多.流程图如图 1所示.
1.1 饱和度提升
通过插值-外推法提升图像饱和度[15].在两个图像之间进行插值和外推，为许多常见的图像像素点和区域的处理提供了通用、统一的方法.图像的亮度、对比度、饱和度、色调和清晰度都可以通过一个公式单独或同时控制.在某些情况下，还具有一定的性能优势.
通常用线性插值融合两个图像.融合因子为α和1-α，用于计算每个像素的每个分量的加权平均值.通过线性插值融合两个图像Img0、Img1，其α的取值一般为0~1之间，插值-外推算法如式(1)所示.
Imgout =(1−α)×Img0+α×Img1, (1) 其中：Img0为退化图像，Img1为原始图像，Imgout为饱和度提升图像.原始图像Img1经过灰度化后得到图像Img_gray1，将Img_gray1的灰度值分别作为图像的RGB三个通道，如式(2)所示，构成退化图像Img0.
{Img0(:,:,1)=Img_gray1,Img0(:,:,2)=Img_gray1,Img0(:,:,3)=Img_gray1. (2) 外推法可以有效地使得原始图像“远离”其退化图像.如果要提升图像的饱和度，则进行远离其黑白版的退化图像的外推.插值-外推公式(1)提供单参数控制，可以显示一系列图像，每个图像的亮度、对比度、清晰度、颜色及饱和度都不同，特别易于计算，并且可以引入硬件加速.
要改变饱和度，像素分量必须朝向或远离像素的亮度值移动.通过使用黑白版本的图像作为退化图像，可以使用插值来减少饱和度，并且使用外推来增加饱和度.这避免了转换为HSV空间的计算量.在交互式应用程序中可以快速进行α取值的调整，更新速度快，因为不需要重新计算每个像素的亮度值.图 2显示不同的α取值所对应的饱和度图像.
1.1 饱和度提升
通过插值-外推法提升图像饱和度[15].在两个图像之间进行插值和外推，为许多常见的图像像素点和区域的处理提供了通用、统一的方法.图像的亮度、对比度、饱和度、色调和清晰度都可以通过一个公式单独或同时控制.在某些情况下，还具有一定的性能优势.
通常用线性插值融合两个图像.融合因子为α和1-α，用于计算每个像素的每个分量的加权平均值.通过线性插值融合两个图像Img0、Img1，其α的取值一般为0~1之间，插值-外推算法如式(1)所示.
Imgout =(1−α)×Img0+α×Img1, (1) 其中：Img0为退化图像，Img1为原始图像，Imgout为饱和度提升图像.原始图像Img1经过灰度化后得到图像Img_gray1，将Img_gray1的灰度值分别作为图像的RGB三个通道，如式(2)所示，构成退化图像Img0.
{Img0(:,:,1)=Img_gray1,Img0(:,:,2)=Img_gray1,Img0(:,:,3)=Img_gray1. (2) 外推法可以有效地使得原始图像“远离”其退化图像.如果要提升图像的饱和度，则进行远离其黑白版的退化图像的外推.插值-外推公式(1)提供单参数控制，可以显示一系列图像，每个图像的亮度、对比度、清晰度、颜色及饱和度都不同，特别易于计算，并且可以引入硬件加速.
要改变饱和度，像素分量必须朝向或远离像素的亮度值移动.通过使用黑白版本的图像作为退化图像，可以使用插值来减少饱和度，并且使用外推来增加饱和度.这避免了转换为HSV空间的计算量.在交互式应用程序中可以快速进行α取值的调整，更新速度快，因为不需要重新计算每个像素的亮度值.图 2显示不同的α取值所对应的饱和度图像.
1.2 保边滤波
双边滤波器(Bilateral filter)是一种可以保边去噪的非线性滤波器，在滤除图像中噪声的同时，还会保留图像的边缘、纹理等信息，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的[16].常用的维纳滤波及高斯滤波，都因去噪而产生较明显的模糊边缘，对于高频细节的保护效果不佳[17, 18].
双边滤波器的原理是: 在平坦区域，像素差值较小，对应值域权重r接近于1，此时空域权重d起主要作用，相当于直接对此区域进行高斯模糊；在边缘区域，像素差值较大，值域系数下降，导致此处核函数下降(因w=r*d)，当前像素受到的影响就小，从而保持了边缘的细节信息.其目的是抑制与中心像素值差异较大的像素(即使空域相距较近).计算方法为：对每一个邻域像素点，计算出其对应的空域系数和值域系数，相乘得到总的系数，然后进行加权求和.
对于低频信息进行较好的滤波. 图 3(a)、(b)和(c)依次示意了滤波前的像素分布、有边缘时的权重系数分布和最后的滤波效果，从图 3(b)中可以看出权重系数在边界处有很明显的分界.因而，对图像进行边缘保留滤波时，以边界处为分界，滤波后的某个像素值几乎只和与该像素同属一侧的像素值有关[19].
双边滤波和高斯滤波一样，使用一个卷积核(模板矩阵)，叠加到待处理像素点上，使用对应邻域像素点的加权求和作为新的输出像素点的值.通过卷积模板对图像进行加权平均来更新每个像素的灰度值.卷积模板中的系数w(i, j, k, l)为一个与空间距离相关的高斯函数d(i, j, k, l)、一个与灰度距离相关的高斯函数r(i, j, k, l)相乘.d(i, j, k, l)计算公式如下所示.
d(i,j,k,l)=exp(−(i−k)2+(j−l)22σ2d), (3) 其中：(i, j)为当前点的位置，(k, l)为中心点的位置，σd2为空间域标准平方差.
灰度距离指的是当前点灰度与中心点灰度的差的绝对值，其高斯函数r(i, j, k, l)表达式为：
r(i,j,k,l)=exp(−‖ (4) 其中：f(i, j)为当前点的灰度值，f(k, l)为中心点的灰度值.
两者对应的权重系数相乘，即
w(i, j, k, l)=d(i, j, k, l) \times r(i, j, k, l), (5) 得到最后的权重系数w(i, j, k, l).双边滤波器中，输出像素g(i, j)的值依赖于邻域像素的值的加权组合.
g(i, j)=\frac{\sum\limits_{k, l} f(k, l) w(i, j, k, l)}{\sum\limits_{k, l} w(i, j, k, l)}. (6) 1.2 保边滤波
双边滤波器(Bilateral filter)是一种可以保边去噪的非线性滤波器，在滤除图像中噪声的同时，还会保留图像的边缘、纹理等信息，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的[16].常用的维纳滤波及高斯滤波，都因去噪而产生较明显的模糊边缘，对于高频细节的保护效果不佳[17, 18].
双边滤波器的原理是: 在平坦区域，像素差值较小，对应值域权重r接近于1，此时空域权重d起主要作用，相当于直接对此区域进行高斯模糊；在边缘区域，像素差值较大，值域系数下降，导致此处核函数下降(因w=r*d)，当前像素受到的影响就小，从而保持了边缘的细节信息.其目的是抑制与中心像素值差异较大的像素(即使空域相距较近).计算方法为：对每一个邻域像素点，计算出其对应的空域系数和值域系数，相乘得到总的系数，然后进行加权求和.
对于低频信息进行较好的滤波. 图 3(a)、(b)和(c)依次示意了滤波前的像素分布、有边缘时的权重系数分布和最后的滤波效果，从图 3(b)中可以看出权重系数在边界处有很明显的分界.因而，对图像进行边缘保留滤波时，以边界处为分界，滤波后的某个像素值几乎只和与该像素同属一侧的像素值有关[19].
双边滤波和高斯滤波一样，使用一个卷积核(模板矩阵)，叠加到待处理像素点上，使用对应邻域像素点的加权求和作为新的输出像素点的值.通过卷积模板对图像进行加权平均来更新每个像素的灰度值.卷积模板中的系数w(i, j, k, l)为一个与空间距离相关的高斯函数d(i, j, k, l)、一个与灰度距离相关的高斯函数r(i, j, k, l)相乘.d(i, j, k, l)计算公式如下所示.
d(i, j, k, l)=\exp \left(-\frac{(i-k)^2+(j-l)^2}{2 \sigma_{\mathrm{d}}^2}\right), (3) 其中：(i, j)为当前点的位置，(k, l)为中心点的位置，σd2为空间域标准平方差.
灰度距离指的是当前点灰度与中心点灰度的差的绝对值，其高斯函数r(i, j, k, l)表达式为：
r(i, j, k, l)=\exp \left(-\frac{\|f(i, j)-f(k, l)\|^2}{2 \sigma_\mathrm{r}^2}\right), (4) 其中：f(i, j)为当前点的灰度值，f(k, l)为中心点的灰度值.
两者对应的权重系数相乘，即
w(i, j, k, l)=d(i, j, k, l) \times r(i, j, k, l), (5) 得到最后的权重系数w(i, j, k, l).双边滤波器中，输出像素g(i, j)的值依赖于邻域像素的值的加权组合.
g(i, j)=\frac{\sum\limits_{k, l} f(k, l) w(i, j, k, l)}{\sum\limits_{k, l} w(i, j, k, l)}. (6) 1.3 边沿检测及去除
边缘检测是为了将其周围像素灰度有阶跃变化的像素检测出来，这些像素组成的集合就是该图像的边缘[20].比较常用的边缘检测算子有Sobel、Roberts、Prewitt、Laplace等，通过考察每个像素在某个领域内灰度的变化，然后利用边缘临近一阶或二阶方向导数变化规律检测边缘，即边缘检测局部算法.
Sobel算子是用于图像边缘检测的算子之一，该算子是离散的一阶差分算子，包含两组3×3的矩阵，将之与图像作平面卷积，分别用来计算图像在横向及纵向的一阶梯度(水平边缘和垂直边缘).其公式如下:
G_x=\left[\begin{array}{lll} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{array}\right] * \boldsymbol{A}, G_y=\left[\begin{array}{ccc} -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{array}\right] * \boldsymbol{A}, (7) 其中: A为原始图像，Gx和Gy分别表示经过水平和垂直边缘检测的图像灰度值.
采用式(8)计算图像中各个像素的灰度值G的大小.
G=\sqrt{G_x^2+G_y^2} . (8) 与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好[21].由于Sobel算子是滤波算子，可以利用快速卷积函数提取边缘，简单有效，因此应用广泛.但是Sobel算子没有基于图像灰度进行处理，无法严格地模拟人的视觉生理特征，所提取的图像轮廓有时并不能令人满意.
所采集的原始图像，经过饱和度提升、保边滤波的处理，已经具备卡通化的风格，为了突出卡通化图像的边沿，将通过sobel算子检测到的边沿的像素设置为0，即实现了边沿去除，达到了突出边沿的效果.
1.3 边沿检测及去除
边缘检测是为了将其周围像素灰度有阶跃变化的像素检测出来，这些像素组成的集合就是该图像的边缘[20].比较常用的边缘检测算子有Sobel、Roberts、Prewitt、Laplace等，通过考察每个像素在某个领域内灰度的变化，然后利用边缘临近一阶或二阶方向导数变化规律检测边缘，即边缘检测局部算法.
Sobel算子是用于图像边缘检测的算子之一，该算子是离散的一阶差分算子，包含两组3×3的矩阵，将之与图像作平面卷积，分别用来计算图像在横向及纵向的一阶梯度(水平边缘和垂直边缘).其公式如下:
G_x=\left[\begin{array}{lll} -1 & 0 & 1 \\ -2 & 0 & 2 \\ -1 & 0 & 1 \end{array}\right] * \boldsymbol{A}, G_y=\left[\begin{array}{ccc} -1 & -2 & -1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{array}\right] * \boldsymbol{A}, (7) 其中: A为原始图像，Gx和Gy分别表示经过水平和垂直边缘检测的图像灰度值.
采用式(8)计算图像中各个像素的灰度值G的大小.
G=\sqrt{G_x^2+G_y^2} . (8) 与Prewitt算子相比，Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果更好[21].由于Sobel算子是滤波算子，可以利用快速卷积函数提取边缘，简单有效，因此应用广泛.但是Sobel算子没有基于图像灰度进行处理，无法严格地模拟人的视觉生理特征，所提取的图像轮廓有时并不能令人满意.
所采集的原始图像，经过饱和度提升、保边滤波的处理，已经具备卡通化的风格，为了突出卡通化图像的边沿，将通过sobel算子检测到的边沿的像素设置为0，即实现了边沿去除，达到了突出边沿的效果.
2. 结果与分析
2. 结果与分析
2.1 饱和度提升及效果
将原始图像(如图 4(a)所示)进行灰度化，并作为退化图像(如图 4(b)所示)的RGB三个通道.采用本文的方法对原始图像进行图像饱和度提升，结果如图 4(c)所示.
图像处理应用程序经常通过连续改变单个参数来交互式地处理图像，产生多个操作结果，来实现各种各样的效果.图像的插值和外推可以是一种统一的方法，只需改变相关参数值就支持许多常见图像处理操作的功能.
退化图像和原始图像的融合是线性操作，由于退化图像有时更容易计算，因此外推法可以提供更有效的方法来实现饱和度提升的效果.该算法可用于图像卡通化的应用，以轻松实现饱和度的提升，唯一需要做的改变是将α的取值从0~1的范围，调整为0~2.不少常用的图形软件包将插值限制在0~1的范围内，影响了处理效果，开发应用程序时应该考虑到参数设定的范围及合理性，便于实时操作及获得有效的结果.
2.1 饱和度提升及效果
将原始图像(如图 4(a)所示)进行灰度化，并作为退化图像(如图 4(b)所示)的RGB三个通道.采用本文的方法对原始图像进行图像饱和度提升，结果如图 4(c)所示.
图像处理应用程序经常通过连续改变单个参数来交互式地处理图像，产生多个操作结果，来实现各种各样的效果.图像的插值和外推可以是一种统一的方法，只需改变相关参数值就支持许多常见图像处理操作的功能.
退化图像和原始图像的融合是线性操作，由于退化图像有时更容易计算，因此外推法可以提供更有效的方法来实现饱和度提升的效果.该算法可用于图像卡通化的应用，以轻松实现饱和度的提升，唯一需要做的改变是将α的取值从0~1的范围，调整为0~2.不少常用的图形软件包将插值限制在0~1的范围内，影响了处理效果，开发应用程序时应该考虑到参数设定的范围及合理性，便于实时操作及获得有效的结果.
2.2 保边滤波的效果
将经过饱和度提升的图像转为灰度图像，并使用半径为10的卷积模板对该灰度图像进行边缘保留滤波，滤除图像中的噪声，同时还会保留图像的边缘、纹理等信息，效果如图 5所示.
对于低频信息进行较好的滤波.值域方差σr为亮度值，设定为3；空域的方差σd为滤波器尺寸，即像素邻域“直径”，设定为10.大部分精细纹理已被过滤掉，但所有轮廓都与原始图像一样清晰.建筑物及树木的外观及边界保持不变，精细的纹理被过滤掉，不再具备原始图像的细腻性.但是全部的边缘着色被保留，因为色彩信息完全在滤波器的频带内，并且几乎不受空域滤波器的影响.
σd较大，则在邻域中的像素值相差较大的像素点也会用来平均.σr较大，则虽然离得较远，但是，只要值相近，就会互相影响.将σr设置较小，σd设置较大，可获得较好的卡通化效果.
2.2 保边滤波的效果
将经过饱和度提升的图像转为灰度图像，并使用半径为10的卷积模板对该灰度图像进行边缘保留滤波，滤除图像中的噪声，同时还会保留图像的边缘、纹理等信息，效果如图 5所示.
对于低频信息进行较好的滤波.值域方差σr为亮度值，设定为3；空域的方差σd为滤波器尺寸，即像素邻域“直径”，设定为10.大部分精细纹理已被过滤掉，但所有轮廓都与原始图像一样清晰.建筑物及树木的外观及边界保持不变，精细的纹理被过滤掉，不再具备原始图像的细腻性.但是全部的边缘着色被保留，因为色彩信息完全在滤波器的频带内，并且几乎不受空域滤波器的影响.
σd较大，则在邻域中的像素值相差较大的像素点也会用来平均.σr较大，则虽然离得较远，但是，只要值相近，就会互相影响.将σr设置较小，σd设置较大，可获得较好的卡通化效果.
2.3 边缘检测及去除效果
原始图像经过饱和度提升、保边滤波的处理，已经具备卡通化的风格，为了突出卡通化图像的边沿，将保边滤波图像转变为灰度图像，如图 6(a)所示.然后采用Sobel算子对该灰度图像进行边沿检测，如图 6(b)所示.
将通过Sobel算子检测到的边沿的像素设置为0，即实现了边沿去除，达到了突出边沿的效果.对保边滤波图像的边沿像素的值分别减小100%、50%和25%，效果分别如图 7(a)、(b)、(c)所示.
边沿像素的值减小100%即边沿全部去除，在图 7(a)中的边沿痕迹明显，较为突兀.边缘像素的值减小50%，从图 7(b)可以看到，部分窗户、草坪边沿及建筑物边沿的修改痕迹已变得稍微和缓一些.边沿像素的值减小25%，图 7(c)的边缘修改痕迹基本看不出来，满足卡通化风格的要求.
2.3 边缘检测及去除效果
原始图像经过饱和度提升、保边滤波的处理，已经具备卡通化的风格，为了突出卡通化图像的边沿，将保边滤波图像转变为灰度图像，如图 6(a)所示.然后采用Sobel算子对该灰度图像进行边沿检测，如图 6(b)所示.
将通过Sobel算子检测到的边沿的像素设置为0，即实现了边沿去除，达到了突出边沿的效果.对保边滤波图像的边沿像素的值分别减小100%、50%和25%，效果分别如图 7(a)、(b)、(c)所示.
边沿像素的值减小100%即边沿全部去除，在图 7(a)中的边沿痕迹明显，较为突兀.边缘像素的值减小50%，从图 7(b)可以看到，部分窗户、草坪边沿及建筑物边沿的修改痕迹已变得稍微和缓一些.边沿像素的值减小25%，图 7(c)的边缘修改痕迹基本看不出来，满足卡通化风格的要求.
2.4 效果分析
对多组图像进行处理，如图 8所示，并分析其效果.
建筑物的原始图像图为图 8(a)；采用本文所提出算法进行卡通化，得到图 8(b)，从图中可以发现，保留了建筑物较为分明的边缘信息，并对墙面等低频信息进行了滤波，整体画面的饱和度有明显的提升，具备卡通化的风格；本文通过百度搜索“图像卡通化”，将搜索页面排第一位的商业化应用网站kusocartoon.com所提出的算法对原始图像(图 8(a))进行卡通化，得到图 8(c)，可发现墙体的颜色变化较大，部分墙体和建筑的边沿信息丢失，图片上部的天空出现了四个明显的层次感，树木的颜色和细节丢失严重.
海边山上的建筑的原始图像为图 8(d); 采用本文所提出算法进行卡通化得到图 8(e)，该图中的远方山体、海面等具备卡通化效果；本文将kusocartoon.com所提出的算法对原始图像图进行卡通化得到图为8(f)，该图中云朵、海水、远山等颜色信息丢失严重，山体上的树木信息丢失，建筑的对比度降低，颜色不如原始图像艳丽，卡通化效果不理想.
由对比可得知，本文所提出的算法的卡通化效果较好，细节信息得以保留.由于卡通化的效果，需要人工主观评估，针对不同场景，算法中的相关参数可做适当调整，增加观测样本及专业判读人员的数量，对提升卡通化的效果具有较大的帮助.
2.4 效果分析
对多组图像进行处理，如图 8所示，并分析其效果.
建筑物的原始图像图为图 8(a)；采用本文所提出算法进行卡通化，得到图 8(b)，从图中可以发现，保留了建筑物较为分明的边缘信息，并对墙面等低频信息进行了滤波，整体画面的饱和度有明显的提升，具备卡通化的风格；本文通过百度搜索“图像卡通化”，将搜索页面排第一位的商业化应用网站kusocartoon.com所提出的算法对原始图像(图 8(a))进行卡通化，得到图 8(c)，可发现墙体的颜色变化较大，部分墙体和建筑的边沿信息丢失，图片上部的天空出现了四个明显的层次感，树木的颜色和细节丢失严重.
海边山上的建筑的原始图像为图 8(d); 采用本文所提出算法进行卡通化得到图 8(e)，该图中的远方山体、海面等具备卡通化效果；本文将kusocartoon.com所提出的算法对原始图像图进行卡通化得到图为8(f)，该图中云朵、海水、远山等颜色信息丢失严重，山体上的树木信息丢失，建筑的对比度降低，颜色不如原始图像艳丽，卡通化效果不理想.
由对比可得知，本文所提出的算法的卡通化效果较好，细节信息得以保留.由于卡通化的效果，需要人工主观评估，针对不同场景，算法中的相关参数可做适当调整，增加观测样本及专业判读人员的数量，对提升卡通化的效果具有较大的帮助.
3. 结语
通过提取原始图像的退化图像，采用插值-外推法进行图像饱和度提升；采用双边滤波器进行保边滤波，考虑到被滤波的像素点的空域和值域信息，达到保持边缘、降噪平滑的效果；最后通过边缘检测及去除等处理，实现了图像的卡通化.通过对边沿像素值去除率的实验，发现边缘像素的值减小25%时效果较好.后续将开展人物图像卡通化的研究及应用程序交互界面的设计等工作.
3. 结语
通过提取原始图像的退化图像，采用插值-外推法进行图像饱和度提升；采用双边滤波器进行保边滤波，考虑到被滤波的像素点的空域和值域信息，达到保持边缘、降噪平滑的效果；最后通过边缘检测及去除等处理，实现了图像的卡通化.通过对边沿像素值去除率的实验，发现边缘像素的值减小25%时效果较好.后续将开展人物图像卡通化的研究及应用程序交互界面的设计等工作.
-
[1] 杨玲丽. 数字图像的风格化绘制[D]. 济南: 山东大学, 2014. YANG Lingli. The stylized drawing of digital images[D]. Jinan: Shandong University, 2014.
[2] 梅洪, 陈昭炯. 基于Mean Shift和FDoG的图像卡通化渲染[J]. 计算机工程与应用, 2016, 52(10): 213-217. doi: 10.3778/j.issn.1002-8331.1407-0015 MEI Hong, CHEN Zhaojiong. Image cartoon style rendering based on mean shift and FDoG[J]. Computer Engineering and Applications, 2016, 52(10): 213-217. doi: 10.3778/j.issn.1002-8331.1407-0015
[3] 张群, 陈锻生. 基于视觉注意力的视频图像卡通化技术[J]. 微型机与应用, 2013, 32(10): 45-47. doi: 10.3969/j.issn.1674-7720.2013.10.015 ZHANG Qun, CHEN Duansheng. Converting video image to cartoon-based visual attention[J]. Microcomputer & Its Applications, 2013, 32(10): 45-47. doi: 10.3969/j.issn.1674-7720.2013.10.015
[4] 曾冬梅, 陈锻生. 基于冲击滤波器的视频图像卡通化算法[J]. 计算机工程, 2014, 40(4): 247-251. doi: 10.3969/j.issn.1000-3428.2014.04.048 ZENG Dongmei, CHEN Duansheng. Video image cartoonlization algorithm based on shock filter[J]. Computer Engineering, 2014, 40(4): 247-251. doi: 10.3969/j.issn.1000-3428.2014.04.048
[5] ZHOU Jingyong, WU Hsiangtao, LIU Zicheng, et al. 3D cartoon face rigging from sparse examples[J]. The Visual Computer, 2018(34): 1177-1187.
[6] ZHAO J, MENG Q, AN L, et al. An event-related potential comparison of facial expression processing between cartoon and real faces[J]. PLoS ONE, 2019, 14(1): e0198868. doi: 10.1371/journal.pone.0198868
[7] ZHANG Y, DONG W, MA C, et al. Data-driven synthesis of cartoon faces using different styles[J]. IEEE Transactions on Image Processing, 2017, 26(1): 464-478. doi: 10.1109/TIP.2016.2628581
[8] 李倩影, 陈锻生, 吴扬扬. 基于图像距离匹配的人脸卡通化技术[J]. 微型机与应用, 2014(10): 44-46. doi: 10.3969/j.issn.1674-7720.2014.10.015 LI Qianying, CHEN Duansheng, WU Yangyang. Cartoon face stylization based on image euclidean distance matching[J]. Microcomputer & Its Applications, 2014(10): 44-46. doi: 10.3969/j.issn.1674-7720.2014.10.015
[9] 黄华, 臧彧, 张磊. 图像和视频油画风格化研究[J]. 计算机科学, 2011, 38(6): 1-6, 27. doi: 10.3969/j.issn.1002-137X.2011.06.001 HUANG Hua, ZANG Yu, ZHANG Lei. Survey on image and video painterly rendering[J]. Computer Science, 2011, 38(6): 1-6, 27. doi: 10.3969/j.issn.1002-137X.2011.06.001
[10] WANG Q, CHEN D, LI S, et al. An adaptive cartoon-like stylization for color video in real time[J]. Multimedia Tools & Applications, 2017, 76(15): 1-16.
[11] CHEN Y, LAI Y K, LIU Y J. Cartoon GAN: Generative adversarial networks for photo cartoonization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018: 9465-9474.
[12] SHAHCHERAGHI Z, SEE J. On the effects of pre-and post-processing in video cartoonization with bilateral filters[C]//2013 IEEE International Conference on Signal and Image Processing Applications (ICSIPA), 2013: 37-42.
[13] YANG M, LIN S, LUO P, et al. Semantics-driven portrait cartoon stylization[C]// IEEE International Conference on Image Processing, 2010: 1805-1808.
[14] GAO C, SHENG B, SHEN R. Structure-preserved face cartoonization[J]. International Conference on Neural Information Processing, 2017: 622-631.
[15] HAEBERLI P, VOORHIES D. Image processing by linear interpolation and extrapolation[J]. IRIS Universe Magazine, 1994(28): 8-9.
[16] 袁宇丽, 罗学刚. 相位一致性加权的引导图像滤波去噪算法[J]. 信阳师范学院学报(自然科学版), 2017, 30(3): 464-468. doi: 10.3969/j.issn.1003-0972.2017.03.025 YUAN Yuli, LUO Xuegang. Weighted guided image filtering algorithm using phase congruency for image denoising[J]. Journal of Xinyang Normal University (Natural Science Edition), 2017, 30(3): 464-468. doi: 10.3969/j.issn.1003-0972.2017.03.025
[17] 徐书欣, 葛洪央. 形态小波和对比敏感度函数结合的图像融合算法[J]. 信阳师范学院学报(自然科学版), 2017, 30(3): 449-453. doi: 10.3969/j.issn.1003-0972.2017.03.022 XU Shuxin, GE Hongyang. MW and CSF-based image fusion algorithm in fault diagnosis[J]. Journal of Xinyang Normal University (Natural Science Edition), 2017, 30(3): 449-453. doi: 10.3969/j.issn.1003-0972.2017.03.022
[18] 马丽, 罗晓军, 王世秀. 基于局部统计特性的滤波算法[J]. 信阳师范学院学报(自然科学版), 2008, 21(4): 597-600. doi: 10.3969/j.issn.1003-0972.2008.04.033 MA Li, LUO Xiaojun, WANG Shixiu. A new filter based on local statistical characteristics[J]. Journal of Xinyang Normal University (Natural Science Edition), 2008, 21(4): 597-600. doi: 10.3969/j.issn.1003-0972.2008.04.033
[19] 高严, 郭洪强, 王钧, 等. 基于动态曲线的车道检测算法[J]. 计算机科学与应用, 2018, 8(12): 1791-1797. GAO Yan, GUO Hongqiang, WANG Jun, et al. Lane detection algorithm based on dynamic curve[J]. Computer Science and Application, 2018, 8(12): 1791-1797.
[20] 王永皎, 郭力争. 基于图像处理技术的尺寸测量中边缘定位算法[J]. 信阳师范学院学报(自然科学版), 2014, 27(1): 135-138. doi: 10.3969/j.issn.1003-0972.2014.01.035 WANG Yongjiao, GUO Lizheng. Edge location algorithm of size measurement of image processing technology[J]. Journal of Xinyang Normal University (Natural Science Edition), 2014, 27(1): 135-138. doi: 10.3969/j.issn.1003-0972.2014.01.035
[21] 陆宗骐, 梁诚. 用Sobel算子细化边缘[J]. 中国图象图形学报, 2000, 5(6): 516-520. doi: 10.3969/j.issn.1006-8961.2000.06.015 LU Zongqi, LIANG Cheng. Edge thinning based on Sobel operator[J]. Journal of Image and Graphics, 2000, 5(6): 516-520. doi: 10.3969/j.issn.1006-8961.2000.06.015
-
期刊类型引用(2)
1. 姚建峰，郭旭展，宋新宇，王静贤，祁柯，代琪琦. 基于灰度图像的峰谷年轮识别方法研究. 信阳师范学院学报(自然科学版). 2022(03): 475-480 . 
本站查看
2. 陈晨，梁霄. 低照度下平面图像舒适色度范围测定方法. 吉林化工学院学报. 2022(05): 83-88 . 百度学术
其他类型引用(0)
下载:
计量
- 文章访问数: 3368
- HTML全文浏览量: 38
- PDF下载量: 25
- 被引次数: 2
