中国写意水墨画与其他绘画种类(如西方绘画)不同, 用寥寥几笔描述具体的景物对象或场景, 表达画家的创作意图及艺术个性. 写意水墨画以其独特的艺术性吸引越来越多的人学习创作水墨画, 包括没有绘画基础的业余爱好者. 同时, 目前大多数的图形类商业软件(如 Adobe® Illustrator, Adobe® Photoshop, CorelDRAW®等)均是支持中国艺术风格的生成工具. 然而, 生成高质量的绘画作品通常需要专业的知识与技能, 且现有的绘画工具在绘制技巧方面要求复杂和准确的输入, 同时, 某些利用风格迁移生成绘画的工具仅仅将特定的风格整体迁移至输入的对象, 极少考虑局部的笔画形态与颜色.
本文实现一种基于简单交互的绘画生成工具, 通过在真实的花卉照片上进行基于笔画的风格迁移, 可生成中国水墨画风格的绘画作品. 在实践中, 无论绘画零基础的用户, 还是绘画初学者和专家, 均可用简单的涂鸦式笔画生成高质量的绘画作品, 或提升绘画技巧.
1 相关工作
非真实感绘制 (non-photorealistic rendering, NPR)是指利用不同的笔刷模型, 输出具有艺术风格的笔画, 像手绘一样描绘特定的物体[1]. 近年来, 已有一些与 NPR 相关的优秀工作值得学习和借鉴. 主要有 3 个方面的工作.
1.1 基于物理的模型为了给用户提供直观、自然的感受, 像画笔一样的输入设备通过对笔或其他媒介的物理属性进行建模, 模拟绘画的物理过程. 其中, Curtis 等[2]利用浅水流体模拟方法模仿水彩的不同艺术效果. Chu等[3]设计一个实时绘画系统来模拟在具有吸收力的纸上墨扩散的效果. 同时, Xu 等[4]提出一种用于中国书法和绘画的“电子笔刷”, 仅用 4 种属性定义了真实画笔的基本特征. 目前, Chu 等[5]提出一系列技术, 解决了传统的三维笔刷模型中颜色细节过分损失和低效率计算的问题. Lu 等[6]提出一个交互式的数据驱动的绘画系统, 它可以利用真实媒体的扫描图像合成新的笔画, 避免了复杂的物理模拟的计算. 对于数字化绘画软件, 用户就像使用真实的画笔一样, 操控鼠标或数码笔进行绘画, 如Adobe® brush packages, ArtRage, 及Corel® Painter. 然而, 对于没有大量绘画经验的普通用户来说, 轻松而准确地操作虚拟画笔是复杂而困难的. 在物理仿真水墨画方面, 一些仿真系统实现了各类水墨画的典型艺术效果[7-9].
1.2 基于图像的模型与物理模型相比, 此类模型避免了大规模的计算量和复杂的操控. 基于笔画渲染的方法通过加入离散元素, 如笔画或点画, 被广泛地应用于自动将真实照片转换为绘画[10]. 在模拟西方绘画方面, Hertzmann 等[11]使用“图像类比”技术处理照片图像, 生成一些具有艺术效果的图像; 然而, 因为同一幅中国画图像的不同地方可能采用不同的风格进行绘制, 其算法无法区分这些地方, 所以它在处理中国绘画时, 得到的结果并不理想. 为了改进绘画渲染中笔画的定位效果, Zhao 等[12]提出一个笔画处理方法, 让用户通过控制一些直观的参数来简单地调整绘画风格. 在模拟东方绘画方面, 有一些工作模仿中国山水画里的一些特殊的艺术效果. 如 Way 等[13-14]合成出中国绘画中由皴法绘制的岩石纹理, 以及将中国传统山水画中 6 种主要的皴法纹理建模并应用到地形三维模型上. 方建文等[15]实现了水墨效果的三维角色模型在水墨效果场景中的实时漫游. Yu 等[16]通过收集若干笔画纹理, 合成出类似手绘作品中山和雾的典型纹理. 此外, Xu 等[17]利用一种墨迹模型从三维模型中提取分类的笔画, 并在模型表面附上典型的笔画纹理 (如勾、皴、染和点). 在文献[18-19]中, 通过量化笔画的笔法及其形状和墨色的艺术特征, 中国古代书法、绘画作品的书写与绘画过程被动态再现. Xie 等[20]设计了一个基于草绘的交互式系统, 通过笔画轨迹自动估算方法将真实的照片转换为日本的墨画绘画. 与本文的研究目的类似, Bang 等[21] 依据传统的东方绘画的技法, 将输入的照片图像自动生成类似东方手绘风格的图像. Dong 等[22]利用纹理映射及纹理合成技术也实现了自动生成具有中国水墨风格的图像. 然而, 大多数已有的关于模仿东方绘画风格的模型主要是处理整个图像, 而不是构成图像的笔画, 这样很难表达出中国画丰富且多变的艺术特性.
1.3 基于深度网络的模型随着深度学习等人工智能前沿技术的快速发展, 深度学习技术在绘画作品的合成方面取得了很好的效果: 在基于卷积神经网络(convolutional neural networks, CNN)的方法中, Gatys 等[23]通过基于 CNN 的风格迁移算法分离并再组合图像的内容与风格; Liao 等[24]的图像风格迁移方法通过 CNN 找到图像之间语义的对应关系, 从而实现图像光照、颜色、纹理和绘画风格的迁移和艺术图像合成. 在基于生成对抗网络(generative adversarial networks, GAN)的方法中, 有通过 GAN 实现纹理合成与风格转换[25], 以及利用单一的网络生成不同风格的图像[26-27]. 对于集多种风格特点于一幅图像的中国绘画来说, 此类模型在区分风格区域及准确识别并提取特征的问题上存在一定的局限性.
2 本文方法概述
文中工具的核心设计思想是基于笔画的风格化方法. 以一条用户输入的线条为例, 图 1 展示了自动地将一幅真实的花卉照片图像风格化为一幅国画风格的绘画作品的中间结果以及最终结果. 该方法主要由 3 个部分组成:(1) 用户输入笔画的修正. 在用户在绘画样板图像 S I 上勾出风格笔画及在照片图像 P I 上勾出目标笔画后, 分析这些笔画附近的图像特征, 从而根据用户意图得到作为候选风格模板和骨架路径的准确的笔画轮廓. 值得注意的是, 因为中国写意绘画追求自由并崇尚个性化的艺术创作, 所以用户输入的骨架路径不需要严格地与 P I 上对象的实际边缘一致. (2) 最佳风格模板的选择. 一旦确定风格模板的候选笔画和目标笔画的骨架路径, 将把影响选择候选模板笔画的因素形式化为能量方程, 为骨架路径选择最佳的笔画. (3) 目标笔画的生成. 确定了风格模板和骨架路径之后, 通过笔画宽度计算和风格化纹理合成, 把风格模板上的风格特征映射至骨架路径, 包括笔画形状和墨色.
2.1 笔画的修正由于众所周知的“胖手指”问题, 触摸式设备的输入呈现准确性低、误差大的特征. 为了使本文方法具有鲁棒性和可操作性, 选择此类设备作为实现用户交互的平台. 给定一个用户笔画 s (其宽度由用户指定的手指宽度决定), 其中轴为 M , 笔画轮廓的两侧分别为 SL 和 S R , 对于照片 P I 上的 s , 为了保证自由和艺术创作的特性, 仅通过它的中轴对其进行修正; 对于绘画样本 S I 上的 s , 提出“相向搜索”算法来收紧 s 的两侧线条, 并准确地识别出绘画中对应的笔画(如图 2 所示), 它包括 2 个部分: (1) 假设 M , SL 和 S R 分别被拟合为非均匀有理 B 样条曲线 M( )t , SL ( )t 及 S R ( )t , 将曲线 M( )t 分为 n 段, 为了覆盖用户输入的笔画 s (手指轨迹), 再将一系列以手指宽度为直径的圆形分布在每条曲线段的端点处. 于是, 笔画轮廓的两侧与全部圆形相切的点将在 SL ( )t 和 S R ( )t 上分割出相同数目的片段, 且这些切点被看做 SL ( )t 和 S R ( )t 上的关键点. (2) 假设从 SL ( )t 到 S R ( )t 的线条的方向( )t 被定义为正向搜索方向, 若分别沿着 ( )t (红色箭头) 和 -( )t (绿色箭头)计算每个像素灰度值的方向导数 D 和 D- , 则在方向导数为全局最小值的点上重置关键点.
2.2 最佳风格模板的选择当用户在绘画样本上涂出不止一个风格笔画时, 上述笔画修正阶段将产生多个具有准确轮廓的候选风格笔画. 正如之前所讨论的, 若考虑中国绘画中笔画形态多种多样, 从候选笔画中选出最佳的笔画作为风格模板是困难的. 因此, 本文方法设计一个能量方程来自动地选出最佳笔画, 使它的骨架形态与照片上的骨架路径高度一致.
3 实验结果与分析
在 Windows 平台上, 应用 Matlab 与 C++编程技术, 本文实现一个实时的绘画工具(图 6 显示用户手指标记出的骨架路径和风格模板), 以操作系统为 Windows 10 的触屏笔记本电脑(主要配置为第 5 代 Microsoft Surface Pro, Intel® CoreTM i5 处理器和 8 GB 内存)作为测试设备.
本文利用大量包含花卉的照片和绘画作品进行测试, 如图 7 中的荷花小品画(即包含单一的绘画对象和小尺寸的画布), 输入不同的花卉照片(第 1 列), 根据不同的绘画风格(第 2 列), 本文的工具生成的高质量的绘画结果(第 3 列), 其中清晰可见与原画风格相似的笔画. 图 8~图 10 中的牵牛花、梅花及荷花的大幅绘画作品通过每一个笔画充分展示了原画中的风格细节, 体现了用户的创作意图以及国画完整的视觉效果和审美特征, 其中包含若干装饰元素, 如叶、茎、花蕊等. 图 8 和图 9 的右上角分别为牵牛花和梅花的照片, 左侧为指定经典的绘画风格, 文中工具生成相应的绘画作品(右下角); 图 10 和图 11 的左侧为输入的绘画对象的照片, 右侧为实现的工具所生成的完整绘画作品, 且图 10 中的装饰元素直接取自输入的绘画图像并按用户意图置于结果中. 另外, 图 11 中的虾为热门绘画对象的代表.
3.1 装 饰一幅完整的绘画作品除了主要的对象外, 通常还包含一些装饰元素. 对于花卉画来说, 叶子、花蕊、茎和草常用来衬托花的美感, 并保证画面的完整性. 在多数绘画作品中, 装饰元素存在 2 种情况: (1) 用细线条绘制的完整的元素. 本文实现的工具允许用户直接从输入的绘画图像中选取元素, 并根据其意图通过简单的图像变换(平移、旋转及缩放)操作分布于结果图像中. (2) 绘制不完整的元素. 本文方法应用 Yu 等[16] 的算法将元素缺失的部分补充完整. 图 12 显示了荷叶图像被补充完整的实例: 其中, 左侧包含 2 张不完整的荷叶图, 右侧为依据已有算法填补出的完整荷叶. 图 10 第 1 幅绘画结果展示了由该元素装饰的整幅绘画效果.
3.2 局限性本文方法可以生成光滑且相对独立的笔画. 然而, 在某些情况下, 它并不能获得令人满意的结果. 如某些特殊技法产生的绘画效果, 像中国山水画中的皴法, 其中包含的笔画轮廓很难用样条曲线表示; 还有一种情况是由泼墨技法或多个相互重叠的笔画所生成的复杂绘画作品, 像西方油画, 图 12 装饰元素的缺失补充的示例因为颜色混合, 其中的多层纹理很难被分离. 而花卉水墨画是国画中极其重要的一类, 也是国画中最具代表性的画种, 它涵盖典型的笔画和常用的技法, 故本文方法已解决水墨画的多数情况, 具有通用性.
3.3 对比分析通过与相关方法进行对比, 证明了本文方法的有效性. 本文选择研究动机相似的 3 项研究成果进行对比. (1) 与商业软件 Adobe® Photoshop 软件生成的日本水墨画的效果对比. 如图 13 所示, 本文的工具所生成的具有中国绘画风格的图像更清晰地展现出水墨画局部笔画形态与颜色的风格特征. (2) 与 Xie 等[20]的交互式由照片生成日本水墨画的方法进行对比. 他们的方法围绕日本水墨画中的一般化的风格特点, 用 6 种纹理组合结合用户指定色彩对笔画中的绘画轨迹进行渲染; 而本文方法关注中国绘画名作中艺术家的高质量风格特征, 并依据笔画的形态合成出具有原画中的墨色风格的纹理. 如图 14 所示, 本文方法生成的结果更具丰富的纹理特征. (3) 与基于 CNN 图像风格迁移的方法[23]进行对比. 此类深度学习的技术处理风格迁移的问题具有一定的优势: 基于“黑盒”的学习模式可将图像的全部特征提取, 比人工提取图像规则更高效、准确; 然而, 它在处理多风格混合的图像(如中国绘画作品)时, 可能存在局限性, 如国画中的背景留白, 多种笔法技巧创作的不同风格的笔画纹理等. 如图 15所示, 与图 7中显示的本文方法的风格化结果相比, 其结果未能表现原有作品中的风格特征.
4 结 语
为了生成具有中国花卉水墨画风格的笔画, 本文提出了一个低交互要求的绘画工具; 它设计一种风格迁移的方法来降低用户绘画操作的复杂度和精准度. 利用文中论述的自动笔画修正、最佳风格模板选择、笔画宽度计算及纹理合成等技术, 可以沿着用户输入的粗略线条生成具有某种绘画风格的笔画. 总之, 本文认为该方法能帮助绘画知识有限的用户创作属于他们的作品, 同时, 在笔画的基础上实现对照片进行风格化的目的.
未来的工作将探索更多的景物对象和绘画风格, 如中国人物画和西方水彩画, 并把它们整合到现有的工作框架中, 以提高现有方法的通用性. 将深度学习技术与现有的方法相结合, 探索深度网络表征水墨画的风格的原理以及网络学习规则的方法. 本文笔画修正技术可能对中国水墨画与书法中交叉重叠笔画的拆分有所帮助, 因此, 基于草绘的笔画分割将是另一个值得研究的方向.
参考文献(References):
[1] Gooch B, Gooch A. Non-photorealistic rendering[M]. Wellesley: A K Peters Press, 2001
[2] Curtis C J, Anderson S E, Seims J E, et al. Computer-generated watercolor[C] //Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 1997: 421-430
《生成中国花卉水墨画的笔画风格化方法 》来源：《计算机辅助设计与图形学学报》，作者：杨丽洁1), 徐添辰2,3)*, 吴恩华2,3,4)
