精华内容
下载资源
问答
  • 像素风格设计
    千次阅读
    2020-04-01 23:44:21

    Unity Shader 之 像素风格(马赛克风格)的简单实现

     

    目录

    Unity Shader 之 像素风格(马赛克风格)的简单实现

    一、简单介绍

    更多相关内容
  • Aseprite 作为专业的像素绘画工具,它不同于我们常用到的 Photoshop 等,Aseprite 体积比较小,整个界面 UI 也以像素风格设计,功能上也是非常强大。当然大眼仔也给大家分享过日本的一款像素画绘制工具,它就是 ...
  • 问题:为什么要让网络生成“像素风格”,而非其他绘画风格的图像?“像素画风”有什么优势? (1)“像素艺术”是技术与艺术之间权衡(trade-off)的结果,因机器之局限性而诞生,或许也更适合用于机器自动生成。从...

    版权声明:禁止转载。(首发时间:2021-05-17,更新时间:2021-07-24) |  个人笔记,仅供参考。所列出的论文大多尚处于研究阶段。


    目录

    1. 案例:如何设计出全新的Pokémon角色?

    2. 基于深度学习的Pokémon角色设计

    2.1 基于GAN的方法

    2.2 基于文本生成的方法

    3. 分析:以“像素艺术”的形式设计卡通角色


    研究领域:计算机图形学,深度学习,图像生成(Image Generation)

    1. 案例:如何设计出全新的Pokémon角色?

           “宝可梦”(Pokémon)是拥有超过25年历史的著名IP(Intellectual Property),横跨ACG领域,即:动画(Animation)、漫画(Comics)、游戏(Games)。

           Pokémon角色由GAME FREAK公司负责设计。该公司的美术总监,在2019年的采访中(GAME FREAK美术总监谈Pokémon设计 [ref-3])表示:现在设计新的Pokémon角色,就像在拥挤的停车场中找车位一样困难随着角色总数的不断增加(目前已接近有1000种互不相同的Pokémon角色),设计出新角色的难度越来越大。(同时还需要考虑不与其他公司的动画/漫画/游戏角色重复。)

    目前已有近1000种互不相同的Pokémon角色
    © Nintendo, Creatures, GAME FREAK, TV Tokyo, ShoPro, JR Kikaku © Pokémon [ref-1]

    Pokémon角色设计(概念艺术设计)  ©GAME FREAK [ref-2]

    2. 基于深度学习的Pokémon角色设计

    问题能否用深度神经网络,来自动设计出新的Pokémon角色

               或者,作为设计师的辅助工具,为设计提供一些灵感(inspiration)?

               基于深度学习的AlphaGo能够轻松摆出专业棋手之前从未见过,且实力超群的围棋招式;那么深度学习能否设计出人类画家未曾想到,且符合美学要求的卡通角色


    问题:既然要研究自动生成Pokémon角色的算法,那么Pokémon角色的定义是什么?

               答案是没有明确的定义。甚至连The Pokémon Company也无法给出明确的定义:

    Pokémon的定义 [ref-6]:

    Pokémon: Mysterious Creatures You Catch with a Poké Ball.
    Pokémon are mysterious creatures filled with many secrets. Some Pokémon live alongside humans and some live in the wild in grassy fields, caves, or the sea, but much about their ecology that remains unknown. One of their main features is that they can be caught using a Poké Ball, which allows them to be carried around.

               笔者认为,这是一个没有形式化数学定义的开放型问题。如果存在明确的、形式化的定义,就不可能产生创新(inovation)。

               那么,如何有效地求解该问题?笔者认为,此问题可能不太适合使用(严格的、可在理论上证明的)数学算法求解。而“深度神经网络”、“基于数据驱动(data-driven)的方法”、“随机性算法”和“概率论”,或许能在一定程度上求解此问题。


    2.1 基于GAN的方法

    介绍:[译] 我用 GAN生成了上千只新的宝可梦  (基于AEGAN,图像分辨率96x96)

    提出时间:2020年8月

    (AEGAN论文:Autoencoding Generative Adversarial Networks,发表于2020年)

    作者选出部分较好的生成结果:

    (所有生成结果的版权,归Pokémon数据集版权方)

    2.2 基于文本生成的方法

    介绍:

        (1)程序员用GPT-2生成了3000个新的宝可梦

        (2)我用GPT-2创造了3000个Pokémon

    提出时间:2020年11月

    (GPT-2论文:Language Models are Unsupervised Multitask Learners,发表于2019年)

           作者挑选出部分较好的生成结果:

    作者挑选出部分较好的生成结果
    (所有生成结果的版权,归Pokémon数据集版权方)

           然后,作者请画家根据像素图绘制高清版本:

    分析:

           该方法使用的是自然语言处理NLP领域中,基于Transformer的大规模预训练语言模型GPT-2(Generative Pre-trained Transformer-2)。作者创新性地使用自然语言处理模型(文本领域),来解决图形学问题(图像领域)。

           GPT-2模型由OpenAI于2019年提出,该语言模型可用于多种下游NLP任务,包括:文本生成(text generation)、机器翻译、人机问答等等。相较于之前的NLP模型,GPT/GPT-2的最大改进在于:使用大规模无标签语料数据进行无监督(un-supervised)预训练,得到一个通用的预训练模型。该预训练模型可用于多种下游NLP任务(需在相应任务的数据集上微调)。在下游NLP任务中使用预训练模型,所带来的优势为:在下游任务训练数据不足的情况下,能够降低下游任务的训练数据需求量,并缩短下游任务的训练时长。

           注:虽然“预训练模型”(即:先在大规模数据集上预训练(pre-train)得到一个通用的模型,再使用下游任务的较小数据集微调(fine-tine)该模型)在“图像”(计算机视觉)领域早已屡见不鲜;但在“文本”(自然语言处理)领域,“预训练模型”直到2018年GPT模型提出后才逐渐成熟。(因为自然语言处理比计算机视觉更难,发展更慢)。

           为了让NLP模型能够完成“图像生成”任务,需要将“图像生成问题”转换为“文本生成问题”。作者将“图像”转换为“字符串”,作为该模型的训练数据。

    将Pokémon图像转换为字符串(妙蛙种子)

           将“图像”转换为“字符串”的目的为:

           (1)将二维图像转为一维向量。虽然丢失了形状的二维空间关系,但带来的好处为:训练出的模型能够打破固有的形状约束constraint),让生成结果可能更具有“创造性”(creativity)。(注:由于每一行的字符数量相同,实际上模型还是能学习到一定的二维空间关系。)

           (2)将颜色转换为字符时,打乱了不同颜色在RGB颜色空间中的相邻关系(adjacency,可能能够增加生成结果中颜色的变化。

    RGB颜色空间 [ref-5]

           (3)将各个像素的颜色量化为有限个字符,压缩了调色板。

           (4)对图像进行降采样,降低了图像的分辨率。因为NLP模型一般无法关注到超长序列中,间隔太远的关联关系。(即使是基于Transformer的模型,也难以处理非常长的序列,比如高分辨率的图像。)

           其中,(3)(4),非常类似于笔者之前介绍的“像素化Pixelization)转换算法”,详见这里

           该任务属于“小样本学习”(Few-shot Learning),训练图像只有788(这是与OpenAI的GPT图像生成实验的最大区别),且每个类别只有一个或几个训练样本。如此少的数据,却需要在参数量较大的预训练模型GPT-2-small(参数量124M)上进行微调。因此,必须进行一些转换,以提高生成结果的质量。减少颜色数量和降低分辨率,降低了输入数据的复杂程度(complexity以降低网络的学习难度,提高出现高质量结果的概率。

           另外,由于训练数据较少,在大规模预训练语言模型的基础上进行微调,能够显著增加生成结果的“多样性”(diversity)。


    问题:为什么要使用基于Transformer的模型?

           Transformer摒弃了循环结构和卷积结构,完全基于“自注意力机制”(self-attention)来构造模型。循环神经网络(RNN、LSTM)的缺点在于:处理长序列时,单词之间的信息传递距离过长,会导致信息在传递过程中丢失。而“自注意力机制”摆脱了循环神经网络的“前向依赖性”,能够较好地对长序列进行建模。将一幅像素图转换为字符串时,得到的字符串属于长序列(在NLP中视为一个长句子)。因此,必须选择一个适合处理长序列的NLP模型。

    问题:由GPT-2模型生成的文本,是否具有“新颖性”?是原样照抄训练集中的文本,还是有所创新?

           研究GPT-2语言模型生成文本的新颖性(论文简介)

           (该论文所研究的是未经过下游任务微调的预训练模型。总体而言,模型生成的文本具有一定的新颖性。)

    3. 分析:以“像素艺术”的形式设计卡通角色

           美术设计师一般是以“概念艺术设计图”(concept art)(俗称“原画”)的形式来设计卡通角色。

           问题:为什么上述方法要采取分为两步的半自动化方案:先由机器生成卡通角色的低分辨率像素图,再由人类画家根据像素图绘制出高清版本?

           笔者尝试从“人机协作”的角度来分析该问题。在训练数据较少的情况下,机器一般难以生成既具有创意(随机性),同时又是高分辨率且高质量的图像。如果强行生成随机的高分辨率图像,往往整张图像会充满各种严重的错误和扭曲变形,没有艺术价值,且往往让人完全看不懂画的内容是什么。但机器随机生成的低分辨率像素图,有时会出现一些较高质量的结果,可能能够为画家提供一定的灵感

           人类画家创作时,有时会找不到或者缺乏设计的灵感。但面对像素图,训练有素的专业画家能够为其去除像素化,绘制出更符合美学要求的高清版本。这是因为:(1)画家具有丰富的“想象力”,能够根据看到的粗略2D像素图,想象出物体的高清3D模型。(2)而且画家能够根据以往的“绘画经验”,修正像素图中的不合理之处,并补全所缺少的细节。(3)同时,相较于高清绘画,像素画是更为“抽象”(abstract)的艺术表达形式,因此像素画能留给画家更多想象和创作发挥的空间。

           笔者认为:人工智能(深度学习)虽然无法取代人类,但可以成为人类的助手。人有人智,机有机“智”,尺有所长,寸有所短;取长补短(研究人所不擅长,但机器能够发挥其长处的算法问题),共同协作,有助于发挥出人工智能的巨大潜力。


    问题:为什么要让网络生成“像素风格”,而非其他绘画风格的图像?“像素画风”有什么优势?

           (1)“像素艺术”是技术与艺术之间权衡(trade-off)的结果,因机器之局限性而诞生,或许也更适合用于机器自动生成。从“离散数学”的角度来看,像素化的数学本质是“离散化”,而非零即一的二进制机器运算也是“离散的”(discrete)。高清图像更适合于人类画家的创作习惯,而离散化的像素图可能更适合于机器生成

           (2)“像素艺术”不是简单地对高清图像进行降采样,而是对原图像的高度浓缩的概括(summary),类似于一篇文章的简短摘要(abstract,而且是经过精心归纳总结的摘要。训练神经网络的目标为:试图从数据中捕获潜在的核心规律。相较于长篇大论,让网络直接学习其摘要,更容易捕获到其核心规律。这是因为大量冗余、非必要的信息已经被人工剔除了,剩下的信息都是核心内容。

           (3)“像素艺术”有点类似于编译原理中的“中间语言”(intermediate language),以及画家绘画过程中的“草图”(draft)。像素图像的抽象程度介于“文字概念”(或者图像的属性Attribute)与“精致绘画成品”之间,可视为连接“抽象”与“具体”的一座桥梁


           曾参与过初代Pokémon游戏开发的Game Freak游戏制作人,在一次采访 [ref-4]中,谈到初代Pokémon角色的设计方式:(由于一开始,Pokémon仅仅只是作为GameBoy低分辨率掌机游戏中的角色,当时完全没想到后续会被改编为动画、漫画),所以在设计初代Pokémon角色时,很多角色没有采用常规的绘制高清“概念艺术设计图”的设计方式,而是直接以“像素艺术”的形式来设计角色(初代Pokémon角色图像的分辨率仅为56×56像素)。历史有时会惊人地相似:1996年初代Pokémon角色以“像素艺术”的形式诞生,约20年后,有人开始研究以“像素艺术”的形式自动设计新的Pokémon角色。这既是回归原点,也是一个崭新的起点!

    25年过去了,充满未知的冒险旅程,仍在继续……
    © Pokémon


    相关数学算法:

    随机生成类似GitHub的像素头像

    例如:

    ​​​​​​Identicons-codepen.io

    ​​​vvanghelue/github-like-avatar-generator


            最后,感谢以上作者分享了富有创意和开创性的实验!

    Open Question

    (1)如何进一步提升生成结果的质量,和生成的成功率

    (2)(在使用其他数据集的情况下),能否将此类方法用于辅助设计新的国漫IP角色?


    引用资料:

    [ref-1] 图片:https://i1.wp.com/www.vooks.net/img/2016/02/pokemonlogo.jpg

    [ref-2] 图片:https://www.gamefreak.co.jp/assets/recruit/img/interview/fk/img-02.jpg

    [ref-3] https://nintendoeverything.com/how-pokemon-are-made/,https://www.gameinformer.com/feature/2019/11/13/going-big

    [ref-4]

    https://www.gameinformer.com/b/features/archive/2017/08/16/an-exclusive-look-at-pokemons-early-design-documents.aspx

    [ref-5] 图片:

    https://img.favpng.com/9/13/17/rgb-color-space-rgb-color-model-light-png-favpng-jKpFGtwwLzhQD59G5GYjS1pMi.jpg

    [ref-6] https://www.pokemon.cn/about/


    相关:

    Depixelization论文简介:“去像素化”相关论文

    展开全文
  • 提出了一种基于特征点匹配的柱面全景图像拼接算法。首先将360°环绕拍摄的序列图像投影到柱面坐标系下;然后提取各图像的SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征点,通过特征点匹配完成...
  • 个人收集的一些视觉化指南,是关于像素风格游戏的美术教学:            

    个人收集的一些视觉化指南,是关于像素风格游戏的美术教学:

     

     

     

     

     

     

    展开全文
  • 没有什么技术含量,主要是利用背景色和边框色来渲染每一个像素点,加上绝对定位,就可以变换出不同的风格。在制作一幅图片之前最好是将图片黑白风格化,然后用PS放大图片,将各个点的位置计算精确。剩下的事情就是...
  • 这是一份精致GUI风格的,艺术设计幻灯片模板,第一PPT模板网提供免费下载; 幻灯片模板的设计者,一定是从事GUI设计方面的,并且有很高的设计功底,因为这份模板的每一个细节都处理的非常好,已经精细到像素级别。 ...
  • 这是一份精致GUI风格的,艺术设计幻灯片模板,第一PPT模板网提供免费下载; 幻灯片模板的设计者,一定是从事GUI设计方面的,并且有很高的设计功底,因为这份模板的每一个细节都处理的非常好,已经精细到像素级别。 ...
  • Aseprite是一款专业的动画制作工具,用于创建像素风格的动画。它包含了动画设计所需一切工具,每个人都可以快速开始创建,结合快捷键来使用效果会更好,随时都可以撤销操作。 Aseprite for mac安装文件 ...

    Aseprite是一款专业的动画制作工具,用于创建像素风格的动画。它包含了动画设计所需一切工具,每个人都可以快速开始创建,结合快捷键来使用效果会更好,随时都可以撤销操作。

    Aseprite for mac安装文件

    展开全文
  • 前端像素大全

    千次阅读 2018-07-26 21:20:47
    默认情况下一个CSS像素应该是等于一个物理像素的宽度,在浏览器中的放缩操作,相当于把一个css像素放缩为你的浏览器放缩倍数乘以一个物理像素的宽度。 *PS: CSS像素只是一个相对值。 二。DP ...
  • 除了3D或2D,写实或夸张,复古像素或炫酷高清等游戏整体风格的区别之外,对于受众偏好影响最大的便是游戏角色的细节设计风格。 游戏角色 1、日韩风格 东亚文化圈中,游戏产业发展最早也最成熟的日本和韩国在游戏...
  • 经过小编的不懈努力,终于找到了最全的20种设计风格,今天就针对平面设计有哪些风格的问题,我们来一一进行一下介绍吧 1. 极简艺术 极简平面设计风格颜色上以黑白灰等自然色为重,形式能简化就简化,不会出现任何...
  • 50款网页像素字体

    2014-12-13 12:14:52
    50款网页像素字体,包括04b系列字体、SG系列字体和23款像素字体,供网页设计使用。
  • 研究领域:计算机图形学,非真实感渲染(Non-Photorealistic Rendering,NPR),图像处理,像素化算法
  • 精心收藏的 像素字体

    2011-07-03 13:11:55
    英文像素字体 可用来设计广告 制作网页 游戏等
  • 一个 Pygame 风格的 HTML5 游戏图形和输入库,专为低分辨率像素艺术而设计。 该代码并不漂亮,但迄今为止已被 8Dromeda Games 用于以下作品: Genvaders -- 太空-- 尊贵的生命情结 -- Soilnar:地下入侵 -- ...
  • Pixly像素画编辑器

    千次阅读 2021-06-06 18:33:01
    Pixly像素画编辑器官方版Pixly像素画编辑器官方版是款针对手机用户打造的像素画绘制软件。Pixly像素画编辑器APP中可以支持图层,缩放,撤销,透明,曲线,对称等功能。Pixly像素画编辑器中中除了画笔、选区、渐变、...
  • HLSL,High Level Shader Language...你可以使用任何一款编辑器来编写 HLSL,但 Shazzam Shader Editor 则是专门为 WPF 实现像素着色器而设计的一款编辑器,使用它来编写像素着色器,可以省去像素着色器接入到 WPF ...
  • 图像风格迁移

    万次阅读 多人点赞 2021-09-24 13:35:20
    风格迁移指的是两个不同域中图像的转换,具体来说就是提供一张风格图像,将任意一张图像转化为这个风格,并尽可能保留原图像的内容
  • 在图形学的非真实感图形学领域,图像艺术风格技术可以大体分为: 基于笔触渲染的方法(Stroke-based Rendering) 基于笔触渲染的方法,在算法设计之前首先会确定某一种风格,即每一个基于笔触渲染的方法一般只对应...
  • 这是一款带有科幻风格的纯CSS3用户登录界面设计效果。它模拟科幻电影《钢铁侠》中斯塔克工业超级电脑的登录界面。该登录界面略带金属质感,通过一条无限运动的弧线绕圆动画来制作一些神秘科技色彩。制作方法HTML结构...
  • 用户界面非常友好,你可以轻松地制作你的图片,这款软件适合软件开发人员、平面设计师和家庭用户等。 主要功能 屏幕截图:截获屏幕截图、活动窗口的截图、桌面滚动窗口的截图和任何特定区域的截图等等。支持多个监控...
  • 基于卷积神经网络实现图片风格的迁移,可以用于大学生毕业设计基于python,深度学习,tensorflow卷积神经网络, 通过Vgg16实现,一幅图片内容特征的基础上添加另一幅图片的风格特征从而生成一幅新的图片。...
  • Textcraft就为我们提供了一个免费获取特殊样式字体的网站,它的风格是像我的世界那样的像素风,也会有别的不同样式字体的提供,具体的网站路径如下: Textcraft  其字体风格如下图:  接下来说下网站的使用,...
  • 为什么要还原像素级别的设计稿 前端重构和美工是两个级别的,一个就在于精准还原设计稿而另一个是自我感觉怎么好怎么来。 而比较高端的项目是分三块的,由专业的设计师做设计,由前端工程师切图做页面,再由...
  • 原标题:扫盲:安卓手机2000万像素为啥不如苹果手机800万像素?火星文:我的心里也时常问自己“为啥安卓拍出来的照片总是渣?”摄效果作为目前手机的重要指标之一,已成为手机的必争之地,苹果与三星多年以来在最佳...
  • 在绘画方面,艺术大师将内容和风格完美结合从而画出一幅能给人以美感的作品,美的定义还很模糊,是人们的一种主观感受,但 能轻易发觉,一幅画美不是特定于哪个景物美,而是整幅画都给人以美的印象,即通常所说的...
  • IOS设计指南 各个不同空间的像素

    千次阅读 2014-11-18 13:54:05
    有时候为iOS设计app并不是一件简单的事,但是如果你能找到正确的最新的苹果设备信息,并按照正确的方向,那么为iOS设计app或许会变得简单容易些。 关于这些指南 这些指南描述了如何遵守苹果的iOS 人机交互指南来...
  • HTML5期末大作业:漫画风格个人主页网站设计——html5漫画风格个人主页全屏页面滚动模板 HTML+CSS 动漫网页HTML代码 学生网页课程设计期末作业下载 动漫大学生网页设计制作成 临近期末, 你还在为HTML网页设计结课...
  • APP设计:(一)app界面常用设计规范

    万次阅读 多人点赞 2019-07-10 15:55:27
    app设计是一个看似简单其实复杂的事情,每一个部件的设计都有一定的规范和设计思路可寻。 app设计,也就是我们常说的手机应用程序的界面设计。 如今手机已成为我们生活工作密不可分的一个工具,各行业各类型的app...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 25,840
精华内容 10,336
热门标签
关键字:

像素风格设计