这篇文章带你玩转AI绘画

（本文封面使用AI（ERINE-ViLG）生成制作，使用的文字为：「帮我做一副封面放在知乎，画中有个猫咪用电脑写代码，赛博朋克风格」)最近这段时间，AI绘画大火。对于设计师来说，有点忧心忡忡，毕竟AI都开始威胁到自己吃饭的本领了。不过，不管打不打得过，加入AI绘画创造的队列还是明智的，这篇文章就带大家玩转AI绘画。技术原理的我会另外开一篇文章讲，这篇仅仅讲应用，如果你没有技术背景，也可以放心食用。AI绘画都有哪些类型1. 文本生成图像（Text2image）这是最近最火的类型。其中它们很多用的是diffusion model（扩散模型），有的AI模型还会加超分辨率重建模型，增强清晰度。在使用这类模型时，你需要输入prompt，也就是你对希望产生的图像的描述。有的模型还支持初始图片，AI的会基于你指定的图片开始创作。多数是仅支持英文的，不过也有支持中文的。支持中文的我会在介绍里说到，没说到的就是只支持英文的。这里介绍几个大家上手就能用的：ERNIE-ViLG 文生图这是中文领域内比较不错的文生图模型。文心大模型示例作品：Midjourney：非开源，需要你加入Discord小组给机器人发送prompt，机器人给你返回结果Midjourney这里展示用midjourney画出来的效果。对于结果，midjourney也提供超分辨率重建，提升图片清晰度。Dream by wombo ：可以说是最简单的了，我不用介绍，大家点开就会用https://app.wombo.art/画出来的效果Stable Diffusion:最近最火的绘画AI之一。在线demo：Stable Diffusion - a Hugging Face Space by stabilityai绘画效果源码:GitHub - CompVis/stable-diffusionDalle-mini:demo:DALL·E mini by craiyon.com on Hugging Face源码：https://github.com/borisdayma/dalle-mini画作展示：适合画场景不太适合画生物Disco Diffusion在之前这个回答里面有详细的介绍。可以指定init_image。Disco Diffusion需要跑代码，但不一定需要看懂，你知道改哪里就行了。Disco Diffusion 体验如何？你用它跑出了哪些图？我用prompt「concept art, matte painting, in the rainy streets of a cyberpunk city at night, domination of a tall dark, robot wind sorcerer with glowing eyes and a cape, artstation, Greg Rutkowski」，可以画出这样的画作Stable Diffusion，Disco Diffusion, Dalle-mini之间的比较：又来测评一个最近挺火的 # 人工智能 # #A…www.zhihu.com/pin/1547932185491038208Clip-GEN没有demo，不过提供了源码。GitHub - HFAiLab/clip-gen: CLIP-GEN: Language-Free Training of a Text-to-Image Generator with CLIP2. 风格迁移（style transfer）风格迁移就是把图片A按照图片B的风格改画，但图片A的主体不变。Fast Neural Style Transferhttps://huggingface.co/spaces/aravinds1811/neural-style-transfer画作参考：Neural Style Transfer这个名字没起好，这个模型把前面讲到的文本生成图片和风格迁移融合在了一起。Neural Style Transfer - a Hugging Face Space by NeuralStyleTransfer生成结果示例：3. 超分辨率（superresolution ）/ 图片上采样（Image Upsampling)又称图片修复，大家可以看到很多老照片修复就是用超分辨率AI修复的。这里介绍一些Real-ESRGANdemo：https://huggingface.co/spaces/akhaliq/Real-ESRGAN代码：GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.效果测试看起来修复动画效果更好SwinIRdemo地址：https://huggingface.co/spaces/akhaliq/SwinIR生成效果：AI创作的思路这里顺便讲讲我使用AI创作的思路吧。思路一：临摹如果仅仅给AI一个文字描述，输出的风格可能不好控制，虽然可以在文本里加一些风格的描述词，但是否感觉就是没有艺术的感觉？不要紧，直接在文本中告诉AI：你需要模仿哪个网站的作品。这里总结出了一些我个人感觉很好用的网站关键词： on pixiv(日式动漫风）, on artstation（科幻插画风）, on 500px（摄影大片风）或者模仿哪个艺术家的作品。直接在文本中加入 by xxx就行了。例如我用prompt「a castle in the rainforest, trending on artstation」，就能画出这样的效果这个列表提供了一些艺术家的名字及其艺术风格Disco Diffusion 70+ Artist Studies这个网站可以辅助你生成prompt，包括风格，艺术家名字等等。promptoMANIA:: prompt builder思路二：AI根据描述作画 -> 风格迁移-> 超分辨率先给文本生成图像的模型一个你想要的输入，然后把输出作为超分辨率模型的输入。如果你要控制风格，你可以在文本里加一些风格的描述词。如果风格描述依然不能打造出你想要的风格，可以试试把生成的图片输入到风格迁移AI中，产生新的图片。如果你觉得生成的画作太模糊，可以将输出输入到超分辨率模型。最后说说说实话，很多时候即使你描述很具体，AI作出来的画还是和你希望得到的结果差别很大。毕竟AI生成画作不走寻常路，所以多尝试，多学习，感兴趣的甚至可以了解其背后的技术，相信你会感受到，站在艺术和科技的交叉路口是多么的有意思。来源：知乎 www.zhihu.com 作者：桔了个仔【知乎日报】千万用户的选择，做朋友圈里的新鲜事分享大牛。点击下载

Jun 9, 2023 - 16:00

（本文封面使用AI（ERINE-ViLG）生成制作，使用的文字为：「帮我做一副封面放在知乎，画中有个猫咪用电脑写代码，赛博朋克风格」)

最近这段时间，AI绘画大火。对于设计师来说，有点忧心忡忡，毕竟AI都开始威胁到自己吃饭的本领了。不过，不管打不打得过，加入AI绘画创造的队列还是明智的，这篇文章就带大家玩转AI绘画。技术原理的我会另外开一篇文章讲，这篇仅仅讲应用，如果你没有技术背景，也可以放心食用。

AI绘画都有哪些类型

1. 文本生成图像（Text2image）

这是最近最火的类型。其中它们很多用的是diffusion model（扩散模型），有的AI模型还会加超分辨率重建模型，增强清晰度。

在使用这类模型时，你需要输入prompt，也就是你对希望产生的图像的描述。有的模型还支持初始图片，AI的会基于你指定的图片开始创作。多数是仅支持英文的，不过也有支持中文的。支持中文的我会在介绍里说到，没说到的就是只支持英文的。

这里介绍几个大家上手就能用的：

ERNIE-ViLG 文生图

这是中文领域内比较不错的文生图模型。文心大模型

示例作品：

Midjourney：

非开源，需要你加入Discord小组给机器人发送prompt，机器人给你返回结果Midjourney

这里展示用midjourney画出来的效果。对于结果，midjourney也提供超分辨率重建，提升图片清晰度。

Dream by wombo ：

可以说是最简单的了，我不用介绍，大家点开就会用https://app.wombo.art/

画出来的效果

Stable Diffusion:

最近最火的绘画AI之一。在线demo：Stable Diffusion - a Hugging Face Space by stabilityai

绘画效果

源码:GitHub - CompVis/stable-diffusion

Dalle-mini:

demo:DALL·E mini by craiyon.com on Hugging Face

源码：https://github.com/borisdayma/dalle-mini

画作展示：

适合画场景

不太适合画生物

Disco Diffusion

在之前这个回答里面有详细的介绍。可以指定init_image。Disco Diffusion需要跑代码，但不一定需要看懂，你知道改哪里就行了。Disco Diffusion 体验如何？你用它跑出了哪些图？

我用prompt「concept art, matte painting, in the rainy streets of a cyberpunk city at night, domination of a tall dark, robot wind sorcerer with glowing eyes and a cape, artstation, Greg Rutkowski」，可以画出这样的画作

Stable Diffusion，Disco Diffusion, Dalle-mini之间的比较：又来测评一个最近挺火的 # 人工智能 # #A…www.zhihu.com/pin/1547932185491038208

Clip-GEN

没有demo，不过提供了源码。GitHub - HFAiLab/clip-gen: CLIP-GEN: Language-Free Training of a Text-to-Image Generator with CLIP

2. 风格迁移（style transfer）

风格迁移就是把图片A按照图片B的风格改画，但图片A的主体不变。

Fast Neural Style Transferhttps://huggingface.co/spaces/aravinds1811/neural-style-transfer

画作参考：

Neural Style Transfer

这个名字没起好，这个模型把前面讲到的文本生成图片和风格迁移融合在了一起。Neural Style Transfer - a Hugging Face Space by NeuralStyleTransfer

生成结果示例：

3. 超分辨率（superresolution ）/ 图片上采样（Image Upsampling)

又称图片修复，大家可以看到很多老照片修复就是用超分辨率AI修复的。这里介绍一些

Real-ESRGAN

demo：

https://huggingface.co/spaces/akhaliq/Real-ESRGAN

代码：

GitHub - xinntao/Real-ESRGAN: Real-ESRGAN aims at developing Practical Algorithms for General Image/Video Restoration.

效果测试

看起来修复动画效果更好

SwinIR

demo地址：https://huggingface.co/spaces/akhaliq/SwinIR

生成效果：

AI创作的思路

这里顺便讲讲我使用AI创作的思路吧。

思路一：临摹

如果仅仅给AI一个文字描述，输出的风格可能不好控制，虽然可以在文本里加一些风格的描述词，但是否感觉就是没有艺术的感觉？不要紧，直接在文本中告诉AI：

你需要模仿哪个网站的作品。这里总结出了一些我个人感觉很好用的网站关键词： on pixiv(日式动漫风）, on artstation（科幻插画风）, on 500px（摄影大片风）
或者模仿哪个艺术家的作品。直接在文本中加入 by xxx就行了。

例如我用prompt「a castle in the rainforest, trending on artstation」，就能画出这样的效果

这个列表提供了一些艺术家的名字及其艺术风格Disco Diffusion 70+ Artist Studies

这个网站可以辅助你生成prompt，包括风格，艺术家名字等等。promptoMANIA:: prompt builder

思路二：AI根据描述作画 -> 风格迁移-> 超分辨率

先给文本生成图像的模型一个你想要的输入，然后把输出作为超分辨率模型的输入。如果你要控制风格，你可以在文本里加一些风格的描述词。

如果风格描述依然不能打造出你想要的风格，可以试试把生成的图片输入到风格迁移AI中，产生新的图片。

如果你觉得生成的画作太模糊，可以将输出输入到超分辨率模型。

最后说说

说实话，很多时候即使你描述很具体，AI作出来的画还是和你希望得到的结果差别很大。毕竟AI生成画作不走寻常路，所以多尝试，多学习，感兴趣的甚至可以了解其背后的技术，相信你会感受到，站在艺术和科技的交叉路口是多么的有意思。

来源：知乎 www.zhihu.com
作者：桔了个仔

【知乎日报】千万用户的选择，做朋友圈里的新鲜事分享大牛。点击下载

閲讀更多