1、为了提高图片转3D的支持时长和摄像机位移设置,我们对原图尺寸输出视频进行了优化,以提高清晰度。这样可以获得更高质量的输出;2、我们还进行了AI高清放大的改进。经过实测,即使是6G显存的1920×1080图像,使用x4模型放大4倍也不会超过显存限制。这是因为我们添加了tilesize(拼图大小)参数,可以根据需要进行设置;3、我们还加入了目前非常流行的像素PIXEL DD绘画模式。这个模型占用的显存较小,例如6G显存可以支持1200×600的图像。在参数设置中,我们提供了两种绘图Diffusion模型引擎选择,即原版DD和像素版DD;4、我们改进了参数设置界面,现在它会记住上次的拉伸界面,这样不同分辨率的显示器就不需要每次都重新调整界面;5、我们增加了usesecondarymodel选项。如果关闭此选项,DD将使用常规(大型)扩散模型,而开启此选项则会使用二级模型,这样可以提高渲染速度并减少显存占用。一位用户报告渲染速度提高了50%!然而,二级模型要小得多,可能会降低图像质量和细节;6、我们还加入了clampmax参数设置,可以设置clamp grad的上限,数值范围为0-0.3。默认值为0.05,可以在图像中提供更平滑、柔和的着色效果,但将值设置得更高(0.15-0.3)可以提供有趣的对比度和活力。接下来是我用离线版跑常规模式DD5的几张图示:▼
01 软件概览 软件名为AI作画(基于Disco Diffusion 5.2)离线版V3.4,基于GitHub上的开源项目Disco Diffusion,目前仅支持静态图生成。下面是软件的主界面,我们依然保持了简单易用的操作方式。
下面是参数设置界面,我们将静态图生成所需的相关参数都整合在这里,并且支持批量队列模式,可以批量运行多套参数。
02 软件体验 软件体积较大,因为包含了许多离线模型。如果您已经下载过第二代的模型,那么这些模型可以被复用。下载完成后,按照网盘中的word教程即可开始体验。
一、安装( 1、解压picdisco.zip,生成picdisco目录; 2、将网盘中的models文件夹移动到picdisco目录中; 3、然后进入软件目录picdisco,双击打开DD5_V3.0.exe程序即可打开软件,软件界面如下所示: ▼
二、作图配置 主目录pic_disco文件夹中的settings.json文件就是作图配置文件,不过在3.0版本中,我们已经通过界面进行了设置。
1、描述词设定:以前手动修改json文件时,有时候会因为少输入标点符号而导致出错。现在通过界面化操作可以避免这个问题。下面是默认的描述词设置,每段(回车换行算一段)都是同一描述的不同权重关键词。
上面的描述对应的手动修改json如下,也就是界面化操作无需使用引号和逗号来分割同一描述的不同权重部分。▼
2、帮助相关:对于大多数参数,我们都添加了帮助按钮。将鼠标悬停在对应的帮助图标上,即可显示参数的含义。下面是一个示例,当然大多数帮助信息都是翻译自官方文档,并加入了我们自己的注解。
如果您想添加自己对参数的注释,可以修改软件目录下的tip.json文件。下面是对应的描述修改示例,其中n表示换行。
3、参考图:我们还对参考图进行了改进,现在只需点击按钮选择图片即可。请注意参数旁边的问号,当添加参考图时,需要将skip_steps参数设置得更大一些。
4、AI作画引擎选择:在参数设置中,我们提供了两种绘图Diffusion模型引擎选择,即原版DD和像素版DD。下图是设置界面示例:
5、AI高清放大:我们可以设置不同的放大模型和图片放大倍数。高清放大后的图片输出目录为picdiscoimagesoutAIultraHD。当输入的图片尺寸较大时,可能会超过显存限制。这时,我们可以通过修改拼图大小参数来解决,例如设置拼图大小为512,这样6G显存的显卡就可以使用realesrgan_x4plus模型对1920*1080的图片进行4倍放大测试而不会超过显存限制。
6、AI绘画输出图片目录:picdiscoimagesout; 7、AI图片转3D输出视频目录:picdiscovideo; 8、过程图片:picdiscoprogress.png,每几个step(频率display_rate可配置)更新一次图片。
三、显卡要求 本软件需要至少5GB显存,并且必须使用英伟达显卡,不支持AMD显卡。
注:默认参数中选择了3个CLIP模型,如果想要处理更大尺寸的图片,可以减少选取的模型数量。但这样会对效果产生一定影响。例如,对于只有6G显存的2060或1060显卡,只选择下面示例中的第一个模型,尺寸为768×512也没有问题:
四、常见错误 1、显存不足:以下错误都是由于设置的图片尺寸过大导致显存不足,或者使用了5GB以下的显卡:(1) Unable to find a valid cuDNN algorithm to run convolution (2) CUDA out of memory 2、黑图:许多用户生成的图像都是黑色的,这个问题似乎出现在10代及以下的显卡上。目前已经发现了1660、1660s和1660ti存在这个问题,原因是在生成过程中出现了NAN数据。我们正在寻找解决方案,但1060显卡没有这个问题,看来问题主要出现在16代显卡上。
03 小结 这个项目确实非常有趣,唯一的问题是对显卡要求较高,至少需要5GB以上的英伟达显卡。此外,还有一些需要解决的问题,例如用户感兴趣的gobig、添加艺术家和色彩等关键词库。这些问题需要逐步解决,但后续版本肯定会有所改进。如果您对此感兴趣,可以尝试使用3.4版本,并多观看一些B站上的相关视频,以了解更详细的作图参数和教程。
04 本期内容获取 GitHub – zhaoyun0071/Disco-Diffusion-Local: 只要是Windows系统,5-6G以上显存的英伟达显卡,下载解压即可使用,无需进行任何环境配置。