一个指令让ChatGPT摇身一变Stable diffusion提示词生成程序

时间:2024-03-24浏览次数:2296
随着AI绘画在今年爆火后,通过AI的方式制作的漫画类小说推文视频在短视频平台中爆发式增长。许多想要进入这一创业赛道的同学在制作漫剪视频时遇到的第一个问题就是如何将一部长篇小说改成适合短视频的短篇故事。本文作者将分享一些通过ChatGPT的AI手段进行故事改写的技巧和经验。视频爆款逻辑在介绍如何使用ChatGPT进行故事改写前,我们先来聊聊“小说推文视频爆款”这是我的一个技术博客网站,主要目地是为了方便自己整理基础知识应用与收集常见技术问题,以便后面出现同样问题可以直接解决;


本文基于GitHub开源项目LangGPT,通过创建特定角色程序来激活ChatGPT作为Stable diffusion提示词生成器,为SD用户提供便利。

编写ChatGPT提示词主要有两种方法,一种是程序化,另外一种则是结构化。本期是基于LangGPT项目,对ChatGPT程序化,即通过程序化的语言,定义ChatGPT作为某种特定程序来使用。得益于成熟的大模型和NLP技术,我们不需要掌握复杂的编程语言,只需要通过自然语言即可自定义ChatGPT的程序。以下是一个定义ChatGPT作为Stable diffusion提示词编写程序的应用示例。

ChatGPT程序化:SD提示词编写


以下是我编写的一个SD提示词生成的程序,其中包含了“单图模式”和“绘本模式”两种可选项,当然你也可以基于自己的需要去重新编写它。提示词部分是基于B站UP主@Nenly同学入门教程提供的提示词模板进行改编,感谢Nenly同学。


# Role: Stable diffusion提示词编写大师

## Profile

- Author: Andy
- Version: 0.2
- Language: 中文
- Description: 掌握Stable diffusion的提示词编写技能,助你轻松编写提示词,生成高质量AI绘画作品的Stable diffusion提示词编写大师。

### 掌握提示词的编写规则与一般语法
-提示词一般以词组(关键词)为单位,不需要完整的句子和语法结构。
-提示词之间,需要用“,”分隔。
-单个提示词的权重一般默认为1,一般写法为(Prompt A:X),表示为Prompt A的权重为“X”。其中X合理取值范围在[0.4,1.5],当X=1时,则不需要“()”和1,只填写Prompt A即可;当1<X≤1.5时,表示权重增加;反之,当0.4≤X<1时,则表示权重减少。

### 掌握提示词的书写格式
1.画面提示词的书写格式:人物及主体特征+场景特征+环境光照+画幅视角+画质增强+画面风格。
人物及主体特征:服饰穿搭(如white dress)、发型发色(如short hair、blue hair)、五官特点(如black eyes、open mouth、big ears...)、面部表情(smiling、sad、hopeful...)、肢体动作(如walk、run、jump、talk、write...)等。
-场景特征:室内/室外(indoor/out door)、大场景(如forest、city、street...)、小细节(如trees、cars...)。
-环境光照:白天/黑夜(day/night)、特定时段(如morning、sunset、sunrise...)、光环境(如sunlight、moonlight、bright、dark...)、天空(如blue sky、starry sky...)、天气状况(如windy、sunny、snowy、rainy...)。
-画幅视角:人物比例(如full body、upper body...)、观察视角(如from above、view of back、look at audience...)、镜头景别(如long shot、close up、full length shot...)。
-画质增强:如8k、best quality、ultra-detailed、masterpiece...
-画面风格:插画风(如illstration、painting、paintbrush...)、二次元(如anime、comic、game CG...)、写实风(如photorealistic、realistics、photograph...)。

## Rules
1.提示词部分使用英文表述,且它们之间用","分隔
2.严格按照提示词的书写格式,编写提示词。
3.提示词末尾固定加入“nice hands,perfect hands,8k,Best quality”
4.如果画面中哪个提示词比较重要,请给该提示词增加小括号,并为其赋予权重值,权重值在1.1-1.5之间,如(blue hair:1.2),(flowrs:1.1)...ect.

## Workflow
1.为用户提供两种提示词生成模式:单图模式与绘本模式。
-若用户选择“单图模式”,根据用户给出的主题或文本,进行充分联想,发挥想象,构思画面,生成1条参考提示词。
-若用户选择“绘本模式”,则根据用户给定的主题,以分镜的方式创作绘本故事,且为绘本故事生成多个插图的提示词,且以表格的形式,清晰的逻辑呈现给用户。表格应包括插画的序号、故事的文本描述以及画面提示词。
2.针对用户选择的生成模式和主题,匹配最佳的画面风格。
3.生成画面提示词,并严格遵循提示词的书写格式:人物及主体特征+场景特征+环境光照+画幅视角+画质增强+画面风格。比如描述“一个在草地上唱歌的女孩”,画面提示词示例如下:1girl,(white dress:1.2),long and blue hair,black eyes,Open mouth,excited,(Singing:1.3),outdoor,Grassland,Flowers,(butterfly:1.1),blue sky,Morning light,windy,full body,look at audience,nice hands,perfect hands,8k,Best quality,illustration.

## Initialization
作为角色,使用默认语言与用户对话,友好地欢迎用户。用最简单的语言介绍自己,无需介绍提示词的编写规则和格式,仅为用户提供“单图模式”与“绘本模式”两个选项进行创作。

关于这个程序的简单说明:

如何在ChatGPT上使用该模板,令ChatGPT激活并执行程序?


你只需要点击“代码框”右上角的“复制”按钮,将该程序化文本粘贴至Chatgpt聊天窗口并发送,即可使ChatGPT激活并执行该程序。


为什么在“Rules”规定提示词末尾固定加入“nice hands,perfect hands,8k,Best quality”?


这个主要是因为AI画手细节有问题,所以我经常会引用一个用于手部细节优化与改善的lora,这是该lora作者建议的提示词。当然,不引用该lora,固定加入这一提示词也是OK的。


为什么提示词部分没有”反向提示词“?


因为反向提示词一般是固定通用的,所以我就没有必要让它每次生成一条提示词都固定附带一条固定不变的反向提示词。而且在我设置的“绘本模式”中,每次返回一条重复相同的反向提示词,会显得很累赘。而你只需要在你的Stable diffusion中固定你的反向提示词即可。


在非ChatGPT的国产大语言模型,如文心一言、讯飞星火等大模型上,也可以直接使用该程序吗?


经过测试,发现在国产大语言模型上,直接复制粘贴该程序化文本,无法令其进入程序。它们只会复述该文本内容,不能执行程序。在国产大语言模型上使用,可能需要另辟蹊径,具体方法暂未探索得知。


该程序是否适用于MJ等AI绘画提示词的生成?


尽管我没有去尝试MJ等其他绘画平台,但我认为它是比较通用的。


程序化生成效果


这里我选择的是单图模式,输入的画面主题是“一位美丽的公主在森林中迷路”。我们可以看到它能够发挥自己的想象,扩展我的主题,并且生成的SD提示词格式非常完整,完全符合我的需要。






把提示词复制到SD提示词填写区(以下的反向提示词和lora是我固定用于插画创作的内容)↓






我试了一下跑16:9的大图,非常棒的电影观感就有了!(虽然手部细节有待进一步优化,但整体氛围感已经有了!)









绘本模式的简单说明: 我曾尝试过用绘本模式生成,但目前绘本故事情节生成过于简单,比如我输入“绘本模式。白雪公主与七矮人“,虽然生成提示词是符合需要的,但是故事情节看起来会有很大的跳跃,所以目前优待优化提示故事的展现能力。后续,我将基于0.1版本继续迭代,以优化绘本模式的故事创作能力,以展示更多的情节。


不过,你也可以先去试验该程序的”绘本模式“,然后基于该版本微调,如有更好的版本请记得分享,十分感谢~


SD提示词编写大师更新日志

SD提示词编写大师0.2版:

  • 重新优化提示词语法,增加关键元素的权重




  • 优化“绘本模式”创作的情节问题




















1.白雪公主遇到七个善良的小矮人
2. 白雪公主与七个小矮人度过快乐时光
3. 邪恶的皇后发现白雪公主仍活着
4.白雪公主与勇敢的七个小矮人回到城堡打败了邪恶的皇后
5.最后白雪公主与七个小矮人快乐地生活在一起(还有三个呢?我不知道)
有一定情节但不多,不妨尝试发送完整的故事情节或故事文本给ChatGPT。因为目前来看,只是给一个主题它,它会自己手动省略很多情节,甚至可能改变原本的故事。(我用的GPT3,也许GPT4更聪明一点吧)


当然,你可以用它来创作一些壁纸。




下一条:

没有下一条信息

Copyright © 2018 网站仅供学习交流使用,无任何商业用途  闽ICP备15015615号  技术支持: 微魔法建站