2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

Omost!让AI大模型代写AI绘画提示词

发布日期:2024-06-16 07:59:12 浏览次数: 3613
作者:星空财研

微信搜一搜,关注“星空财研”

对于AI绘画者来说,写提示词是非常头疼的一件事。

SDXL能够比较好的理解自然语言,但在构图细节等方面,依然还有欠缺。

刚刚发布的SD3对自然语言的理解更加精准,一定程度上解决了提示词的难题,但目前不认识中文。

前一段时间,著名的ControlNet、Fooocus等开源插件的作者张吕敏发布了Omost插件,这个插件神奇之处在于,它集成了LLM大模型,你只需要输入简单的句子,会通过大模型补充完善,增加细节描述词汇,然后生成非常专业的提示词。

这个思路太妙了。

去年的时候,我曾经介绍过用百度翻译等翻译插件来翻译中文提示词的工具,但大模型会把你的句子重新整理、组合,生成AI绘画大模型能理解的格式。

这个插件有独立安装板,也有ComfyUI节点,使用很简单,但无法科学上网的情况下,安装非常繁琐。

1、节点安装

节点地址:

https://github.com/huchenlei/ComfyUI_omost

安装后先不要重启启动器,先下载并安装模型。

2、安装模型

如果在墙内,模型无法联网自动下载。

如果贸然重启启动器,然后使用Omost会报错。

我制作了安装包,请下载后解压缩,安装在这个路径(以秋叶启动器为例):

ComfyUI\.cache\huggingface\hub

其中,最复杂的是模型安装的位置,这是llama的8b模型:

这个插件的作者比较懒,没有很好的处理好模型存放路径,导致很多人走到这里就报错。

安装完毕后,重启启动器。

3、节点说明

加载工作流,工作流网盘下载:

https://pan.quark.cn/s/b365f8a8e144

Omost主要有三个节点:

Omost LLM Loader,默认有三个模型,由于另外两个模型比较大,本文提供下载的是omost-llama-3-8b-4bits模型,选择这个即可。

Omost LLM chat,这是和大模型对话的节点,输入想要的提示词,支持汉语。然后大模型会把它转化成复杂、专业的提示词。

比如我输入的是“正在跑马拉松的女孩”。

大模型转化为:

[{'rect': (0, 90, 0, 90), 'prefixes': ['A girl running a marathon.'], 'suffixes': ['The image captures a determined young girl in the midst of a marathon run.', 'She is dressed in athletic gear, including a moisture-wicking tank top, shorts, and running shoes.', 'Her face shows a mix of focus and determination as she pushes through the challenging course.', 'The background features a scenic route with spectators cheering her on, adding to the sense of competition and community.', 'The sky is clear with a few scattered clouds, and the sun casts a warm glow over the entire scene.', 'The girl’s posture is upright, and her arms are pumping rhythmically as she strides confidently.', 'The image conveys a strong message of perseverance and the willpower to overcome obstacles.', 'girl, marathon, running, athletic, determined, focus, competition, community, spectators, scenic route, clear sky, clouds, sun, warm glow, upright posture, pumping arms, perseverance, willpower, obstacles.'], 'color': (135, 206, 235), 'mask': tensor([[1., 1., 1., ..., 1., 1., 1.],
[1., 1., 1., ..., 1., 1., 1.],
[1., 1., 1., ..., 1., 1., 1.],
...,
[1., 1., 1., ..., 1., 1., 1.],
[1., 1., 1., ..., 1., 1., 1.],
[1., 1., 1., ..., 1., 1., 1.]])}, {'color': (255, 215, 0), 'rect': [45, 85, 35, 90], 'prefixes': ['A girl running a marathon.', 'Marathon finish line.'], 'suffixes': ['The marathon finish line is visible on the bottom-right side of the image, slightly to the upper-left.', 'The finish line is marked with a prominent banner and flags, indicating the end of the marathon course.', 'The banner is decorated with motivational messages and the words “Finish” in bold letters.', 'The flags are the same vibrant red as the course markers.', 'The presence of the finish line adds a sense of accomplishment and finality to the marathon run.', 'marathon finish line, prominent banner, flags, end of course, motivational messages, bold letters, vibrant red, accomplishment, finality.', 'Triumphant and celebratory, marking the end of the marathon journey.', 'Event photography capturing the essence of the marathon finish line.', 'High-resolution image with sharp details and vibrant colors.'], 'mask': tensor([[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
...,
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.]])}, {'color': (255, 0, 0), 'rect': [0, 50, 0, 50], 'prefixes': ['A girl running a marathon.', 'Marathon flags.'], 'suffixes': ['Marathon flags are positioned on the top-left side of the image.', 'These flags are vibrant red and are part of the course markings.', 'They are slightly to the lower-right, indicating the direction of the course.', 'The flags are well-defined, with clear text and symbols indicating the distance markers.', 'The presence of the flags adds to the authenticity and challenge of the marathon run.', 'marathon flags, vibrant red, course markings, direction, well-defined, text, symbols, distance markers, authenticity, challenge.', 'Authentic and challenging, emphasizing the marathon route.', 'Detailed photography focusing on the marathon flags and their significance.', 'Clear and well-defined flags with vibrant colors and sharp details.'], 'mask': tensor([[1.0000, 1.0000, 1.0000, ..., 0.0000, 0.0000, 0.0000],
[1.0000, 1.0000, 1.0000, ..., 0.0000, 0.0000, 0.0000],
[1.0000, 1.0000, 1.0000, ..., 0.0000, 0.0000, 0.0000],
...,
[0.0000, 0.0000, 0.0000, ..., 0.0000, 0.0000, 0.0000],
[0.0000, 0.0000, 0.0000, ..., 0.0000, 0.0000, 0.0000],
[0.0000, 0.0000, 0.0000, ..., 0.0000, 0.0000, 0.0000]])}, {'color': (255, 255, 224), 'rect': [30, 80, 35, 90], 'prefixes': ['A girl running a marathon.', 'Scenic route background.'], 'suffixes': ['The background on the right side of the image features a scenic route.', 'The road is lined with trees and has a clear pathway marked by marathon flags.', 'The sky is clear with a few scattered clouds, and the sun casts a warm glow over the entire scene.', 'The distant horizon is visible, with rolling hills and a few buildings.', 'The scenic route adds a sense of challenge and beauty to the marathon course.', 'background, scenic route, road, trees, clear pathway, marathon flags, clear sky, clouds, sun, warm glow, horizon, rolling hills, buildings, challenge, beauty.', 'Challenging yet beautiful, enhancing the overall marathon experience.', 'Landscape photography showcasing the scenic route of the marathon.', 'High-quality background with detailed scenery and vibrant lighting.'], 'mask': tensor([[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
...,
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.]])}, {'color': (250, 250, 210), 'rect': [5, 65, 0, 35], 'prefixes': ['A girl running a marathon.', 'Spectators cheering.'], 'suffixes': ['A group of spectators is visible on the left side of the image, slightly higher up.', 'They are holding signs and banners, cheering the girl on.', 'The spectators are dressed in casual attire, and their faces are lit up with excitement and support.', 'Some are taking photos, while others are simply enjoying the event.', 'The presence of the spectators adds a sense of community and shared experience to the image.', 'spectators, cheering, signs, banners, casual attire, excitement, support, photos, community, shared experience.', 'Supportive and enthusiastic, creating a lively environment.', 'Candid photography capturing the genuine emotions of the spectators.', 'Detailed depiction of spectators with clear expressions and actions.'], 'mask': tensor([[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
...,
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.]])}, {'color': (240, 128, 128), 'rect': [5, 85, 20, 70], 'prefixes': ['A girl running a marathon.', 'The girl running.'], 'suffixes': ['The girl is positioned centrally in the image, her athletic attire clearly visible.', 'She is wearing a tank top designed for moisture-wicking, shorts, and high-quality running shoes.', 'Her face is a picture of determination, with sweat glistening on her forehead.', 'Her eyes are fixed forward, showing her concentration and resolve.', 'Her posture is upright, and her arms are pumping rhythmically as she strides confidently.', 'Her hair is tied back in a ponytail, keeping it out of her face as she runs.', 'girl, running, athletic attire, tank top, shorts, running shoes, determination, concentration, upright posture, pumping arms, ponytail.', 'Determined and focused, with a strong sense of perseverance.', 'Realistic photography capturing the essence of the marathon run.', 'High-resolution image with clear details and vibrant colors.'], 'mask': tensor([[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
...,
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.],
[0., 0., 0., ..., 0., 0., 0.]])}]

不难发现,大模型不仅把中文翻译成了英文,还添加了非常详实的细节:什么样的头发,穿什么衣服,什么颜色,背景的旗帜,路边观众... ...

Omost layout cond,该节点把转化后的提示词送给AI绘画模型,生成图片。

4、生成图片

给足了提示词信息后,AI绘画大模型输出图片,细节非常丰富。

当然了,这个大模型提示词也并非完美,因为额外加载一个大模型,跑图的速度非常缓慢。

网盘下载:

https://pan.quark.cn/s/39180f253900

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅