2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

手把手教你如何用AIGC大模型写一首歌

发布日期:2024-06-16 21:48:39 浏览次数: 3748
作者:阿里云开发者

微信搜一搜,关注“阿里云开发者”


作品呈现

原创音乐:词&曲 by 大模型

原创MV:图 & 视频素材 by 大模型

剪辑:本人

背景

传统的MV制作过程:脚本-->分镜-->关键帧-->动画-->配音配乐。
利用常见一个MV的过程,参考了传统的MV的协作流程,并结合了当前的大模型能力:
  • 纯人工:一部分继续交给人工,比如(剪辑);

  • 人工交互:一部分因为没有接口,直接使用交互版的大模型能力(比如 音乐创作和图生视频);

  • 接口自动化:提示词优化和生成,脚本创作和分镜已经完全可以交给大模型的Agent完成;

大模型的能力还在不断的发展中,虽然现在人工干预很多,对于未来Multi-Agent协同来完成一个MV,只需要多模态大模型的接口完全开放就能做到。

Agent拆分和提示词

编导Agent


分镜脚本

通过coze添加一个Agent

agent人设
# 角色你是一个专业的动漫声音声乐导演,能够出色地负责动漫配音工作,精心制作各种音效,巧妙创作背景音乐以及打造精彩的主题曲。
## 技能### 技能 1: 配音工作1. 当接到动漫配音任务时,根据角色特点和剧情需要,合理安排配音演员进行配音。2. 确保配音质量和效果,使其与动漫画面完美融合。### 技能 2: 音效制作1. 根据动漫情节和氛围,制作合适的音效。2. 不断调整和优化音效,增强观众的听觉体验。### 技能 3: 背景音乐创作1. 深入理解动漫主题和情感,创作契合的背景音乐。2. 使背景音乐能有效烘托动漫的氛围和情感。### 技能 4: 主题曲创作1. 为动漫量身打造独特而吸引人的主题曲。2. 让主题曲能够准确传达动漫的精神和特色。
## 限制:- 专注于动漫声音相关领域,不涉及其他无关内容。- 严格按照给定格式输出内容,不得偏离。- 各项工作描述不超过 100 字。

通过编导Agent,创作“梦境为主题的故事和分镜脚本”剧本。

其中分镜内容,主要用来创建视频。
内容概要,主要用于后面的原创歌曲。
分镜脚本,这里给的一个示例。
分镜编号

镜头类型

人物

镜头内容

台词

美术提示词

01

全景

主角

主角躺在床上,渐渐入睡


昏暗房间,主角安静躺着

02

全景

主角

主角置身于神秘森林中,月光洒下,仿佛梦中


静谧森林,月光

03

中景

主角

主角好奇地在森林中探索,夜色,充满疑惑

主角:这是哪里?

森林,主角走动

04

全景

城堡

主角看到远处的城堡,森林中,月光下,古老城堡


古老城堡

05

中景

主角

夜色中,月光下,主角走向古老神秘的城堡,试图推开大门,特写主角和城堡大门


主角和城堡大门

06

近景

城堡

夜色中,大门缓缓打开,近景特写大门,近景特写推开门的手,大门上古老的神秘纹路

嘎吱声

打开的城堡大门

07

全景

主角

城堡内,一片黑暗,只有一点烛光


黑暗城堡内,一点烛光

08

近景

主角

主角靠近烛光,光线黑暗,看到一个模糊的影子,特写人物影子


烛光和影子

09

中景

主角

夜晚,主角被惊醒,从床上坐起身,表情惊恐

主角:啊!

主角在床上,惊恐表情

10

全景

主角

夜晚,主角看着房间,若有所思,思考刚才的梦

主角:那个梦……

房间,主角思考状



美术Agent


关键帧

方案一:同样的通过Agent可以创作一个,添加一个分镜的图像流,基座模型用通义万相。
人设
# 角色你是一个专业的美术导演,在青春校园动漫、二次元动漫、玄幻风格动漫等领域有着卓越的才能,可以将分镜脚本巧妙地绘制成分镜草图,还能依据分镜草图精准地绘制出美术制作所需的关键帧画面。
## 技能### 技能 1: 绘制分镜草图1. 当收到分镜脚本时,根据脚本内容绘制分镜草图。2. 确保草图能够清晰展现故事场景和角色动作。### 技能 2: 绘制关键帧画面1. 根据分镜草图,提炼关键帧并进行绘制。2. 要突出动漫风格和特点。
## 限制:- 专注于动漫相关的创作,不涉及其他无关内容。- 严格按照给定格式输出内容。- 对于主角形象,分镜脚本中保持人物的一致性- 输出图片都是9:16的比例,高清,二次元风格

关键帧创作

难点:人物的一致性,原始分镜脚本下创建的分镜01和02,人物一致性难以保持。

解决方案:人物描述的全局补充,对于场景和时间,补充在分镜脚本内容中。
根据分镜头脚本,通过脚本解析成提示词。
主角描述 + 镜头类型贯穿全文。
背景描述,初衷的设计是取前几个提示词,形成记忆,便于前后的信息连贯,但是尝试过通义万相后,发现背景信息的提示干扰比较大,暂时没有使用。其他模型暂未尝试。
根据不同的提示词获取到的场景分镜前6关键帧如下:
整体看:
  • 人物的一致性比不加全局人物提示词有改进,服饰的细节可以补充后进一步优化;

  • 画质和风格的一致性通过约束输出保持较好;

  • 镜头的远景/中景/近景/特写的理解比较差,通义对于镜头的关键词理解较弱,通义万相提示的镜头语言应该是 微距/长焦等,和视频的镜头语言有差异;


视频

通过关键帧生成视频,用的Runway免费版本,谷歌or苹果账号登陆,图生视频的功能免费版比较简单:
https://runwayml.com/
且没有接口,这部分人工操作的,仅作为素材的增强,用的最基础的能力把关键正生成视频,图转视频效果参考最终的作品。
之所以选择关键帧生成视频,而不是直接文生视频的方案,主要的考虑也是为了解决文生视频产生的不一致问题。

声乐导演Agent


主题曲

使用 https://suno.com/create
提示方式:歌词+提示词+音乐风格
常见歌曲结构:前奏-主歌-前副歌-副歌-间奏-主歌-副歌-桥段-副歌-尾奏
领域词汇:
  • melodic instrumental
  • verse主歌
  • chorus 副歌
  • rap
...
一个lyrics结构的例子:
[melodic instrumental]---!~...
[verse]歌词歌词...
[chorus]歌词歌词...

本文的歌词:

[Verse]Woke up from a strange scene last nightChasing shadows under moonlightIn my dreams I get so lostFloating through a world that costs
[Verse]Reality's a weight I can't bearWhispers in my ear everywhereIn the night my fears take flightInner darkness out in plain sight
[Chorus]In dreams I find myselfA place I can be freeBut the waking world pulls me downA prison I can't seeLost in dreams and realitie


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅