《夜叉渡河》AIGC技术白皮书一、创作灵感“夜叉”这个词，在《聊斋志异·夜叉国》中指向一个野蛮却拥有复杂人性的异族，在广东民间信仰中则是水鬼与守护灵的双面存在。这三个层面的交集，构成了《夜叉渡河》的构思起点。当少年背负间接弟弟溺亡的原罪，祖辈相传的夜叉传说便不再是迷信，而成为一种血脉深处的召唤——那条河、那团雾、那个水下等待的影子，究竟是真实存在的鬼魅，还是内心罪孽的投射？他会像被诅咒的夜叉后代一样，永远困在水里，还是能够渡河、上岸、获得救赎？二、提示词转译与风格锚定：DeepSeek的工作在剧本定稿与视觉实现之间，存在一个关键的中介环节：将文学性的场景描述转化为AI图像模型能够精确执行的提示词。这项工作由DeepSeek承担。我们采用的是一种直接但精准的转译工作流。将每一场戏的文学描述输入DeepSeek——例如“水下镜头，泳镜视点，圆形画幅，水雾模糊，河底隐约可见夜叉洲的轮廓，永安寺壁画风格”。DeepSeek会返回一套结构化的提示词方案，包含主体描述、风格限定、构图指令、光影参数、负向提示词五个模块。我们根据实际生成效果进行人工校准，经过几轮迭代后锁定最佳方案。DeepSeek在提示词工程中的核心贡献体现在风格词汇的精确锚定。在确立“永安寺壁画+赛璐璐国画+宫崎骏画风”的三重融合时，我们最初使用的词汇较为笼统——“中国壁画风格”“水墨动画”“吉卜力风格”——生成结果在不同模型之间漂移严重，有时偏重线条而失去色彩层次，有时过于卡通而丢失肃穆感。DeepSeek给出了精确的词汇组合方案：• 永安寺壁画元素：“Yongan Temple mural style, heavy mineral pigment texture, iron-wire line drawing, faded murals with crackling, Buddhist iconographic proportions, solemn and eerie atmosphere”• 赛璐璐国画元素：“cel-shaded Chinese ink painting, flat colors with transparent layers, visible brush strokes, wet-on-wet technique, rice paper texture”• 宫崎骏画风元素：“Studio Ghibli background art style, soft volumetric lighting, detailed nature elements (water ripples, mist particles), nostalgic color palette, wind effect on grass and hair”三种风格通过分层提示词融合，例如一个夜叉洲远景镜头的提示词结构为：[base:永安寺壁画] + [overlay:赛璐璐国画 30%透明度] + [atmosphere:宫崎骏雾效]。三、自研PE系统与Mimo：多图参考下的分镜脚本自动化生成在完成提示词转译之后，我们面临的下一个效率瓶颈是“分镜抽卡”——即为同一场景的不同机位和关键帧反复生成图像，从中筛选出符合美学要求的版本。传统工作流中，每一个分镜都需要人工构思画面描述、撰写提示词，不仅耗时，且难以保证同一场景下不同镜头之间的风格统一与构图连贯。为此，我们自行开发并部署了一套PE（Prompt Engineering）系统提示词，其角色定位为“影视导演AI助手”，专门用于多格分镜参考图输入下的分镜头脚本自动化生成。而驱动这套系统的底层模型是Mimo（小米多模态语言模型）。Mimo强大的多模态理解能力使其能够精准识别分镜图中重复出现的人物、场景元素，并按照我们预设的格式输出标准化的分镜头脚本。这套系统的工作逻辑可以概括为“多图输入 → 结构化解析 → 格式化脚本输出”。用户向Mimo提供一张多格分镜图片（如九宫格、四宫格等，每个格子为一个独立的关键帧画面）以及一段可选的文字描述，PE系统提示词会驱动Mimo依次执行三个内部思考步骤：第一，识别图片中重复出现的人物与场景元素，建立视觉元素的索引体系；第二，按行优先顺序对每一个格子进行逐格解析，内容涵盖构图景别、人物站位关系、行动动势以及隐含的戏剧张力；第三，根据用户指定的镜头扩充策略，将所有关键帧组织为一套逻辑连贯的分镜头脚本。系统提示词：影视导演AI助手（最终版）角色设定你是一位极具专业素养的影视导演，擅长通过视觉语言解读和构建故事。你将收到一张多格分镜图片（例如九宫格、四宫格、六宫格等，由多个独立画面组成），以及可能附带的一段文字描述。这些分格图片更像是故事中的关键帧，而不是严格切分的镜头——多个关键帧可能属于同一个连贯的镜头。你的任务是对所有分格进行深度解析，并最终输出一份专业的视觉化分镜头脚本，严格遵循以下格式要求。重要：你必须严格执行以下内部思考步骤（识别重复元素、逐格解析、关键帧组织），这些步骤是生成高质量分镜头脚本的基础。所有内部思考过程仅在脑海中完成，最终只输出符合格式的视觉化分镜头脚本。输入说明• 多格分镜图片：一张由多个格子组成的图片，每个格子为一个独立画面，包含重复或不重复的人物、场景。格子数量为N（例如4、6、9、12等），按行优先顺序排列。• 文字描述（可选）：用户可能附带的文字说明，分为三种类型。如果用户没有提供任何文字描述，默认按类型A处理。文字描述中可能包含台词，这些台词必须在最终脚本中完整保留，不得删改。步骤1：识别重复元素• 人物：仔细观察每个格子中的人物，将重复出现的人物在脑海中标注，并记住他们的外貌、服装、关键特征等，以便在脚本中用“图1中的XXX”描述。• 场景：将重复出现的场景在脑海中标注，并记住其环境特征，以便在脚本中详细描述，但不要出现编号。步骤2：逐格解析（必须完整详细，细化构图、景别与人物站位）按照格子的行优先顺序（第一行从左到右，第二行从左到右，以此类推）对所有格子进行详细分析，将格子依次编号为格子1、格子2、格子3……对于每个格子，必须分析：• 构图与景别：说明景别和构图方式，描述人物在画面中的具体方位（如画左、画右、前景、背景、中心等）。• 人物位置关系：详细说明每个人物在画面中的具体位置，空间距离，遮挡关系，层次，以及周围关键环境元素。• 行动动势：每个人物的动作、身体姿势、面部表情、视线方向、运动趋势。4. 格式示例参考图中分镜图。这段包含12个镜头场景的视频，以客观视角和部分车内主观视角，在白天阳光明媚的城市居民区街道上，记录了一场紧张刺激的汽车追逐枪战。视频整体呈现出偏暗的亮度和清晰的锐度，饱和度正常，对比度适中，主色调为棕色、红色和黑色，营造出一种暖色调的电影感氛围，并伴有强烈的胶片颗粒质感。音频内容由激烈的电子摇滚乐和密集的枪声、引擎轰鸣等音效构成，没有语音对话，共同渲染出极度紧张的气氛。第1个镜头[00.00- 01.42秒]以一个全景平拍镜头开场，一辆前景中的橙色马自达RX-7FD跑车在狭窄的街道上行驶，其后方是一辆深红色林肯大陆轿车，两车并驾齐驱，预示着冲突的发生。第2个镜头[01.42- 03.33秒]通过硬切转场，进入跑车内部，采用超广角-鱼眼焦距的近景，我们看到首次出场的图1中的金色短发、穿黑色无袖背心的白人男性赛车手，他表情专注而紧张地驾驶着车辆，身体随着车辆颠簸而晃动。第3个镜头[03.33- 04.54秒]再次硬切，切换到追击者的视角，这是一个从摩托车后座拍摄的低角度近景，前景是戴着亮红色全罩式头盔的图1中戴亮红色全罩式头盔的摩托车手，他右手握着一把银色的手枪，透过挡风玻璃可以看到前方的街道。最终输出的分镜头脚本格式高度标准化。每个镜头的描述均严格包含技术规格（转场方式、景别、焦距、角度、构图、光影、运镜）、叙事主体（环境布局、人物外貌衣着、表演调度）以及声音设计。人物指代统一采用“图1中的XXX（特征描述）”的格式，确保精确对应分镜图中的人物。部署该PE系统后，分镜头脚本的撰写效率大幅提升，且系统内嵌了对重复元素的一致性别名管理，有效避免了AI出图中常见的人物特征漂移与场景风格断裂问题。脚本：步入神殿参考这些图片。这段包含8个镜头的视频，以客观视角记录男孩在山头暮色中穿过寺庙回廊壁画长廊，被老僧引领步入夜叉大神殿，木鱼声响起。巨大夕阳逼近山头云雾缭绕，殿内烛光暮光交织。纯视觉叙事无台词。第1个镜头广角大全景平拍镜头静止，山顶孤寺仅一座大殿一条回廊——黑瓦翘脊轮廓简洁，巨大夕阳古画面右侧约1/3紧贴山脊，深橙红圆盘微微变形，云雾从山腰翻涌漫过殿宇基座——薄处透出木柱，厚处吞没下半部仅余屋顶浮于雾上。孤寺如浮于云海。晚钟一声余韵悠长。第2个镜头硬切，中全景正面平拍镜头静止。进入场景C。第一幅壁画——绿色多臂神像立于猛虎之上。两侧深褐木柱框架，柱间博卵横梁纹理苍劲，夕阳光从左侧斜射入在石板地面投下木柱长长斜影，地面切割为明暗交替。壁画左侧明亮右侧沉入暗部。图中的男孩从右侧入画向左行走——白背心深色短裤人字拖，经过时夕阳光带扫过壁画与男孩身上，从左侧出面。硬切，中全景正面平拍镜头静止。第二幅壁画——蓝色三目悠悠尊持剑，色彩鲜明。夕阳光从柱间透入形成宽阔暖色光带将壁画一分为二——蓝色悠悠尊左半身被深暖色右半身保留冷蓝。两侧木柱在壁画上投下竖直暗影如画框中的画框。图中的男孩从右侧入画向左行走——白骨心被光带一分为二一半亮一半暗，从左侧出画。人字拖石板声，远处鸟鸣。第4个镜头硬切，中全景正面平拍镜头静止。第三幅壁画——橙红悠悠尊半法器旁伴绿色狮子神兽，天色更深沉。夕阳光已极低——壁画底部仅剩窄窄橙色光边，上半部沉入暮暗。木柱投影极长横跨地面。雾气漫至脚边被残余夕照染成金橙色与灰蓝交融。图中的男孩从右侧入画向左行走——脚边雾气被步伐轻轻拨开，微微侧头扫视壁画一眼未停步，从左侧出画。画面在空荡回廊中停留片刻。人字拖声渐远。第5个镜头硬切，中焦中景侧面平拍镜头缓慢前跟。进入场景口（大殿入口通道）。通道两侧深褐粗木立柱等距排列向纵深延伸形成透视序列，柱间樟卯横梁交错。两侧立柱间数十盏锡质油灯高低错落——灯焰形成暖橙光河沿通道向殿内延伸。殿外山雾渗入在灯座间缭绕被烛光照成暖橙。上方梁间隙透入最后一线深蓝暮光与殿内暖橙烛光交汇形成冷暖分界。图中的老僧在前——光头苍老，深褐色骨袍，垂侧，右手微抬引路。男孩在后约半步——白骨心被四、制作流程本片将“文生图-图生视频”与“文生视频”两种视频生成路径针对不同的画面需求相结合，再统一交付人工进行后期剪辑，定剪后AI辅助生成了影片大部分的音效。1. 美学体系：泳镜颜色标记的色彩时间线系统我们建立了一套以泳镜颜色为标记的色彩时间线系统，将主人公艮在三个不同阶段的存在状态视觉化。三条时间线通过场景自然切换（艮闭眼再睁眼、潜入水下又浮出、被爷爷的念诵声拖入回忆），结尾处艮换上红色泳镜是一个超现实的仪式化动作，标志着时间线的收束与觉醒。每个篇章的整体画面色调向对应的泳镜颜色靠拢，同时融合赛璐璐、宫崎骏与中国山水画的美学特征。蓝色泳镜时间线（过去——弟弟活着时的艮）这一时间线呈现弟弟坤还活着时，艮尚未经历溺亡事件的日常。全篇以沁凉的蓝青色为主调——河水、天空、老屋的阴影都偏向冷蓝。美学上侧重中国山水画的“浅绛”变体，用淡墨与花青铺底，再叠加赛璐璐国画的平整色块与透明层次，营造出清澈而略带距离感的回忆质地。宫崎骏式的云朵流动、草叶摇曳穿插其中，让过去的时光显得明亮而怅惘。提示词中固定加入“cool blue-cyan palette, pale ink and flower blue, flat cel-shaded blocks with transparency, Ghibli clouds and grass swaying”。红色泳镜时间线（弟弟溺亡时的艮 + 危险感 + 夜叉血脉觉醒）这一篇章包含两个层次。第一层是溺亡发生那一刻——代表惊惶、愧疚与不可挽回的灼烧感。第二层是红色贯穿的“危险感”：每当艮接近真相、被夜叉洲的恶意笼罩，红色就会像预警一样渗入画面。影片结尾，艮超现实般地再次换上了红色泳镜——此时红色不再是罪孽的标记，而是夜叉血脉的觉醒。他接纳了流淌在血液里的夜叉之力，红色转变为力量与宿命的颜色。主色调为暗红、铁锈红、朱砂红与血色残阳。赛璐璐的平涂被打破，代之以中国山水画中的“朱砂点染”与泼墨式的红色飞白，同时保留宫崎骏风格中强烈的光影对比——将暖阳扭曲为正午烈日与血色残照。提示词中固定加入“dark red, rusty red, cinnabar, blood sunset, broken flat colors, cinnabar stippling and splash-ink red flying white, strong绿色泳镜时间线（现在的艮）故事当下的主线——艮备战八月十五区选拔赛、照顾爷爷、反复被夜叉洲的幻觉缠绕、与“现在的坤”对峙。绿色是夜叉洲的苔藓与雾气，也是艮试图偿还罪孽、走向和解的底色。这一篇章融合青绿山水的重彩层叠与赛璐璐的透明色层，既有矿物颜料的厚重，又有动画的轻盈。宫崎骏式的自然生命力被赋予阴翳之美——绿不是生机勃勃的翠，而是沉静的、水下的、带着萤火与雾气的暗绿。提示词中固定加入“dark green, misty green, blue-green landscape heavy color layering, cel-shaded transparency, Ghibli gloom aesthetics, firefly and fog atmosphere”。2. Tapnow 的人物场景资产控制Tapnow 在本片中不仅是节点式工作流工具，更是人物与场景视觉资产的核心管理系统。我们为三条时间线分别建立了独立的资产节点模板，每个模板内部锁定以下内容：• 人物资产：艮、坤、爷爷的标准像提示词前缀（包含面部特征、发型、服装、体型的关键描述），确保在任何场景下调用同一人物时，模型生成的形象保持一致。当需要生成不同机位或角度的镜头时，只需在模板基础上追加视角描述，人物核心特征不会被稀释。• 场景资产：将水乡街道、爷爷老屋、泳池、夜叉洲等核心场景分别保存为独立的模板，每个模板包含该场景多个角度的图片及对应的固定描述提示词。3. 动态视频分工可灵承担部分水下游泳镜头与人物微表情生成。尤其在人物面部特写中，可灵对微表情的捕捉赋予了赛璐璐风格以真实的情感重量。而Seedance2.0是本片视频生成的核心引擎，它在两个维度上与我们的工作流高度匹配：多镜头参考生成。Seedance2.0支持在一个生成任务中同时输入多张参考图、参考视频和参考音频，系统据此自动规划分镜和运镜。这意味着我们可以将前期Midjourney生成的风格定调图、PE系统输出的分镜脚本关键帧、以及人物三视图一并输入，由模型在同一生成任务中输出具有镜头间连续性的视频序列，无需后期逐段拼合。Seedance2.0在生成视频画面的同时，能够根据输入的粤语台词和音色参考，直接合成与口型同步的人物对话和对应的环境音效。这意味着我们不需要先出画面、再找配音演员、最后对口型——三个步骤合并为一步完成。具体到《夜叉渡河》，爷爷沙哑苍老的粤语念诵声，我们只需提供几段参考音频或文字描述，模型就会生成带有相同音色和韵律特征的念白，并且画面上人物的口型与声音精确匹配。水下的暗流声、气泡声、远方的呼唤，也同样由模型在生成画面时自动搭配生成。这不仅大幅缩短了后期配音和音效制作的时间，更重要的是保留了粤语方言特有的语气和情感张力，让声音与表演在生成那一刻就生长在一起，而不是后期拼凑上去的。