AI 数字人本地完整实操流程

纯今

数码之家的很多受欢迎的帖子，被我称之为螺蛳壳里做道场，来我们看看AI时代的自媒体是如何构建的，当然，文字稿是我的AI打工人整理输出的
也能理解Nvidia显卡那么贵，都是什么人买了

整套方案全部使用开源模型，在本地电脑运行，不用把自己的素材上传到网上，也不用花钱调用网上的作图、配音、视频接口

用到的硬件与辅助工具

• 英伟达 DGX Spark：桌面级 AI 主机，配置很高，我们平时用笔记本远程连接这台机器干活。所有大模型都跑在这台设备上。
• Cloud Code（Anthropic 的 AI 编程助手），装在 VS Code 里面的插件。人只需要说自己想要什么效果，它会把需求拆解成一步步任务，自动写脚本、执行命令，下发给 DGX Spark 运行。人只负责提需求，最后审核生成出来的结果。
  

核心软件：ComfyUI（原文写为 Config UI）免费开源工具，Windows、Mac 都有一键安装包。界面是空白画布，通过一个个「节点」完成工作，每个节点只干一件事，用线条把节点连起来，就组成一套完整工作流程。一套图像 / 视频生成工作流一般分为 5 大步：

• 加载模型：加载大模型、辅助识别模型、VAE、LoRA 小补丁；
• 导入素材：图片、视频、音频；
• 输入提示词：告诉模型需要改成什么效果；
• 模型运算生成：从噪点开始逐步渲染画面；
• VAE 还原输出，导出图片或者视频。
  

名词简单解释

• 主大模型：体积最大，真正负责画图、生成画面；
• 看图理解模型：看懂图片和文字要求，交给主模型处理，这里用的通义千问 Qwen2.5‑VL；
• VAE：把图片压缩变小方便计算，算完再还原回正常图片；
• LoRA：几百兆的小型微调补丁，不改动大模型本体，给模型增加特定能力，这里用提速 LoRA，把几十步计算压缩到 4 步完成。
  

第一步：生成数字人脸部形象做脸使用阿里开源修图模型 QN Image Edit，ComfyUI 有现成官方模板，模板自带模型下载地址。

• 不靠参考别人照片，只用文字描述长相：鹅蛋脸、下颌线清晰、年龄 28‑29 岁、淡妆、嘴角浅笑这类细节；
  

注意：不要直接拿别人照片喂给模型，不然会直接照搬别人的五官样貌。

• 痛点：如果改衣服、换背景，模型会整张图重绘，人脸容易跑偏，几次修改之后就不像原来的人。✅ 解决办法：把已经定稿的人脸图作为参考图一起喂给模型，提示词写明「保持参考图的人脸完全不变」，只修改服装和背景。
• 质量校验：生成图片之后，使用开源工具 InsightFace 做人脸相似度打分，如果和定稿人脸相似度太低，就重新生成。
  

第二步：生成数字人语音配音使用通义千问开源的 Qwen3‑TTS 语音合成模型，不放在 ComfyUI 里运行，直接调用 Python 包，HuggingFace 网页还可以先免费试效果。两种用法：

• 文字创造全新声音：写文字描述人物，直接生成全新音色。例：三十岁华人女学者，声线偏低温润，语速平缓，像播客里讲课的大学讲师。
• 声音克隆：上传一小段参考音频，复刻这个音色朗读新台词。
  

配音双重质检，防止翻车

• 阿里开源 CAM++ 声纹模型：检查音频音色，防止中途突然变成陌生人的声音；
• OpenAI 开源 Whisper 语音识别：把语音转文字，核对有没有读错字，有错别字就修改文稿规避。
  

第三步：图片数字人开口说话（嘴型对齐音频）使用美团开源项目 Infinite‑Talk，这个模型基于阿里 ONE 2.1 视频模型训练，需要同步下载 ONE2.1 模型。

ComfyUI 需要先安装第三方插件 One Video Wrapper（插件管理器直接搜索名字安装，自带现成工作流）

实操小技巧：

• 如果只丢一张静态照片给模型，AI 会自己脑补头部动作，经常摇头晃脑幅度很大，人脸容易变形。
• 优化做法：先用简单脚本，把定稿人像生成一段轻微晃动、闭嘴巴的底稿视频。再把底稿视频 + 配音音频一起交给 Infinite‑Talk。模型不再乱编头部动作，只按照底稿的头部姿态，只修改嘴巴，匹配语音做口型。
• 硬件耗时：DGX Spark 机器，生成 13 秒人物说话视频，需要 8‑10 分钟。
  

把整套流程打包成 Skill（自动化说明书）把上面全套流程、参数标准、判断合格的条件打包成一份 Skill，交给 Cloud Code。只需要把文件夹放到 Cloud Code 的 Skill 目录下即可。

前提：电脑已经装好 ComfyUI，全部模型文件下载完毕。

之后你直接用自然语言提需求，比如：生成一位 30 岁性格温和的男数字主播。Cloud Code 会自动检查模型是否齐全，自动跑完整套流程，每一步生成多张结果，拼成对比图给人挑选。示例：一句简单指令「给数字人换上白衬衫，人脸不要改动」，工具自动出 4 张图，全部做人脸相似度检测，达到 0.97 相似度才合格，供人手动选择。
硬件与成本总结

• 全套模型合计 60 多 GB：做脸模型约 30G，说话视频模型约 35G。模型要载入显存运行；DGX Spark 是 CPU 显卡共享 128G 大内存，可以完整加载全部模型。普通电脑看自己显卡显存能力。
• 本地生成图片视频本身没有费用；主要成本是硬件机器，DGX Spark 官方四千多美元，外加电费、Cloud Code 订阅费用。唱歌数字人是另一套技术，后续再分享。