作为技术美术,近期思考了美术资产生成和Agent的联合开发,有了一些思考给大家分享。
具体的架构和流程如下所示:
核心架构 该 Agent 基于 LangGraph 图结构框架构建,整合多模态模型以实现自动化的资产拆解与生成:
逻辑调度中心:以 GLM-5.1 作为决策大脑,负责工作流的状态机流转、条件判断 (Conditional Edges) 及节点间的参数传递。
视觉解析与质检 (VLM):接入 Qwen-3.6,负责立面类型判定、构件语义特征提取(形态/材质/比例),并执行各阶段的图像评分与循环纠错。
定向图像生成:调用 Nanobanana 进行正交化重绘、背景剔除及多视角的精确生成。
自动化管线 (Pipeline) 工作流包含五个核心处理阶段,引入了基于闭环质检的重试机制:
立面标准化 (Phase 1) 输入任意建筑截图,VLM 判断当前透视类型,随后引导生图模型生成纯白背景、无阴影的正面正交图。内置质检节点对正交性、风格一致性及立面忠实度进行打分,总分达标 (total >= 7) 且无裁切、无风格漂移方可进入下一环。
模组识别与解析 (Phase 2) 对标准化立面进行语义分割,输出包含名称、位置和类型的模组清单。执行覆盖率质检,确保识别区域覆盖率达到 90% 以上,避免资产遗漏。
四宫格拆解生成 (Phase 3) 对提取的模组执行并行计算。分离墙体基底与独立附着物(如山花、拱窗、门头),统一按 1:1 比例生成斜 45° 俯视的四宫格图像。质检节点严格校验布局正确性与构件独立性,若出现组合构件 (has_composite = true) 则强制打回重绘。
切割与有效性过滤 (Phase 4) 将四宫格物理切分为独立图像,逐帧进行有效性判定,剔除生成失败或形态崩坏的废件,并执行规范化重命名。
双视图生成 (Phase 5) 基于上游提取的资产属性,生成严格左右等分、纯白背景的正视图与 90° 侧视图。通过最终评分剔除正视偏差或布局未等分的错误结果,输出标准化的多视图切片与 JSON 配置文件。
下游扩展 该工作流完成了非结构化 2D 图像向结构化多视图资产的转化。产出的正侧双视图矩阵可无缝对接到 Hunyuan3D 等三维大模型,作为三维重建的精确先验输入,完成从概念截图到 3D 模型资产的端到端自动化生成。