Hunyuan3D-PolyGen – 腾讯混元推出的美术级3D生成大模型

Hunyuan3D-PolyGen是什么

Hunyuan3D-PolyGen的主要功能

• 高质量3D模型生成：能生成面数达上万面的复杂几何模型，支持三边面和四边面，满足不同专业管线需求。
• 提升建模效率：集成到腾讯多个游戏管线后，美术师的建模效率提升了超70%。
• 自适应面数分配：可根据几何结构自适应分配面数，在低面数条件下实现更好的细节表现。
• 强化学习优化：通过强化学习后训练框架，提升生成模型的稳定性和美术规范性。
• 多输入方式：支持通过文本提示词或上传图片生成3D模型，用户还可调整生成参数以满足特定需求。

Hunyuan3D-PolyGen的技术原理

• 自回归网格生成框架
  • 网格序列化：将3D网格的顶点和面片转化为Token序列，用以表示Mesh结构。使模型能以序列建模的方式处理复杂的3D网格数据。
  • 自回归建模：以点云作为输入Prompt，基于自回归模型生成Mesh的Token序列。自回归模型通过逐个预测Token的方式，逐步构建完整的3D网格结构。
  • 序列解码：将生成的Token序列反向解码为顶点与面片，重建3D网格。确保了生成的网格在几何结构上的完整性和准确性。
• 高压缩率表征技术（BPT）：为了解决现有mesh自回归方法中表达冗余的问题，Hunyuan3D-PolyGen自研了高压缩率mesh表征技术BPT（Blocked and Patchified Tokenization）。通过Block索引和Patch压缩，大幅减少了表示相同mesh所需的Token数量，提升了模型对复杂mesh的建模能力。
• 强化学习后训练框架：为了提升mesh自回归生成的稳定性，Hunyuan3D-PolyGen引入了强化学习后训练框架。在预训练模型的基础上进行后训练，通过设计稳定生成和美术规范奖励来引导模型生成更高质量的结果。强化学习能有效提升模型生成“好结果”的概率，降低生成“差结果”的概率，显著提升了模型生成的稳定性。
• Transformer架构：Hunyuan3D-PolyGen的自回归建模部分采用了Transformer架构。Transformer通过注意力机制能捕捉网格数据中的长距离依赖性，处理顶点和面之间的复杂关系。模型分为顶点模型和面模型两部分，顶点模型负责生成网格的顶点序列，面模型则在给定顶点序列的条件下生成网格的面序列。

如何使用Hunyuan3D-PolyGen

• 访问创作平台：访问腾讯混元3D AI创作引擎官方平台。
• 功能入口：
  • 选择首页的“3D智能拓扑”功能。
  • 实验室中的“3D智能拓扑”功能。
  • 首页的“文生3D”或“图生3D”功能，选择“几何、纹理分阶段”，在生成几何模型后，可选择“智能拓扑”。
• 使用方法
  • 文生3D：
    • 在首页选择“文生3D”功能。
    • 输入文本提示词，描述想要生成的3D模型的特征。
    • 点击“生成”，等待模型生成完成。
  • 图生3D：
    • 在首页选择“图生3D”功能。
    • 上传一张图片（建议是非透明背景的图片）。
    • 点击“生成”，模型会根据图片生成对应的3D模型。
  • 3D智能拓扑：
    • 在首页或实验室中选择“3D智能拓扑”功能。
    • 上传一个3D模型文件（如.obj格式）。
    • 模型会自动优化拓扑结构，生成更高质量的3D网格。
• 调整参数：在生成过程中，您可以调整以下参数：
  • 面数：根据需求调整生成模型的面数。
  • 纹理细节：选择是否生成纹理映射。
  • GIF动画：选择是否生成GIF动画展示3D模型的旋转效果。
• 查看和下载结果：生成完成后，可以查看生成的3D模型。如果需要，可以下载生成的模型文件（如.obj格式）或GIF动画。

Hunyuan3D-PolyGen的应用场景

• UGC游戏资产生成：Hunyuan3D-PolyGen能快速生成高质量的3D模型，适用于UGC（用户生成内容）游戏开发场景。美术师可以用模型快速生成复杂的几何模型，显著提升建模效率，建模效率提升超70%。
• 游戏场景和角色建模：模型支持生成高分辨率、细节丰富的3D模型，能满足游戏开发中对场景和角色建模的高要求。
• 虚拟场景和道具生成：Hunyuan3D-PolyGen能生成复杂的几何模型，支持三边面和四边面，满足影视制作中对虚拟场景和道具的高精度需求。
• 动画制作：通过生成高质量的3D模型，模型可以为动画制作提供高效的建模支持，减少手工建模的时间和成本。
• 产品原型设计：Hunyuan3D-PolyGen能快速生成高保真的3D模型，适用于工业设计中的产品原型设计，帮助设计师快速验证设计概念。
• 虚拟装配与展示：生成的3D模型可以直接用于虚拟装配和展示，提升设计沟通效率。