Product
从粗糙的 **Astra** 建模踩坑开始，我就一直在琢磨：到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来？ 一路从 **OpenAI** 产出概念效果图，到 **Tripo3D** 生成 3D 模型，再到非人形怪物的自动绑骨蒙皮；更进一步，用 **MiniMax H3** 生成想要的动作视频，并基于 **Meta** 的 **DINOv2** 训练专属小模型来识别骨骼与关节位置，最终把视频动作还原到 3D 骨骼上（这里必须…
从粗糙的 **Astra** 建模踩坑开始，我就一直在琢磨：到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来？ 一路从 **OpenAI** 产出概念效果图，到 **Tripo3D** 生成 3D 模型，再到非人形怪物的自动绑骨蒙皮；更进一步，用 **MiniMax H3** 生成想要的动作视频，并基于 **Meta** 的 **DINOv2** 训练专属小模型来识别骨骼与关节位置，最终把视频动作还原到 3D 骨骼上（这里必须感谢 [**@CanItCode**]( https://www.youtube.com/@CanItCode)，核心思路正是从他的视频中学到的），才终于跑通并达到了视频里这种勉强可用的效果。 --- ### 核心实现思路 1. **模型生成**：通过 **Tripo3D** 生成基础 3D 模型。 2. **自动绑骨**：使用 **TokenRig** 完成非人形结构的自动绑骨与蒙皮。 3. **合成训练集(imoportant)**：在 **Blender** 中采用双视角与随机姿势，自动摆出并渲染默认的 **3,000** 个动作样本。 4. **训练视觉小模型**：基于 **DINOv2** 进行微调训练，输入渲染图片与对应的关节坐标等标注信息。 5. **生成动作参考**：使用 **MiniMax H3** 生成目标模型的动作视频。 6. **逐帧特征提取**：用训练好的小模型逐帧推理视频，提取关节坐标与深度信息。 7. **动画重建(important)**：将提取出的空间数据解算并映射回模型，成功把 2D 视频重建为 3D 骨骼动画。 > **开源仓库**：后半部分最折腾的小模型训练与推理代码已经开源，感兴趣的可以直接看源码自己琢磨： > [GrinZero/open-game-studio (monster package)]( https://github.com/GrinZero/open-game-studio/tree/main/packages/monster) --- ### 算力致谢与下一步计划 不得不再次感谢谷歌大善人，感谢 **Gemini Ultra** 附赠的 **Colab** 算力额度支撑了整套训练与渲染流程。 **下一步优化**：目前动作大形已经没有问题，接下来打算接入量大管饱的 **DeepSeek 4.1 Flash 1017**，配合**同坐标叠图**与**逐帧评分工具**进行逐帧修正去抖，期待最终效果能完全达到预期。
Discuss this product