7.8k星星!最强开源AI生成3D技术,顶尖技术团队的碰撞,功能多到离谱。


AI生成3D真的是生产力的跃迁。


以往人工要很久才能完成的工作,现在用AI很快就能生成。


但目前来说,没有任何一个生成3D的项目是完美的。


只能是新项目借着老项目铺的路继续修下去,或者老项目能持续高质量更新。


今天给大家推荐的是清华、中科大、微软共同开源的TRELLIS。


TRELLIS解决了很多问题,效果还是很不错的。


扫码加入AI交流群

获得更多技术支持和交流

(请注明自己的职业)


项目简介


TRELLIS是一种新型的AI 3D生成方法,提升了3D资产的生成质量和多样性。核心技术是结构化潜在表示(Structured LATent, SLAT),该方法能够将3D几何和纹理信息编码为稀疏3D网格上的局部潜在特征,支持高效解码为多种3D表示格式,如辐射场、3D高斯和网格等。通过集成强大的视觉基础模型,生成过程不仅具备高分辨率建模能力,还具备灵活的3D编辑功能。


DEMO


· 文本转3D



· 图片转3D




· 编辑3D资产


  • 可以生成与给定的文本提示一致的给定 3D 资产的变体。



  • 可以根据给定的文本或图像提示来操纵给定 3D 资产的目标局部区域。



· 复杂3D艺术设计




技术功能特点


1.高质量3D资产生成



  • 可以在短短10秒钟内生成高质量的3D资产,能够清晰地展现复杂的几何结构和细腻的纹理效果。


  • 生成的3D资产具备高度的真实性,能够精确还原物体的形态和外观,适用于虚拟现实、游戏开发、工业设计等多种场景。


2. 多种3D表示格式支持



  • 辐射场:适用于高度逼真的光照效果渲染。

  • 3D高斯:有效处理复杂几何结构的渲染。

  • 网格:经典的3D网格表示,广泛用于工程设计和动画制作。


3. 灵活的3D编辑功能



  • 局部3D编辑:该技术支持对生成后的3D资产进行局部编辑,无需重新训练模型。用户可以选择删除、添加或替换特定区域的内容,轻松调整3D模型的细节。


  • 区域特定编辑:通过定义编辑区域,用户可以在不影响整体几何结构的情况下,针对某个部分进行调整。例如,修改物体的纹理、几何形态,或添加新的元素如桥梁、河流等。


5. 精细的几何与纹理生成


  • 该方法能够生成具有高精度几何结构和细致纹理的3D资产,确保了最终结果在视觉效果和形状精度方面的卓越表现。


  • 高分辨率建模:通过稀疏3D网格的使用,可以在保持计算效率的同时,提供高分辨率的生成效果。


6. 基于文本与图像的生成输入


  • 文本到3D:用户可以通过提供文本提示,生成符合描述的3D资产。


  • 图像到3D:还可以上传图像作为输入,模型根据图像生成对应的3D资产。


项目链接


https://github.com/microsoft/TRELLIS


 关注「开源AI项目落地」公众号

(文:开源AI项目落地)

欢迎分享

发表评论