具有网格转化和材质光照分离的文本到三维物体生成

Liu Jia, Pan Zihan, Chen Dapeng, Zhang Jiahui, Lu Guorui, Zhang Yangrui. Text-to-3D Object Generation with Grid Transformation and Material Illumination Separation[J]. Journal of Computer-Aided Design & Computer Graphics. DOI: 10.3724/SP.J.1089.2024-00320

Citation: Liu Jia, Pan Zihan, Chen Dapeng, Zhang Jiahui, Lu Guorui, Zhang Yangrui. Text-to-3D Object Generation with Grid Transformation and Material Illumination Separation[J]. Journal of Computer-Aided Design & Computer Graphics. DOI: 10.3724/SP.J.1089.2024-00320

具有网格转化和材质光照分离的文本到三维物体生成

刘佳,  潘子涵1, 2,  陈大鹏1, 2, 3, 4, ,  张家辉1, 2,  卢国瑞1, 2,  张洋瑞1, 2 1.

南京信息工程大学天长研究院

2.

南京信息工程大学 机构 自动化学院

3.

江苏省智能气象探测机器人工程研究中心

4.

江苏省大气环境与装备技术协同创新中心

基金项目: 江苏产业前瞻与关键技术重点项目;江苏省自然科学基金青年基金;国家自然科学基金

计量 文章访问数:  13 HTML全文浏览量:  0 PDF下载量:  7 出版历程 收稿日期:  2024-06-26 修回日期:  2024-10-28 录用日期:  2024-10-29 网络出版日期:  2024-11-03

Text-to-3D Object Generation with Grid Transformation and Material Illumination Separation

Liu Jia1, 2, 3, 4,  Pan Zihan1, 2,  Chen Dapeng1, 2, 3, 4, ,  Zhang Jiahui1, 2,  Lu Guorui1, 2,  Zhang Yangrui1, 2

摘要

摘要: 针对3D内容生成仍然存在推理速度慢、多样性低以及Janus问题, 提出一种基于3D高斯抛雪球的3D内容端到端生成算法, 从高斯中使用泊松重建算法进行网格提取, 并采用基于点的渲染框架对多视图图像中的材质和照明进行了分解和重建, 使其能够适用于当今的3D建模软件, 并能进一步提升内容生成的效率和质量. 进一步的, 还搭建了一个触觉增强现实交互系统. 与采用T3Bench设计的文本到3D基准测试方法进行实验的结果表明, 所提算法具有较好的生成多样性, 且使用的法线扩散模型有效地缓解了Janus问题.

Abstract: Aiming at the problems of slow reasoning speed, low diversity and Janus in 3D content generation, an end-to-end 3D content generation algorithm based on 3D Gaussian snowballing is proposed. Poisson reconstruction algorithm is used to extract meshes from Gaussian, and the materials and lighting in multi-view images are decomposed and reconstructed by point-based rendering framework, which makes it suitable for today’s 3D modeling software. The efficiency and quality of content generation can be further improved. Furthermore, a haptic augmented reality interactive system is built. The experimental results with the text-to-3D benchmark method designed by T3Bench show that the proposed algorithm has good generation diversity, and the normal diffusion model used effectively alleviates the Janus problem.

HTML全文

参考文献(0)

施引文献

资源附件(0)

计量 文章访问数:  13 HTML全文浏览量:  0 PDF下载量:  7 出版历程 收稿日期:  2024-06-26 修回日期:  2024-10-28 录用日期:  2024-10-29

目录

相关知识

黑龙江齐齐哈尔三维网格2024=已更新省
专栏 | 王鹏：三维城市技术浅析和应用
小花仙子风格化三维静帧全流程案例教学
花了1个月时间，把Python库全部整理出来了，覆盖所有，建议收藏
简单的园林设计软件
PICO+Unity MR空间网格
GardenPlanner for Mac v3.8.62 园林绿化设计软件
大气网格化环境监测系统 网格化环境质量监测系统 大气网格化空气质量监测系统
个人智能化系统 Apple Intelligence 为 iPhone、iPad 和 Mac 引入强大的生成式模型
晋城塑料网格=红色

网址: 具有网格转化和材质光照分离的文本到三维物体生成 https://www.huajiangbk.com/newsview587197.html

上一篇: 光照常用设置&经验总结

下一篇: 室内植物装饰手册：如何利用室内光