什么是三维重建?
随着全球数字化进程加速演进,三维重建技术如同一座桥梁,连接着物理世界与虚拟世界的广阔天地。何为三维重建?它是如何将纷繁复杂的现实世界,转化为可漫游、可交互的数字空间?又都在哪些行业和场景中绽放出耀眼的光芒?
什么是三维重建?
从行业视角看三维重建
三维重建(3D Reconstruction)是一种利用计算机技术,从二维图像或其他数据源中生成三维模型的过程。VR需要构建虚拟的数字空间,而三维重建技术正是对空间最完整、最深度信息采集的技术方案。
如视的三维重建探索
如视当下正在做的三维重建,是采集真实的空间深度信息(包括场景中物体的形状、大小以及它们之间的空间位置关系等),结合RGB相机(一种色彩还原度高、能够采集详细光谱信息的彩色相机)采集的图像信息,经由算法融合后构建1:1真实还原的三维模型的结果,如视软硬一体的三维重建解决方案就是在此基础上形成的。
由此得到的三维模型中,会包含丰富的语义信息,我们将之称为潜藏数据。而如视将通过深度学习算法,进一步挖掘采集生成的VR产物,从中获取包括空间结构信息、文字信息、物体信息、材质信息、光照信息等在内的潜藏数据并应用。
与三维重建共生共荣
三维重建是如视的核心技术能力,基于线下采集空间数据,如视通过自动建模、智能空洞填补、全自动数据提取、HDR 优化等三维重建技术将全部数据及图片纹理精准映射到三维模型上,在数字世界还原真实的三维空间。
作为数字空间综合解决方案引领者,如视自诞生起便深耕三维重建领域, 多年来,如视为全行业提供三维空间的采集、重建、展示能力,打造低成本、高效、有针对性的 VR 空间应用解决方案。
如视通过自研,实现了软硬一体的三维重建全流程解决方案。
多样的空间数据采集产品
如视产品矩阵已经完全覆盖了超大、大、中、小,空间、物体全场景的三维重建,能够提供高效、低成本、稳定的空间数据采集方案,满足千行百业的三维重建需求。
强大的算法能力
如视通过强大的算法能力,打造自动化处理全流程,让整个三维重建过程无需任何人工干预,为客户提供高效的三维重建能力。同时,通过如视特有的基于数字空间的AI能力,如视为用户提供自动平面图、空间物体识别等多样性的衍生产物。
丰富的产物数据编辑系统
为满足用户的多元化、个性化需求,如视打造了一套功能丰富强大的编辑系统,让客户可以对产物数据进行加工编辑。
灵活的场景应用解决方案
如视构建了一套跨越多行业、多业态的数字空间综合解决方案,全面响应并赋能千行百业的数字空间应用需求。同时如视也提供了多样灵活的部署方案,全方位支持客户的多元化应用场景。
如何进行三维重建?
三维重建步骤
一般而言,三维重建需要经过图像生成深度图、深度图生成点云、点云处理、网格重建、网格处理、纹理映射等步骤。
图像生成深度图
三维重建的第一步,是从知道每个点到相机的距离开始。而深度图像就是一张特殊的照片,上面每个点的颜色深浅,代表了它在现实中的位置到观察点所在垂直平面的真实距离。
深度图生成点云
点云是空间中代表3D形状或对象的数据点集合,数据集中的每个点代表一组X、Y、Z几何坐标。在这一步中,电脑会根据深度图像中的距离信息画出许多“小点点(点云)”,它们代表了空间内所有3D形状或对象的位置。
点云处理
之后,我们需要对点云数据进行一系列的处理和优化,提高后续三维重建的准确性和效率,如去除点云中的噪声、离群点等无用或干扰数据,提高数据的纯净度和准确性等。
网格重建
网格是点云的一种简化的表达形式,在三维重建中表示多面体形状的顶点与多边形的集合,这些网格通常由三角形、四边形或者其它的简单凸多边形组成。网格重建,就是要把刚才获取的“小点点”连接起来,形成“小面片(网格)”,这些面片(网格)组合起来就像是房间或者物体的外壳,让房间或物体看起来更有立体感。
网格处理
为了进一步提高模型的质量,接下来需要对初步生成的网格模型进行优化和调整,比如去除网格中的尖锐边缘和不平整表面,让模型更加平滑和自然等。
纹理映射
纹理是一张图片,可以根据特征映射贴在网格表面上。通过纹理映射给网格加上纹理后,诸如房间的墙纸、地板的颜色等内容就会显现出来,模型就会变得更加真实。
3D模型
网格和纹理全部组合在一起,就得到了一个完整的三维模型,它将支持我们的随意旋转、放大、缩小等。
如视的创新与优化
如视的三维重建,与一般的三维重建步骤差别不大,但在深度图和点云的生成上有两种方式。
图像生成深度图,深度图转换成点云
人类通过两个眼睛的视差来实现对距离的估算,但事实上我们用单个眼睛也可以大致估算出距离,这是因为我们的大脑已经记住了一些规律,比如近处的遮挡远处、近处的体积看似大于远处等。
利用这一原理,如视通过积累的数百万专业设备扫描的三维数据集,以全景图为输入、深度信息为标注(答案)训练出"单目图像深度估算"Al模型——Cyclops,实现无需深度传感器、仅采集空间图像即可实现三维重建。Cyclops的诞生,推动了如视轻量级和消费级VR采集产品的诞生,让VR 拍摄进入大众的日常生活。
借助累积的百万套真实空间数据,2019年11月Cyclops的推测误差率突破性地达到4.23%,超越了学界水平,随着采集矩阵的完善,到2023年4月,Cyclops算法误差进一步降至1.35%。
传感器(激光扫描仪)直接采集深度图/点云
我们向某物体发射一束光,并通过接收装置测量光线反射或散射回来的时间差,就可以直接计算出物体离我们有多远,得到物体的深度信息。如果再配上一个角度测量装置,测量光线发射的角度,结合已知的距离信息,就能直接得到该物体的空间坐标。而当我们利用传感器,同时向某场景发射无数道光,就能得到场景中各点的空间信息,也就是它们离传感器有多远、具体在哪个角度等,并据此直接绘制出精准的深度图和点云。
这种采集方式在空间数据的精准性、实时性、便捷性、抗干扰性等方面具备显著优势,如视旗下的专业级激光VR扫描仪“伽罗华(Galois)”,就利用了这一原理。伽罗华在采集过程中显示出卓越的环境适应性,并能够精确捕捉空间内的每一处细节,让大空间和超大空间三维重建变得轻松与高效,为专业人士提供无以伦比的便利体验。
三维重建质量影响因素剖析
三维重建的质量受到多种因素的影响,包括深度数据质量、点位拼接、操作规范、语义信息等。
深度数据质量
深度数据是三维重建的基石,其质量直接决定了三维模型的准确性和精细度。
如视目前已有的两款专业级空间采集产品——激光VR扫描仪“伽罗华”和手持实景扫描仪“庞加莱”——都采用激光雷达传感器,其产物质量受传感器精度影响;此外,庞加莱因为采用了SLAM技术(同时定位与地图构建技术,一种通过传感器数据实时估计自身位置并构建环境地图的技术),其质量还与其使用的IMU(惯性测量单元,一种集成了多种惯性传感器的装置,用于测量和跟踪物体的加速度和角速度)、相机等质量有关;而轻量级产品全景相机、Realsee G1智能云台和消费级产品如视VR APP,其产物质量与深度推测质量相关,目前误差为1.35%。
点位拼接
定点式扫描设备点位拼接是利用多点位采集到的彩色图像和深度信息,通过提取特征寻找相似的匹配点位,并计算相对位置和姿态,最终实现多个点位之间的精确拼接,简单来说就是将多个点位采集到的深度数据进行整合。
操作规范
包括扫描密度、手动拼接、特征工具等在内的人工操作规范与否,会极大程度上影响三维重建的产物精度,作业人员需要按照规范操作步骤,合理设置点位进行采集。
语义信息
语义信息是指对三维模型中各元素(如物体、场景等)的识别和标注,在三维重建过程中引入一些标注的或自动识别的语义信息,不仅可以提高模型的语义丰富度,还有助于提高模型的准确性和实用性。
三维重建用在哪里?
三维重建的无限可能
三维重建技术广泛应用于城市规划、影视制作、游戏开发、考古研究、文物保护、医疗影像、虚拟现实(VR)、增强现实(AR)等诸多领域。随着基于深度学习的三维重建方法突破传统界限,开始处理更加复杂的场景重建任务,三维重建技术应用的广度和深度将不断拓展。
如视的三维重建产物
如视的三维重建技术,不仅能够精准捕捉并还原真实世界的每一个细节,还能将这些数据转化为丰富多样的产物,包括全景图、点云、模型等各个格式的导出,以及视频、截图等营销物料的下载,满足不同用户群体的多元应用需求。
以三维重建推动产业进化
如视通过覆盖了超大、大、中、小空间、物体等多行业、全场景的三维重建能力,为企业的线上营销、空间运维、数字化管理等提供有效助力。目前,如视的三维重建技术已经成功渗透并深度服务工业园区、商业零售、文博会展、酒旅餐饮等九大行业,应用范围覆盖营销推广、内部管理、人员引导、模拟培训等诸多场景,引领千行百业的数字化转型。
结尾
三维重建技术作为数字化转型的重要工具,正以前所未有的速度重塑着人类的生活方式。而如视正在以技术创新为驱动,以用户需求为导向,持续加速三维重建技术迭代和产品升级,为千行百业提供更加高效、精准的三维重建解决方案。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
关键词:
推荐阅读
月壤形成的主要原因 月壤与土壤有什么区别
月壤形成的主要原因月壤形成过程没有生物活动参与,没有有机质,还极度缺水干燥;组成月壤的矿物粉末基本是由陨石撞击破砰形成,因此,粉末 【详细】
域名抢注是是什么意思?投资角度来看什么域名好?
域名抢注是是什么意思域名抢注是通过抢先注册的方式获得互联网删除的域名的使用权。域名是由点分隔的一串数字,用于标记一台计算机或一组计 【详细】
捷达保养费用是多少?捷达是哪个国家的品牌?
捷达保养费用是多少?全新捷达的保修期为2年或6万公里,以先到者为准,新车可享受一次免费保养,首次免费保养在5000-7500km或1年内进行。如 【详细】
天然气泄露会造成爆炸吗?天然气泄漏怎么办?
天然气泄露会造成爆炸吗?家里用的天然气如果泄露是会发生爆炸的。当空气中含有混合天然气时,在与火源接触的一系列爆炸危险中,就会发生爆 【详细】
四部门明确App收集个人信息范围 个人信息保护范围判断标准
四部门明确App收集个人信息范围近日,国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合印发《常见类型移动互联网 【详细】
相关新闻
什么是三维重建?
随着全球数字化进程加速演进,三维重建技术如同一座桥梁,连接着物 【详细】
引领变革、被行业效仿,贝壳的VR看房到底有什么不一样?
近日,高盛发表研究报告称,维持贝壳股票“买入”评级,并给出理由 【详细】
多彩yeah生活·龙江游乐购 ——黑龙江省消夏不夜生活月闪耀启幕
万里星光,闪耀龙江;嗨购一夏,夜享清凉。8月1日晚,由黑龙江省商 【详细】
深化AI产品多元化布局,浪潮计算机推出两款创新技术AI服务器新品
在当前全球数字化转型加速的大背景下,人工智能(AI)技术已成为推 【详细】
1MORE万魔携手品家,开启电商新纪元——— 双方签订战略合作协议,共铸电商领域新篇章
2024年7月25日上午10点,在全球声学领域和耳机电商行业中备受关注的 【详细】
小花科技推动金融知识普及和财产安全保护
小花科技始终致力于践行社会责任,关注女性职业发展、年轻人就业问题 【详细】
戴尔科技携手合作伙伴,共绘智能时代新蓝图
全球数字化转型的浪潮中,戴尔科技集团以其卓越的解决方案和全球合 【详细】
瑞能半导体携多元成果打造全新“品牌基石” 驭领可持续篇章 为功率器件注入强劲动力
2024年7月19日,中国上海 — 日前,全球领先的国际化功率器件品牌瑞 【详细】
宏碁个人电脑第二季度全球排名前五大!
据市场调查机构IDC最新报告资料显示,宏碁全球个人计算机市占率以6 8 【详细】
人保车险—新车强制险怎么算?人保提供详细的说明
在我国,车辆保有量在不断增加,当车主购买了新车,必须要上保险, 【详细】
超竞玩家火力集结!ROG新品登场BW2024福利送不停!
7月12日—7月14日,万众瞩目的BW 2024即将开启!ACGN文化爱好者们 【详细】
华谦科技,技术驱动发展
华谦科技有限公司是一家专业的第三方检验检测和鉴定机构,主要从事法 【详细】
2024WAIC——“人形机器人的盛会”钛虎“瑶光”“墨翟”惊艳首秀
2024年7月4日 —— 在全球瞩目的2024世界人工智能大会(WAIC)暨人 【详细】
上海电信临港智算谷:算力新引擎,重塑数字未来
文 毛宇摄影 徐大伟当前,算力正以前所未有的姿态重塑着世界。在上 【详细】
“女巴菲特”刘央入局金融AI,邀酷派前总裁秦涛任合伙人
近日,Syzygy Fintech合力天成正式对外宣布,酷派前总裁秦涛先生正 【详细】
通用技术集团战略投资东软医疗
【2024年7月3日,北京】近日,通用技术集团所属资本公司联合中国国有 【详细】
跨境电商下南洋,已被验证的赢家哲学
来源:霞光社100°31′E,13°45′N,是泰国首都曼谷的坐标,这里全年平 【详细】
公平公正公开为人民服务的正能量大型电商购物平台服务国民的平台
邦沅是一家致力于全心全意为人民服务的创新平台,明确的目的和广阔 【详细】
2024年“数据要素×”大赛山东分赛潍坊市选拔赛盛大启幕,引领数字创新新篇章!
6月28日,2024年“数据要素×”大赛山东分赛潍坊市选拔赛正式启动。 【详细】
TikTok Shop东南亚跨境电商正式发布飞轮计划,助力商家高效出海东南亚
2024年6月25日,深圳——在如今数字经济浪潮涌动、全球电商格局日新 【详细】