新闻资讯

交互式沉浸式体验:使用众包图像和 3D 摄影测量过程重建和体验数字技术

语境
巴尔米拉拥有一座伟大城市的巨大遗址,是古代世界最重要的文化中心之一。从一世纪到二世纪,它的艺术和建筑处于多种文明的交汇处,将希腊罗马技术与当地传统和波斯影响相结合。就古迹的数量和质量而言,这座城市是中东最令人印象深刻的遗产地之一。它位于叙利亚沙漠的中心,可以被视为古代叙利亚遗产的一部分。它代表了叙利亚考古学的象征,也是联合国教科文组织世界遗产之一;它于1980年被列入联合国教科文组织世界和国家遗产名录,并于2013年因叙利亚内战而被列入濒危世界遗产名录。1
2015年后,巴尔米拉落入“伊斯兰国”的控制之下,许多文物和古迹在武装冲突中遭到该组织蓄意破坏或毁坏。1贝尔神庙是著名的被毁古迹之一,因其卓越的设计、细节质量和物理状况(被毁前)而被认为是中东公元一世纪最重要的宗教古迹之一。自2011年起,帕尔米拉考古遗址就被关闭,至今已有8年多时间没有对游客开放。由于持续的冲突,实物遗产地无法进入。BBC报道称,ISIS发布的视频显示,一些人在罗马圆形剧场遗址被杀,这被认为是第一次将遗产地用作杀戮场所,这可能会给许多人带来负面和创伤性的联想。2
2015年,叙利亚东北部控制地区的许多纪念碑被“伊斯兰国”炸毁或毁坏。2015年至2016年间,大片考古区的许多古迹在短时间内被拆除。基于极端意识形态,激进伊斯兰组织命令其民兵摧毁所有实物资产。在帕尔米拉,最著名的古迹被毁,包括:凯旋门、戴克里先浴场、宁法姆神庙、四塔、罗马圆形剧场、集市、大柱廊街、尼布神庙、巴尔沙明神庙和贝尔神庙。大量保存了 19 个世纪的最宏伟的艺术作品,描绘了早期希腊罗马建筑和艺术,但出于宗教和政治动机,被粉碎成废墟。
主寺庙群位于一个开放广场中心的平台上,面积约为 175 × 185 m。它被一个约30 m深度的拱廊勾勒得很好,这意味着框架的外部尺寸被扩大到205 × 210 m。外墙有科林斯柱,门廊有两排相同风格的柱。然而,西侧只有一排。寺庙建筑群包括贝尔仪式所需的各种设施。寺庙不对称地位于庭院的中心,面向北方,以寺庙的中轴线为中心,将庭院分为两个主要部分,比例为3:2。东、西部分高分别约为70 m和105 m,主轴线与南北轴线倾斜5°,寺庙的中心体量放置在一个 29.52 × 54.6 m 的矩形平台上。这内殿也是 15.8 × 39 m 的长方形,由单排科林斯柱围墙。3柱状排列为拟双翅目。2南北立面各有 8 根科林斯柱式,西立面有 12 根,东立面有 14 根。内殿高度为 33.14 m(在屋顶装饰的顶点),柱高 15.81 m,底部直径 1.33 m。3
数字技术在文化遗产领域的贡献
中东和北非地区是许多文明的古老摇篮,见证了许多创伤性冲突和动乱,对许多遗产地和人类生命造成了灾难性破坏。近日,联合国教科文组织确认,该地区多个文化遗产地由于武装冲突、大众旅游、自然灾害等不同原因,面临着不同程度的巨大威胁。3如今,世界失去这些标志的速度比以往任何时候都要快,而它们的记录和记录速度却比它们来得快。因此,有必要找到新的主张来记录和保存所有这些宝藏,以免它们永远消失。虚拟遗产 (VH) 是虚拟现实中基于计算机的交互技术之一,它可以生成文物、纪念碑、结构和文化的视觉呈现,并向全球观众公开展示。4 , 5 El-Hakim 等人, 6介绍了任何 VH 重建的几个动机,例如记录纪念碑和文物,以便在发生灾难或意外事件时进行重建。以数字方式重建不再存在或仅部分存在的历史古迹,使游客能够在没有损坏风险的情况下与文物互动,从现实世界中由于尺寸或可访问性问题而不可能实现的视角可视化场景,并最终在人类受限的情况下提供虚拟旅游' 流动性和可达性,例如,最近由于 COVID-19 大流行,不同国家对人类实施了旅行禁令。
过去二十年见证了 3D 模型和数字复制品生成方面前所未有的转变,许多文物、纪念碑和整个遗产地已被记录并转换为各种数字版本。7采用数字和虚拟重建的意义在于保护、保存和诠释文化和历史,8将一些元素——无论是存在的还是不存在的物质或非物质资产——从过去带回到我们的现实生活中。9这种创建的数字模型灵活多变,包含不同的附加图形和文本信息,例如尺寸、颜色、纹理以及与文物历史时期相关的一些数据。10
3D 摄影测量重建过程
3D摄影测量重建在文化遗产领域最常用的做法是基于多图像匹配来捕获、记录和以数字方式表示不同的历史资产。11通过增强数字工具和摄影测量重建技术以及新型数码相机的功能,该方法变得更加有效且成本更低。12采用这种从 2D 图像生成 3D 模型的技术可以虚拟地了解纪念碑及其环境,而无需任何直接的物理接触。13数字化遗产资产提供了新的方法,不仅可以防止这些宝贵的古迹退化和破坏,还可以通过采用 3D 摄影测量建模和遥感,利用运动结构 (SfM) 点云,然后采用多视图,以虚拟方式带回一些不存在的文物立体(MVS)致密化工艺。14 , 15
使用激光扫描或 3D 建模软件对物理遗产资产进行 3D 重建成本高昂,并且需要高水平的专业知识。另一方面,多图像 3D 远程重建技术提出了一种更便宜的替代方案,可以相对轻松地执行此任务。16近年来,这种虚拟构建方法以基于图像的建模的名义在高级计算机图形领域受到了关注。17此过程涉及从各种输入图像创建 3D 模型,并得到特定开发的计算机视觉算法(即 SfM 和 MVS)的支持。18此类算法正在文化遗产领域广泛实施,并有效地用于为受到威胁甚至被毁坏的古迹和文物创建准确的数字复制品。19此外,它还提供了使用不同的沉浸式技术应用程序在无需任何物理接触的情况下可视化 VH 资产并与之交互的可能性。20该技术采用多张具有相当程度重叠的照片来创建 3D 数字复制品。强大的计算机视觉算法的最新进展促进了用于 3D 重建目的的标准摄影测量管道的民主化。21最近,出现了许多免费、开源、易于学习且用户友好的软件包,以支持在不同的应用程序中实施该技术。用户可以毫不费力地将一组2D图像转换为3D模型,即ARC3D、MICMAC、Regard3D、Insight3D、COLMAP和Visual SfM。借助这种技术,这些图像可以轻松导入到软件中,然后进行一些自动化操作,即对齐照片和相机校准、构建稀疏点云并通过 SfM 和 MVS 算法进行致密化,然后可能可以通过 3D 网格来完成工作流程或创建一个完全纹理的模型。
主要摄影测量管道生成 3D 点云,其中相机姿态是从未校准图像获得的。Agisoft Metashape软件从多张摄影图像中确定物体的几何特性。该方法的过程需要比较一系列图像中的匹配像素或参考点。图像的质量和一定数量被认为是允许表面处理、匹配和三角测量视觉特征并生成 3D 点云所必需的。SfM 和 MVS 的计算机视觉算法是各种软件包中基于图像的建模中最流行的技术之一。该技术使非专家用户能够通过从经济实惠的设置拍摄的未校准照片快速有效地捕获高质量的数字复制品,而无需任何专业硬件或人工设计的照明条件。通常,
• 图像采集(或添加照片)。
• 特征检测、匹配、三角测量(或对齐照片)。
• 稀疏重建(或通过SfM 生成点云)。
• 密集对应匹配(或通过MVS 生成密集云)。
• 表面/网格生成。
• 纹理生成。
数字文化遗产重建中的互联网和众包材料
互联网,特别是宽带设施,提供了各种机会和获取大量信息的机会,包括对无数图像的大量访问,以便在人们之间轻松捕获、共享、上传和传播。同时,发达的数字成像和数字摄影的出现彻底改变了摄影测量重建的进程,变得“数字化”。17 号以前,捕获数百甚至数千张可以直接显示、上传和分析的数码照片是一个障碍。目前,时间和成本问题已经大大减少,或者关于可用于创建 3D 模型的拍摄照片数量的任何实际限制。最新的智能手机在捕捉即时数字图像方面提供了出色的效果,其质量接近紧凑型单反相机的质量,在某些原型中具有高达 4K 的高分辨率质量。
捕获图像数量的增长以及通过互联网从搜索引擎和不同社交媒体平台获取和获取图像的数量的增长也有助于采用公共领域图像和众包摄影测量方法,特别是重建不同的历史遗址和纪念碑。22 , 23例如,在一天建成罗马项目4中,主要项目目标是根据从 Flickr 图像平台获取的 200 万张公共图像重建古罗马的虚拟 3D 模型。24此外,阿富汗巴米扬的大佛利用 2001 年佛像被毁之前拍摄的几张旅游数字图像进行虚拟重建后又恢复了生机。25 Snavely 等人。17 日讨论了根据不同游客从互联网上收集的图像对中国长城的 3D 重建。此外,在多个项目中,历史图像被用来重建失落的遗产,有时得到了广泛的认可,例如,通过结合公共领域图像和专业全景图像对叙利亚巴尔米拉古迹进行数字重建。23
互联网已成为有关我们物理世界的视觉信息的主要来源,每天有数十亿人以惊人的水平将照片和视频上传到媒体共享网站。几乎世界上所有著名的景点、地标和遗产地(以及许多不那么出名的景点)都被拍摄了数千或数百万次,其中许多照片可以在照片共享网站和不同的社交媒体平台上找到。例如,在Flickr上搜索“约旦佩特拉”会产生近 740,000 张照片(截至 2022 年 6 月),显示城市古迹和卡兹尼神殿从几乎所有可能的观看位置和角度、白天和夜晚的不同时间、季节、天气、时期和不同事件期间的变化。与此同时,几位作者提出了摄影测量解决方案,通过为不同的遗产地创建 3D 逼真的虚拟环境,以及使用不同的扩展现实应用程序(即 AR 和 VR)体验它们的可能性,来重建整个 3D 建筑环境、文物和纪念碑。26 – 28
数字重建方法论
在这种情况下,游客拍摄的纪念碑照片对于记录几何信息非常有益。由于冲突系统性地破坏了中东和北非地区广大地区的遗产,因此越来越有必要找到一种方法来记录这些被毁的古迹,重建数字模型作为 3D 可视化的基础,开发沉浸式现实体验,甚至为最终的未来奠定基础物理重建。3D 虚拟重建也是一个重要的陈述,即有组织的破坏和战争犯罪可能会破坏实体遗产资产,但不会破坏它们在人类集体记忆中的虚拟表示。
研究人员旨在通过采用 3D 摄影测量重建流程和从互联网收集的众包图像,以数字方式重建巴尔米拉被毁坏的贝尔神庙。这项研究提出了一种结构化工作流程,仅依靠从各种社交媒体平台获取的大量公共图像来重建和创建贝尔神庙的 3D 数字模型。3D 摄影测量重建是这种特殊情况下建议的可用解决方案之一,因为使用其他方法来重建不再存在或不再可访问的资产的可能性较小。该过程通过三个主要阶段进行,如图1所示:
•    
预处理阶段:收集众包材料。
•    
处理阶段:使用 Agisoft Metashape 软件进行 3D 摄影测量重建。该阶段包括以下主要顺序步骤:对齐照片和相机校准、通过 SfM 和 MVS 算法构建稀疏点云和致密化、创建主网格并最终生成纹理。
•    
后处理阶段:初始的3D纹理模型通常存在一些问题;因此,可以对其进行清理以删除不需要的部分,并对其进行编辑、细化和优化。

图1。主要的数字重建方法。来源:作者
预处理阶段:收集众包图像
互联网提供了各种机会和获取大量信息的机会,包括大量获取在人们之间轻松捕获、共享、上传和传播的无数图像的机会。拍摄图像数量的增长以及通过搜索引擎和社交媒体平台通过互联网获取的图像数量的增长也有助于采用众包摄影测量方法,特别是在重建历史遗址和纪念碑时。例如,在Google Images和Flickr上发现了超过 10,000 张图像贝尔神庙于 2008 年至 2015 年期间进行了重建。这可能使互联网成为未来其他案件数字重建的重要来源。对于贝尔神庙的数字重建,可以使用一种图像来源:从网络收集的公共领域访客照片。众包材料(图像)是从不同的网站和平台搜索和收集的,其中大部分是使用不同的主题标签(#Palmyra、#Temple_of_Bel、#Temple_of_Bel#)从Facebook、Twitter、Instagram和Flickr等社交媒体平台下载的。此次搜寻是为了寻找用几种不同语言(阿拉伯语、英语和法语)书写的标签,这些标签可能表明纪念碑的位置和功能。不同的搜索引擎如谷歌图片和必应也很有帮助,特别是通过称为“反向图像搜索”的相似性进行图像搜索,它产生了几张未标记的照片。
这一阶段的研究人员通过对不同社交媒体平台和搜索引擎的广泛搜索,收集了关键组件和众包材料。对收集到的图像进行过滤,以选择最适合数字重建过程的照片。
为了避免版权问题,应该明确说明研究人员仅使用所有者已授权使用其图像的开放域图像。因此,研究人员采用了一些社交媒体平台和谷歌图像等图像搜索引擎上提供的公共领域奉献许可选项(CC0),以避免对人物图像进行版权保护(图2)。该许可证是允许免费分发其他受版权保护的作品的几个公共版权许可证之一。5

图2 . 从不同社交媒体平台和搜索引擎收集的贝尔神庙众包图像。资料来源:谷歌图片。
图像过滤排除没有可交换图像文件格式 (EXIF) 数据(其中元数据嵌入在图像文件中)的图像,以及低分辨率和小尺寸的图像,以提高结果图像的准确性。像我这样的研究人员面临的问题之一是,许多社交媒体图像包含可能可识别的、敏感的人们内容,例如他们的面孔、身体、财物和其他个人相关信息。因此,那些可能包含人脸或敏感问题(例如弱势群体和儿童)的图像已作为过滤过程的一部分被删除。
总共留下了 319 张合适的访客众包图像。收集到的图像包括寺庙外部的 166 张图像和内部的 153 张图像,焦距范围广泛,分布如下:主西立面 81、后东立面 43、北立面 23、南立面 19、北内殿56、南内殿63 张、西内立面 16 张、东内立面 18 张照片。最小图像尺寸为1200×1600像素,可用图像的时间范围为2009年至2015年。图3显示了外立面和内立面的众包图像的分布和数量。

图3 . 收集寺庙外部和内部的众包图像,显示所有立面上游客图像的分布和数量。资料来源:作者。
大多数收集的众包照片显示,游客对拍摄纪念碑特定部分的图像更感兴趣,例如正门、内殿内的南内殿和北内殿。收集到的图像显示,内殿内外的其他一些主要部分缺乏覆盖,例如东部和西部平坦的空白内墙。这反映了游客缺乏拍摄这些平坦的未装饰墙壁的照片的兴趣,因为这些建筑零部件对于游客来说视觉价值(即上镜性)较差。
就外立面而言,西面和东面可能更吸引游客驻足。两者都包含迷人的建筑部分和装饰细节,如正门、开口和大型科林斯式装饰柱。在两侧立面上,我们可以看到两根相同的爱奥尼亚柱之间具有高度对称平衡的冗余,没有开口或装饰部分。因此,从视觉价值和图像质量的角度来看,侧立面对游客的视觉吸引力较低,减少了游客被吸引拍摄这些景观照片的机会(图4)。

图4 . 贝尔神庙外立面的建筑组成部分 (A) 东立面。(B) 西立面图。(C) 南部高程。(D) 北部高程。资料来源:社交媒体平台,作者编辑。
在某些情况下,遗产地的地形可能会在阻碍和限制游客继续体验和拍照方面发挥至关重要的作用。这可能是缺乏纪念碑特定主要部分(外墙和墙壁)图像的一个重要原因。例如,北外墙和南外墙收集的照片数量最少;这种缺失是指地面上周围的柱子被毁,阻碍了游客为这两个立面拍照。这些障碍物(物理障碍,即破旧的建筑物)可能会阻碍游客在物理上或视觉上进入,以从不同的角度为纪念碑拍摄适当的照片。
处理阶段:3D 摄影测量重建过程
从网络和不同社交媒体平台收集的一组 319 张众包照片是从前一阶段过滤出来的,并导入到Metashape软件中,以摄影测量方式重建被毁坏的贝尔神庙(图 5)。

图5 . Agisoft Metashape 软件的屏幕截图显示了相机校准以及不同访客相机的参数。资料来源:作者。
此阶段主要涉及六个主要的连续步骤。初审时,319张众包照片同时导入,但结果并不理想,低于预期。3D生成的模型是扭曲的,在结构、几何和纹理方面存在许多问题,并且缺乏形式合理化。发生这种情况的原因可能是,众包照片是由不同访客在不同时期使用不同设置和参数的不同相机拍摄的,从而导致 3D 输出完全不均匀。因此,作为替代计划,重建方法已改变,将收集的 319 张照片分为六个主要组。寺庙分为六个主要部分进行重建,如图6和图7所示,并描述如下:
• 第一部分包含西立面和北立面的图像。
• 第二部分包括东面和南面立面的图像。
• 第三部分和第四部分包括内部空间的图像,特别是内殿内圣室的内部立面。
• 第五部分和第六部分主要涉及两个区域:北内殿的内部装饰石雕天花板(十二生肖图案)和南内殿(花卉图案)。

网格编辑并修复缺失的部分
该案例是一个特别具有挑战性的案例,通过使用在不同时期从不同游客那里收集的众包图像来进行 3D 摄影测量重建。因此,这可能会提供不完整且不完美的 3D 数字模型,其中缺少组件和未完成的网格。3D 生成的模型中出现了一些缺陷和问题,这些缺陷可以使用Meshmixer软件修复(图 15)。

图 15 . 使用 Autodesk Meshmixer 以数字方式修复缺失的零件。资料来源:作者。
组装 3D 生成的模型
上一阶段创建的所有六个生成模型都可以使用Metashape和Meshmixer以不同的数字输出格式导出,例如 (*.obj) 和 (*.fbx) 。在修复和编辑所有数字模型的缺失和不完整部分后,可以使用相同的软件来组合和组装所有六个摄影测量模型,以获得纪念碑的全面3D模型。图 16说明了外部和内部部件的组装和组合过程。

图 16 . 六个镜腿部件的组装过程。外部有两个主要部分,内部有四个部分。资料来源:作者。
局限性
游客通过照片和体验重建贝尔神庙 3D 模型的贡献反映了重要且有用的数据源(无论生成模型的质量如何),这对于未来重建诸如此类的遗产地中被毁坏或无法进入的古迹具有指导意义帕尔米拉。尽管游客的经历和照片可能为数字化重建遗产资产提供良好的来源,但这不足以重建这座纪念碑的整体并包含所有所需的细节,因为该项目的过程面临许多挑战和限制,总结如下。
1. 众包图片由普通访问者出于非专业(非研究)目的而创建;因此,如前所述,由于多种原因,社交媒体平台和网络上的许多可用图像并不适用 3D 摄影测量重建的要求。许多人不注意拍摄这些纪念碑的高质量照片,因为他们最关心的是图像和瞬间本身,而不是他们附带的摄影能力。此外,数字图像在某些社交媒体平台和网站上上传和共享时可能会严重降低其准确性和质量(例如,由于使用过滤器等)。因此,收集的照片数量并不能保证使用摄影测量重建方法创建合适的 3D 数字模型。
2. 这种数字重建方法在很大程度上依赖于遗产地内古迹的视觉多样性及其当前的物理状况。一些古迹保持相对完整,许多细节状况良好,具有美学和历史价值,包括整个外墙、开口、大门、装饰柱和雕像。相反,其他网站不包含可以吸引游客停留更长时间并拍摄更多照片的视觉吸引力点或历史价值。即使在同一遗产中,纪念碑游客也往往会专注于大量拍摄某些特征,而忽略与他们的兴趣和纪念碑的视觉质量相关的其他特征。
3. 重建过程面临的主要限制之一是缺乏覆盖外墙和内墙的图像,这与内在兴趣以及物理可达性和可见性问题有关。因此,生成的墙壁 3D 模型出现在没有深度的 2D 单层网格中,而不是作为一个完整的 3D 对象(图 17)。因此,当从外墙和内墙创建寺庙侧面时,无法生成这些墙的上部(垂直部分),因为游客的相机没有捕捉到这些部分。
4.图18显示了寺庙的某些部分无法进行数字化重建,因为游客没有注意拍照,例如东立面柱子后面的区域、开口的下部(窗台) )、内殿的地板和内部宽阔平坦的墙壁(东墙和西墙)。游客很可能不认为这些相对朴素的墙壁值得拍照(因为从游客的角度来看,它们的视觉价值很差)。在理想情况下,重建 3D 摄影测量模型的最重要要求之一是为捕获的照片中的不同建筑部分提供最大程度的重叠。然而,在这种情况下,参观者的照片没有显示出获得所需结果所需的重叠。
5.由于物理限制,参观者的相机无法拍摄到内殿内部的某些区域;由于寺庙规模庞大,某些区域可能难以进入。例如,南北内殿内部的隐藏角落影响了3D模型创建的网格重建(图19 ),说明北内殿上下角的缺失部分是由于游客的相机无法到达这些领域。
6. 游客有时倾向于从体验的典型旅游路径以及这些路径上的景观中拍摄纪念碑的照片。因此,他们的照片是从道路上的特定角度拍摄的。因此,在社交媒体平台上,我们可以看到很多重复的图像,这些图像是由访问者从通常的角度拍摄的,具体取决于他们在网站上的活动和个人喜好。
7. 寺庙内多个建筑部分可以明显看到3D生成模型的颜色变化,这是众包数字重建中经常出现的问题。这种颜色差异可能是由于不同游客在不同时期(夏季和冬季、晴天、阴天、早晨和晚上)使用不同相机(手机和数码相机)拍摄的众包照片而导致的。可以通过忽略奇怪的照片或编辑照片并使用颜色校正或纹理映射阶段调整颜色以匹配其他照片的调色板来解决此限制。

使用众包图像的 3D 摄影测量重建方法的结果
该项目展示了利用从不同社交媒体平台收集的多个公共领域旅游和众包图像作为重建的主要来源,生成被毁坏的贝尔神庙 3D 数字摄影测量模型的工作流程。虽然理论上图像的数量是足够的,但不足以重建寺庙的整个体量。采集图像的质量和数量不足以完全覆盖寺庙的外部和内部(图20)。

图20。数字重建寺庙的外部和内部视图。资料来源:作者。
所提出的重建方法根据收集的照片的数量和质量生成了大量的点云并为不同的外部和内部部分构建了网格。然而,有几个区域并没有呈现出令人满意的效果,特别是墙壁的上部、地板和一些隐藏区域。参观者没有兴趣拍摄这些区域的图像,例如内殿未装饰的平坦墙壁、正门的后部和柱廊区域的后部(柱子后面)。另一方面,参观者通过收集的照片和构建的3D模型,对内殿的内部空间,特别是南北内殿表现出更多的关注以及装饰的天花板,比其他部分更重要——这反映了对拍照的游客来说具有更丰富视觉价值的区域的内在吸引力。这两个部件的点云模型和 3D 生成网格生成了具有丰富细节的摄影测量模型,使其能够用于 3D 可视化目的,与不完整、扭曲的外部部件形成鲜明对比。图 21说明了使用从社交媒体收集的众包材料重建贝尔神庙的整个工作流程和主要阶段,这些材料用于生成 3D 摄影测量模型,这些模型能够用于在未来使用沉浸式技术开发引人入胜的游客体验。

图21。使用众包图像和 3D 摄影测量重建过程对贝尔神庙进行数字重建的整个工作流程和管道。资料来源:作者。
传播和可视化数字重建的贝尔神庙
整个过程的最后阶段讨论如何传播和可视化本文前一部分重建的 3D 数字输出。找到一个能够接受多种文件格式、可供世界各地的不同用户访问和使用的引人注目的数字平台至关重要。AR 和 VR 之间存在共同点,最近许多开发平台都适用于这两种体验,用户可以根据沉浸程度、传统内容和使用的设备(HHD 或 VR 耳机)定制体验。生成的寺庙数字遗产资产已通过以下几种交互式可视化场景进行整合和传播。
3D在线数字平台
北内殿和南内殿的两个摄影测量模型已上传至Sketchfab,供不同用户进行可视化。用户可以使用任何消费类智能手机和 VR 纸板通过 AR 和 VR 技术体验重建模型。此外,可以使用更先进的 VR 耳机来提高用户参与度以及使用操纵杆与虚拟注释的交互(图 22)。

图22。通过 Sketchfab 3D 在线平台进行 VR 体验。资料来源:作者。
AR 允许用户探索任何虚拟纪念碑,而无需前往纪念碑所属的实际(物理)遗产地。这个功能很方便,尤其是在巴尔米拉这样难以到达的遗产地;它使用简单的技术为那些行动不便的人提供 AR 异地互动体验(图 23)。由于此类平台为非技术用户提供了上传数字遗产资产的绝佳机会,使得世界各地的许多用户能够在物理环境中体验这些资产并与之互动,遗产传播发生了巨大变化。

图23。使用 Sketchfab 移动应用程序测试南北内殿增强功能以​​实现 AR 体验。资料来源:作者。
VR远程异地互动沉浸式体验
最近的技术革命促进了新的经济实惠、易于使用的解决方案的出现,这些解决方案可以取代旧的昂贵系统,从而有效地传播遗产资产。新型 VR 耳机提供交互式、身临其境的体验,参观者可以在真人大小的虚拟空间中自由、自然地移动。参观者将被允许与贝尔神庙的虚拟环境进行某些有限的互动,重点是没有两个参观者将拥有相同的 3D 虚拟体验。7
VR体验设置和实施
为了创建 VR 体验,所有数字遗产资产都导入到Unity3D中以构建虚拟环境并管理所有导入的资产以开发体验。摄影测量模型的多边形从 400 万个减少到不到 150 万个,以避免体验过程中可能出现的任何故障。一般来说,游戏引擎负责管理所有数字文件(视听,即2D文件、3D模型、声音和视频剪辑)、渲染虚拟场景、碰撞检测、添加动画和交互。北内殿和南内殿的两个摄影测量模型被转移到Unity3D创建所需的虚拟设置。在开始虚拟游览之前,将向参观者提供说明表,该说明表旨在向他们展示如何在体验过程中使用用户界面 (UI) 和 VR 操纵杆来移动、交互和显示视听数据(如果有)和虚拟注释(图24)。然后,他们将被要求佩戴 VR 耳机开始观看虚拟环境。8

图24。指导表可帮助游客在体验期间移动和互动。资料来源:作者。
虚拟游览提供了真人视角体验寺庙的可能性,通过一些简单的互动功能来吸引游客继续体验,唤起探索感。在虚拟环境中,用户可以轻松地行走和探索空间,而为了跨越长距离,可以使用移动飞行或隐形传输技术在寺庙内外行走,让游客近距离观察外部建筑细节。通过这次体验,游客将获得一次完全互动的沉浸式旅程,从内部探索寺庙,走进寺庙的内部空间内殿,观看南北内殿。许多预定义的虚拟热点和交互式注释已放置在 3D 环境中,以便为访问者提供进一步的视觉数据,这些数据通过点击操纵杆即可显示(图 25)。

图25。访客通过提议的交互式虚拟热点和注释与内殿内的南北内殿互动,查看视觉数据。资料来源:作者。
结论
本文以巴尔米拉被毁的贝尔神庙为例,提出了一种对文化遗产古迹进行 3D 摄影测量重建的方法和场景。它调查了利用从社交媒体平台和网络收集的公共领域访问者图像来以数字方式重建这座非凡纪念碑的潜力。从本质上讲,众包材料不是为了研究目的而创建的,而是由游客出于旅游目的而捕获的。尽管在社交媒体上发现了大量捕捉巴尔米拉各种景观的照片,但其中大多数对于高质量 3D 数字重建和可视化目的来说效率低下。
巴尔米拉的游客对被毁坏的贝尔神庙表现出极大的欣赏和关注,这一点从该纪念碑收集的大量照片中可以看出,该纪念碑是大多数收集照片的所在地。由于其在被毁之前完好无损,因此它曾经是遗产地中参观人数最多的景点。这座纪念碑的众包照片是在有限的时间内收集的,恰好是从2008年到2015年;后一年之后,没有新的更新照片上传到网上,这使得这个过程更具挑战性。本研究仅采用众包材料,主要基于两个原因:首先,由于当前局势不稳定和安全原因,巴尔米拉遗址目前无法进入。其次,所需的纪念碑已经被毁,不复存在。
从 3D 数字输出来看,由于收集的照片的质量和数量有限,该方法无法代表寺庙的整个模型,因为在此过程中并未使用所有收集的图像。同时,结果显示,许多游客对捕捉寺庙(内殿)的内部空间比外部空间更感兴趣。虽然在这种情况下采用这种方法并不能有效地代表整个寺庙,但两个内殿(北部和南部内室)通过摄影测量数字化,并使用所收集的高质量众包数据进行有效表示;因此,这使得它们适合用于文档目的或用作输入数据来开发沉浸式体验。此外,所提议的利用这些免费材料的重建管道为寺庙如此突出的内部部分提供了良好的相对精度和非常高水平的细节,特别是在这种特殊的情况下。它在 COVID-19 时期也特别有利,并且符合世界新的社交距离礼仪和对人类流动性的限制。
重建的数字复制品可能为未来这座寺庙的实体修复提供宝贵的资源。它还可以有效地用于开发新的交互式、沉浸式体验,使用户有机会旅行和探索多个遗产地,而无需面对现实世界的障碍和危险。此外,这些环境足够灵活,可以容纳数字人类或个人虚拟助理,他们可以在一个统一的交互式虚拟体验中讲述有关这些结构的故事以及有关我们受威胁的非物质遗产的隐藏故事。总之,我们希望展示这项研究如何在世界其他地方找到类似的应用,并提供新的方法,例如重建失落的遗产地。

发布日期:2024-03-01