News
2024-07-15 【3D環景掃描】Matterport 數位孿生 : 重新裝修家居的最佳解決方案
【3D環景掃描】Matterport 數位孿生 : 重新裝修家居的最佳解決方案
Matterport 可以將您家中的任何房間轉變為重新裝修的空間，而無需移動任何一件家具。
想像一下，不需要搬動任何家具，就能完全重新裝潢您的客廳，這就是 Matterport 正在打造的。
Matterport 應用人工智慧的理念在此基礎上，探索 3D語義理解和內繪方面的先進技術如何為數位雙胞胎帶來一系列令人興奮的新應用。
Matterport 最初專注於創造逼真但靜態的現實世界空間重構，為虛擬旅遊和各種消費應用奠定了良好的基礎。然而，要真正改造這些空間、評估其潛在用途或管理其日常維護和運營，光靠靜態重建是不夠的。為此，廠方一直在開發先進的物業智慧工具，這些工具利用語義理解來提供有關物業的更深入的見解和有價值的資訊。
現在，隨著人工智慧生成技術的最新突破，廠方將重點擴大到在 Matterport 空間內創建新內容和新體驗，以豐富用戶與這些數位環境的互動和感知方式。
結合Matterport 十年的機器學習和人工智慧經驗以及新的生成式人工智慧工具的強大功能，他們正在透過Project Genesis 將新的設計和家具創意變為現實，只需點擊一下按鈕即可實現 — 首先是能夠立即對任何空間進行裝修。
甚麼是家具移除？
去家具化（Defurnishing）是數位影像處理和 3D建模中的關鍵技術，它需要從空間影像中移除家具和可移動物品，使空間變得空曠。
這種方法對於需要將閒置空間視覺化的應用（包括室內設計、房地產和虛擬舞臺）至關重要，可以清晰地顯示空間的潛力。
去家具化是所有 Matterport 數位孿生正在開發的功能，分為三個步驟：
1. 重建： 先捕捉並重建空間，創造數位孿生。
2. 理解： 然後對重建的空間進行語義理解，特別是確定屬於希望移除的家具物品的像素（在圖像中）和網格面（在娃娃屋視圖中）。
3. 合成： 由於我們從未直接捕捉到被家??具遮擋的區域，因此在移除家具後，影像中會出現空白像素，網格中也會出現空洞。影像中的「空白空間」內容需要進行內繪，而網格中的孔洞則需要進行填充和紋理處理。
在三蒂瑪(3DMart) 發佈 Matterport 的 2024 年冬季版本文章中，您可以預覽廠方的去灰功能。在本部分部落格系列中將重點介紹語意分割 — 自動去污的關鍵第一步。
以下是Matterport冬季發佈的中文版影片 :
了解語意分割
語意分割是一項重要的電腦視覺任務，包括將影像劃分為不同的區域，並為每個區域指定一個特定的類別。這樣做的目的是為每個像素標註一個類別（如 「地板」、「牆壁」、「窗戶」、「桌子」），透過精確定位物體並劃定其邊界來促進對場景的全面了解。
物體偵測的重點是周圍有邊界框的物體，影像分類則是對整個影像應用單一標籤，而語意分割則不同，它能實現對場景的細粒度分析，提高解讀的深度。語意分割是電腦視覺領域的基礎技術，在自動駕駛汽車、醫療影像、機器人等領域都有應用。
最近，它已成為虛擬室內設計的關鍵要素。在對空間進行初始捕捉時，可用的主要數據會勾勒出空間的整體結構和美感。語意分割在豐富對 Matterport 空間內容的理解方面起著至關重要的作用，可以實現精確的操作 — 無論是移動、編輯、索引或刪除元素。
要有效地改變 Matterport 空間的任何方面，必須進行詳細的語義分割，將空間的關鍵組成部分區分開來。
分割在去家具化中的作用
要從數位雙胞胎的影像和 3D結構中移除家具，必須先辨識出屬於家具物品的像素/網格面。去除這些像素/面往往會導致資訊缺失。這是因為在捕捉數位孿生時，無法看到家具後面/下面的區域。
因此，在移除家具後，需要產生一些可信賴的圖像/ 3D內容來填補這些漏洞。這個過程被稱為「圖像內繪」。
內繪是一種用於影像編輯和修復的高級技術，旨在填補影像中缺失或損壞的部分，確保影像看起來完整自然。其主要目的是無縫重建這些區域，使其與周圍的影像完美融合，從而保持影像的結構完整性和視覺連續性。
許多內繪方法都依賴對指定移除和後續內繪區域的精確分割遮罩。任何影響家具分割遮罩的差異或人工痕跡都會極大地影響內繪效果，例如：
• 移除建築物的部分結構而不是家具會導致嚴重的結構性幻覺（例如，可能最終創建了一個通往不存在房間的門洞，而不是塗抹一些地板和牆壁的內容）。
?• 不正確的家具分割，即沒有正確遮擋物體部分，會導致無意中繪製出虛假的物體，而不是所需的「空白空間」（根據視角的不同，通常被理解為牆壁和地板）。
?• 當實際家具沒有被分割時，就會出現假陰性，導致最終結果中出現家具的殘餘部分。
因此，要確保能夠獲得準確的語義分割對於實現高品質的去家具化結果至關重要。
Matterport 的語意分割方法
1. 數據
Matterport 使用等角投影對 360 度全景影像進行語義分割，以便在單幀影像中捕捉盡可能廣泛的視覺背景。語境在電腦視覺任務中起著至關重要的作用，尤其是在使用 Vision Transformers 等現代神經網路框架時。
2. 自訂本體
最初廠方使用的是 ADE20k 本體的一部分，其中包括建築環境中常見的 150 個類別。然而，這種方法並不能完全滿足特定需求。
在 Matterport 方案中，目標是消除所有可拆卸的家具，同時保留內置的家具。公共資料集通常會將這些不同類型的家具歸入一般類別（例如，將獨立式衣櫃和嵌入式衣櫃簡單歸類為「衣櫃」）。
因此，為了滿足特定需求，必須考慮其他幾個特定任務因素，並編制一個帶有家具細分註釋的自訂資料集。
3. 網路架構
Matterport 決定利用視覺轉換器架構的功能，該架構已成功用於專案中的各種人工智慧應用，特別選擇了視覺轉換器適配器作為分割實驗的基礎。該模型對視覺轉換器進行了修改，視覺轉換器最初設計用於從圖像輸入中生成單一特徵向量，使其能夠處理需要特徵圖而非單一向量的圖像到圖像任務。
儘管ViT-Adapter 並沒有專門針對360 度等角圖像進行訓練，但它在處理這種數據類型時表現出了令人印象深刻的性能，儘管它最初並不是為了解決前面提到的本體差異而設計的。
4. 部署
最近，Matterport 將語意分割與深度估算一起提升到了管線的主要位置，因此現在每捕獲一幅影像都要執行語意分割。因此，廠方的推理在雲端運行，可抵禦突如其來的流量波動，簡化維護工作，並實現更流暢的更新。
5. 3D語意理解
Matterport 在 3D空間語義理解方面具有獨特的優勢。透過將 3D上下文融入語義分割，可以更深入地了解任何捕獲空間內的空間和語義連結。廠方創新地使用 3D娃娃屋視圖，將多個角度的視角結合在一起，大大提高了預測的精確度。這種先進的方法使能夠執行更準確、更有意義的修改。
一個典型的例子就是去家具化場景，它要求我們對環境的 2D和 3D特徵進行複雜而準確的理解。
Defurnishing 的技術挑戰與局限性
即使是最先進的語意分割模式也無法做到盡善盡美，難以有效地推廣到新的、未曾見過的數據。這個現實要求 Matterport 制定策略，糾正錯誤或創造變通方法。
雖然有監督的語意分割方法通常能產生最佳結果，但定義和管理本體的任務卻帶來了巨大的挑戰。這些本體很容易根據特定應用發生轉變和變化，因此在進行重大調整時需要經常進行資料註釋。因此，越能以自我監督的方式訓練模型，就越能減少根據新本體調整分段模型所需的時間、精力和財力，設計這些本體面臨諸多挑戰。以家具拆卸為例，Matterport 的目標是拆除「獨立 」家具，同時保留「內置」裝置。
確定一件家具何時符合「嵌入式」的條件是一項複雜的任務，通常需要一套全面的規則，以確保決策的一致性和可重複性。如果沒有一套明確的指導原則，資料標註工作很可能會產生低品質的結果，進而影響分割模型的表現。
展望未來
自我監督學習
Matterport 探索自我監督學習已經有一段時間了，隨著各種基於圖像的模型的成功推出，現在是深化在這一領域投資的理想時機。
自我監督學習具有很大的優勢，例如最大限度地減少對註釋資料的需求、加快訓練過程以及提高特定任務的效能。
整合 3D上下文
探索將 3D上下文整合到工作流程中，為推進流程提供了一條大有可為的途徑，目前Matterport 的資料聚合方法是被動的，依賴於一種基於啟發式的方法來對從多個視圖投射的特徵進行加權。透過研究在訓練階段整合 3D 情境的方法，有機會發展出獨立於視角的特徵，從而增強模型的理解能力。
此外，廠方也正在探索端到端 3D技術的潛力，看看直接透過 3D表徵來處理語意理解是否能改善成果。這包括重新評估重建方法。採用神經輻射場（NeRFs）等尖端技術或其他創新策略可以從根本上改變目前的做法，從而顯著提高模型理解能力和性能。
多工模型
多任務模型能夠同時執行多項任務，這一想法一直備受關注。然而，這些模型需要作為一個有凝聚力的系統來維護，這使得在多個模型中採用共享骨幹的策略更具吸引力。
隨著廠方的進步，如何在多任務模型的優勢和複雜性之間取得適當的平衡，將是改善工作流程和成果的關鍵。
開放式詞彙模型
另一個令人興奮的發展領域是開放詞彙模型。傳統的模型受制於固定的本體，會因顧客需求的廣泛性而受到限制。
然而，開放式詞彙模型擺脫了這些限制，它們能夠識別更廣泛的物件和概念，不受預定義類別的限制。
這種適應性對於 Matterport 來說是非常寶貴的，它可以在各種空間和應用中實現更廣泛的語義理解。採用開放式詞彙方法可望大幅提升滿足客戶不同需求的能力，並增強我們的資產與其他工具的互通性。
結論
擴展對空間的語義理解將開啟多個產業的一系列應用。認識到單一的本體無法滿足所有客戶的需求。因此，Matterport 認為開放詞彙技術和其他不受嚴格本體框架限制的方法很有價值。
另一個目標是提高資源與各種工具的兼容性，為此，我們正在開發多種整合，可確保最終呈現的空置空間準確無誤，並在視覺上具有連貫性。
相關產品
Matterport PRO3是專業的3D環景/空間掃描器，擁有134百萬像素的高品質，搭配Matterport Capture室內環境3D掃描軟體，只需一鍵就能快速3D掃描各種空間大小，立刻生成高精度的2D平面圖、3D虛擬空間！
想了解更多有關 Matterport 的產品資訊嗎？可按下方聯繫我們！
- 聯繫我們 -
三帝瑪提供的不只是 3D列印，我們提供「3D列印代工」、「3D掃描服務」、「空間3D掃描服務」三大代工服務 !!
追蹤粉絲頁、新知不漏接：
Facebook | Instagram | LinkedIn