導(dǎo)讀：隨著3D數(shù)字化技術(shù)的廣泛應(yīng)用，各個(gè)領(lǐng)域越來越依賴3D模型進(jìn)行可視化、幾何計(jì)算和3D打印等任務(wù)。然而，3D掃描結(jié)果中常見的不完整或缺失數(shù)據(jù)，往往會(huì)導(dǎo)致錯(cuò)誤或有缺陷的渲染，限制了其實(shí)際應(yīng)用。

2024年8月21日，據(jù)資源庫了解，為了應(yīng)對(duì)這一挑戰(zhàn)，來自西班牙格拉納達(dá)大學(xué)的研究人員開發(fā)了一種強(qiáng)大的新方法，利用人工智能技術(shù)來填補(bǔ)3D掃描中的孔洞，顯著提升了掃描結(jié)果的質(zhì)量。

填補(bǔ)孔洞的修復(fù)方法，圖片來源：ArXiv

如果您曾經(jīng)使用過3D掃描儀，可能會(huì)發(fā)現(xiàn)，幾乎每次掃描的結(jié)果都會(huì)出現(xiàn)不完整的情況。這通常是由于硬件的局限性、物體表面顏色的影響，甚至是掃描儀無法“到達(dá)”物體某些區(qū)域所致。盡管后期處理軟件試圖通過填補(bǔ)孔洞和缺失區(qū)域來改善結(jié)果，但效果往往不盡如人意。特別是在處理復(fù)雜幾何形狀時(shí)，現(xiàn)有算法的能力通常難以勝任。

一個(gè)典型的案例是3D掃描人類頭部時(shí)，掃描結(jié)果中可能缺少頭頂部分。嘗試“填補(bǔ)空缺”通常會(huì)導(dǎo)致頭部表面變得非常平坦，就像有人鋸掉了部分大腦一樣。這種修復(fù)不僅無用，反而可能需要手動(dòng)進(jìn)行繁瑣的3D編輯來重建缺失的表面。另一種常見的修復(fù)嘗試是使用“使模型堅(jiān)固”功能，但這往往會(huì)導(dǎo)致大量掃描細(xì)節(jié)的丟失，影響最終模型的精度和實(shí)用性。

新方法的核心：神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的2D修復(fù)

研究人員意識(shí)到，3D掃描的表面或許可以通過類似于圖像修復(fù)的方式進(jìn)行處理。修復(fù)功能在現(xiàn)代圖像編輯軟件中已廣泛應(yīng)用，能夠根據(jù)圖像的整體情況自動(dòng)填充缺失區(qū)域。研究團(tuán)隊(duì)由此啟發(fā)，開發(fā)出一種結(jié)合基于神經(jīng)網(wǎng)絡(luò)的2D修復(fù)技術(shù)來有效地重建3D表面。

修補(bǔ)孔洞的方法概述，圖片來源：ArXiv

為了訓(xùn)練這一系統(tǒng)，研究人員創(chuàng)建了一個(gè)龐大的“破損”3D模型庫。他們從各種公共來源收集了完整的3D模型，并使用腳本故意破壞這些模型，引入不同大小和幾何形狀的孔洞。隨后，他們使用這兩組模型對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了從“有洞”到“完整”轉(zhuǎn)換的訓(xùn)練。通過在超過100萬張曲率圖像的數(shù)據(jù)集上訓(xùn)練定制的神經(jīng)網(wǎng)絡(luò)，這一系統(tǒng)能夠?qū)W習(xí)并概括模式，從而開發(fā)出精確而全面的三維表面。

用于訓(xùn)練的曲率圖像，圖片來源：ArXiv

這一方法的核心在于使用2D曲率圖像來表示3D表面的復(fù)雜幾何信息，并結(jié)合由粗到細(xì)的表面變形技術(shù)，確保重建的準(zhǔn)確性和表面適應(yīng)性。圖像修復(fù)技術(shù)的引入使得神經(jīng)網(wǎng)絡(luò)能夠接受隨機(jī)的3D掃描，并在不丟失重要細(xì)節(jié)的情況下將其穩(wěn)定重建，尤其是在處理復(fù)雜孔洞時(shí)，展現(xiàn)出卓越的保真度和精度。

實(shí)驗(yàn)結(jié)果與潛在影響

研究團(tuán)隊(duì)通過一系列實(shí)驗(yàn)驗(yàn)證了新方法的有效性。與現(xiàn)有的修復(fù)方法相比，他們的方法在減少重大錯(cuò)誤和提高整體穩(wěn)定性方面表現(xiàn)尤為出色。通過量化分析，他們發(fā)現(xiàn)新方法在各種測(cè)試場(chǎng)景中表現(xiàn)出顯著減少的最大距離和更優(yōu)的平均距離度量。這表明，該方法能夠在保持原始形狀的同時(shí)，準(zhǔn)確地重建缺失的表面，解決了現(xiàn)有算法在復(fù)雜情況下的諸多局限性。

修復(fù)方法填補(bǔ)孔洞的結(jié)果，圖片來源：ArXiv

這些成果為3D掃描技術(shù)帶來了極大的利好。如果這項(xiàng)技術(shù)能夠成功商業(yè)化并集成到現(xiàn)有的3D掃描軟件中，將大大改善掃描結(jié)果的完整性和精度。然而，這項(xiàng)技術(shù)也存在一定的挑戰(zhàn)。例如，由于訓(xùn)練數(shù)據(jù)集的質(zhì)量和多樣性直接影響了神經(jīng)網(wǎng)絡(luò)的表現(xiàn)，數(shù)據(jù)不足或偏差可能會(huì)導(dǎo)致修復(fù)效果不佳。此外，盡管新技術(shù)在修復(fù)過程中注重保留細(xì)節(jié)，但在處理嚴(yán)重?fù)p壞或幾何復(fù)雜的模型時(shí)，可能仍然面臨挑戰(zhàn)。

未來的研究方向?qū)▋?yōu)化模型的計(jì)算效率，以適應(yīng)資源受限的環(huán)境，以及探索與其他3D重建技術(shù)的結(jié)合，進(jìn)一步提升模型的修復(fù)能力。隨著技術(shù)的不斷進(jìn)步，這一創(chuàng)新方法有望在更廣泛的應(yīng)用中發(fā)揮作用，進(jìn)一步推動(dòng)3D數(shù)字化技術(shù)的發(fā)展。

導(dǎo)讀：隨著3D數(shù)字化技術(shù)的廣泛應(yīng)用，各個(gè)領(lǐng)域越來越依賴3D模型進(jìn)行可視化、幾何計(jì)算和3D打印等任務(wù)。然而，3D掃描結(jié)果中常見的不完整或缺失數(shù)據(jù)，往往會(huì)導(dǎo)致錯(cuò)誤或有缺陷的渲染，限制了其實(shí)際應(yīng)用。

2024年8月21日，據(jù)資源庫了解，為了應(yīng)對(duì)這一挑戰(zhàn)，來自西班牙格拉納達(dá)大學(xué)的研究人員開發(fā)了一種強(qiáng)大的新方法，利用人工智能技術(shù)來填補(bǔ)3D掃描中的孔洞，顯著提升了掃描結(jié)果的質(zhì)量。

填補(bǔ)孔洞的修復(fù)方法，圖片來源：ArXiv

如果您曾經(jīng)使用過3D掃描儀，可能會(huì)發(fā)現(xiàn)，幾乎每次掃描的結(jié)果都會(huì)出現(xiàn)不完整的情況。這通常是由于硬件的局限性、物體表面顏色的影響，甚至是掃描儀無法“到達(dá)”物體某些區(qū)域所致。盡管后期處理軟件試圖通過填補(bǔ)孔洞和缺失區(qū)域來改善結(jié)果，但效果往往不盡如人意。特別是在處理復(fù)雜幾何形狀時(shí)，現(xiàn)有算法的能力通常難以勝任。

一個(gè)典型的案例是3D掃描人類頭部時(shí)，掃描結(jié)果中可能缺少頭頂部分。嘗試“填補(bǔ)空缺”通常會(huì)導(dǎo)致頭部表面變得非常平坦，就像有人鋸掉了部分大腦一樣。這種修復(fù)不僅無用，反而可能需要手動(dòng)進(jìn)行繁瑣的3D編輯來重建缺失的表面。另一種常見的修復(fù)嘗試是使用“使模型堅(jiān)固”功能，但這往往會(huì)導(dǎo)致大量掃描細(xì)節(jié)的丟失，影響最終模型的精度和實(shí)用性。

新方法的核心：神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的2D修復(fù)

研究人員意識(shí)到，3D掃描的表面或許可以通過類似于圖像修復(fù)的方式進(jìn)行處理。修復(fù)功能在現(xiàn)代圖像編輯軟件中已廣泛應(yīng)用，能夠根據(jù)圖像的整體情況自動(dòng)填充缺失區(qū)域。研究團(tuán)隊(duì)由此啟發(fā)，開發(fā)出一種結(jié)合基于神經(jīng)網(wǎng)絡(luò)的2D修復(fù)技術(shù)來有效地重建3D表面。

修補(bǔ)孔洞的方法概述，圖片來源：ArXiv

為了訓(xùn)練這一系統(tǒng)，研究人員創(chuàng)建了一個(gè)龐大的“破損”3D模型庫。他們從各種公共來源收集了完整的3D模型，并使用腳本故意破壞這些模型，引入不同大小和幾何形狀的孔洞。隨后，他們使用這兩組模型對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了從“有洞”到“完整”轉(zhuǎn)換的訓(xùn)練。通過在超過100萬張曲率圖像的數(shù)據(jù)集上訓(xùn)練定制的神經(jīng)網(wǎng)絡(luò)，這一系統(tǒng)能夠?qū)W習(xí)并概括模式，從而開發(fā)出精確而全面的三維表面。

用于訓(xùn)練的曲率圖像，圖片來源：ArXiv

這一方法的核心在于使用2D曲率圖像來表示3D表面的復(fù)雜幾何信息，并結(jié)合由粗到細(xì)的表面變形技術(shù)，確保重建的準(zhǔn)確性和表面適應(yīng)性。圖像修復(fù)技術(shù)的引入使得神經(jīng)網(wǎng)絡(luò)能夠接受隨機(jī)的3D掃描，并在不丟失重要細(xì)節(jié)的情況下將其穩(wěn)定重建，尤其是在處理復(fù)雜孔洞時(shí)，展現(xiàn)出卓越的保真度和精度。

實(shí)驗(yàn)結(jié)果與潛在影響

研究團(tuán)隊(duì)通過一系列實(shí)驗(yàn)驗(yàn)證了新方法的有效性。與現(xiàn)有的修復(fù)方法相比，他們的方法在減少重大錯(cuò)誤和提高整體穩(wěn)定性方面表現(xiàn)尤為出色。通過量化分析，他們發(fā)現(xiàn)新方法在各種測(cè)試場(chǎng)景中表現(xiàn)出顯著減少的最大距離和更優(yōu)的平均距離度量。這表明，該方法能夠在保持原始形狀的同時(shí)，準(zhǔn)確地重建缺失的表面，解決了現(xiàn)有算法在復(fù)雜情況下的諸多局限性。

修復(fù)方法填補(bǔ)孔洞的結(jié)果，圖片來源：ArXiv

這些成果為3D掃描技術(shù)帶來了極大的利好。如果這項(xiàng)技術(shù)能夠成功商業(yè)化并集成到現(xiàn)有的3D掃描軟件中，將大大改善掃描結(jié)果的完整性和精度。然而，這項(xiàng)技術(shù)也存在一定的挑戰(zhàn)。例如，由于訓(xùn)練數(shù)據(jù)集的質(zhì)量和多樣性直接影響了神經(jīng)網(wǎng)絡(luò)的表現(xiàn)，數(shù)據(jù)不足或偏差可能會(huì)導(dǎo)致修復(fù)效果不佳。此外，盡管新技術(shù)在修復(fù)過程中注重保留細(xì)節(jié)，但在處理嚴(yán)重?fù)p壞或幾何復(fù)雜的模型時(shí)，可能仍然面臨挑戰(zhàn)。

未來的研究方向?qū)▋?yōu)化模型的計(jì)算效率，以適應(yīng)資源受限的環(huán)境，以及探索與其他3D重建技術(shù)的結(jié)合，進(jìn)一步提升模型的修復(fù)能力。隨著技術(shù)的不斷進(jìn)步，這一創(chuàng)新方法有望在更廣泛的應(yīng)用中發(fā)揮作用，進(jìn)一步推動(dòng)3D數(shù)字化技術(shù)的發(fā)展。