近日，上海交大電子信息與電氣工程學院人工智能研究院教授楊小康、助理教授王韞博指導的AI+Science研究團隊的成果《NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields》被國際頂級機器學習會議ICML 2022收錄。論文所提出的“神經流體（NeuroFluid）”模型，利用基于神經隱式場的人工智能可微渲染技術，將流體物理仿真看作求解流體場景三維渲染問題的逆問題——從流體場景的一段多視角表觀圖像中，即可反推出流體內部的運動規律。這項成果為計算流體動力學、多粒子動力學系統研究開辟了一種人工智能新途徑。

ICML（International Conference on Machine Learning，國際機器學習大會）被公認為機器學習和人工智能領域最具影響力的國際會議之一。ICML是CCF推薦A類會議，Core Conference Ranking A*類會議。ICML 2022錄用率為21.9%。

圖1. NeuroFluid從流體的視覺觀測中反演其物理動態

流體運動研究屬于自然科學基礎領域的研究范疇，在航空航天、大氣、海洋、航運、能源、建筑、環境等眾多領域有著廣泛應用。在傳統研究方法中，求解流體運動（例如速度場）需要首先在理論上精確刻畫流體的動力學模型，并結合微分方程、數值分析對模型求解。但是通常對于復雜問題（例如湍流），人們很難用數學物理方程進行描述，復雜流體的Navier-Stokes方程是世界級千禧難題，至今沒有被完美解決?，F有基于深度學習的方法通常從拉格朗日視角描述流體，即流體被看作由許多粒子組成，通過測定和約束每個粒子的運動即可測定和改變流體的運動。但是大多數方法通常要求已知流體的物理屬性（例如粘性），并且需要粒子的運動信息（位置和速度）作為訓練數據，這在真實場景中幾乎不太可能。

針對流體力學模型難以刻畫和求解的問題，文章提出一種名為NeuroFluid的神經網絡方法，實現流體動態反演（fluid dynamics grounding），即根據稀疏視角下對流體的2D表觀視覺觀察，推斷推流體內在的3D物理運動狀態，例如粒子的速度和位置等。如圖2所示，NeuroFluid包含基于神經網絡的流體粒子狀態轉移模型（Particle Transition Model）和由粒子驅動的神經網絡渲染器（PhysNeRF），并將二者整合到一個端到端的聯合優化框架中。優化過程包含三個階段：

1. 模擬：粒子狀態轉移模型根據初始狀態（可用立體視覺方法粗估）預測流體粒子在后續時刻的運動軌跡。

2. 渲染：神經網絡渲染器PhysNeRF（圖2右）根據粒子的幾何信息將模擬結果渲染成圖像。

3. 比對：渲染圖像和真實圖像比對，計算誤差，通過梯度反向傳遞優化模型參數。

圖2. NeuroFluid的訓練過程（圖左）及PhysNeRF的渲染示意（圖右）

文章使用的流體數據（HoneyCone、WaterCube、WaterSphere）具有不同的物理屬性（如密度、粘度、顏色）或初始狀態（如流體粒子位置、整體形態）。

下列實驗從粒子動態反演、未來狀態預測、新視角圖像渲染、PhysNeRF域外場景泛化，驗證了NeuroFluid的有效性。

實驗1：流體粒子動態反演

本實驗計算從圖像反演的粒子位置與真實粒子位置之間的距離誤差（Pred2GT distance），作為評價指標。圖3展示了NeuroFluid與流體粒子預測的有監督方法DLF（Ummenhofer等人發表在ICLR 2019）的數值結果對比，顯然，NeuroFluid從視頻中反演的流體粒子狀態比DLF（用粒子運動速度和位置作為訓練數據）更準確。圖4對模型的粒子狀態推斷結果做了可視化，注意到隨著時間的推移，NeuroFluid相比基線模型，其反演結果運動更加自然，能更好地匹配真實流體動態。

圖3. NeuroFluid（淺藍色）在三個測試集上關于流體粒子位置的反演結果，相比流體粒子仿真的有監督模型DLF，NeuroFluid從圖像推理流體內部狀態，明顯具有更好的準確性

圖4. NeuroFluid（第三行）在WaterCube場景中對流體粒子位置的推斷結果，圖中第一行為生成對應觀測圖像序列時所使用的“真實”流體粒子位置

實驗2：流體未來狀態預測

在有效學習了流體的粒子狀態轉移模型后，可以很方便地實現預測流體在未來時刻的運動狀態。如圖5所示，本實驗評估未來十個時刻內，模型預測的粒子位置與真實情況的誤差。結果表明，NeuroFluid能夠通過視覺觀測學習流體運動的規律，推演合理的流體未來動態。

圖5. 流體未來狀態預測誤差。其中，DLF*表示將基線模型在與測試場景物理屬性相近的數據上進行微調；DLF+表示將基線模型直接在測試場景上進行微調

實驗3: 流體場景的新視角圖像渲染

為了驗證PhysNeRF渲染器的有效性，本實驗在新視角合成（novel view synthesis）的任務上，廣泛對比了各種基于神經隱式場的可微渲染技術（具體參見論文）。如圖6所示，在輸入了粒子幾何信息的情況下，NeuroFluid的渲染結果不僅在動態上與目標結果的匹配度最高，而且可以更好地渲染出流體的細節（如濺起的水珠）。

圖6. 新視角合成結果對比，左起第一列為新視角下的目標圖像

實驗4: 域外場景泛化

PhysNeRF的基本假設是流體圖像渲染應以粒子狀態為驅動，故而應具有不同粒子分布下的強大泛化能力。為驗證其泛化能力，實驗在使用有限的場景訓練好PhysNeRF渲染器后，在測試時改變了流體的初始形貌，如圖7所示，該幾何形狀為計算機圖形學經典的Stanford Bunny。值得注意的是，在沒有用Stanford Bunny數據對模型進行訓練微調的情況下，PhysNeRF較為精細地渲染出了流體的表面細節。

圖7. PhysNeRF在域外流體場景（訓練所未見）上的泛化效果

上海交通大學AI+Science研究團隊所提出的NeuroFluid模型能成功擬合符合視覺觀測的流體運動轉移規律，從視覺表觀觀測反演流體內在運動，有望為傳統流體力學無法準確刻畫的復雜流體運動（如湍流）提供一種全新的計算范式。

文章鏈接：arxiv.org/pdf/2203.01762.pdf

代碼地址:github.com/syguan96/NeuroFluid

項目主頁:syguan96.github.io/NeuroFluid/

版權聲明：除特殊說明外，本站所有文章均為 字節點擊 原創內容，采用 BY-NC-SA 知識共享協議。原文鏈接：https://byteclicks.com/38261.html 轉載時請以鏈接形式標明本文地址。轉載本站內容不得用于任何商業目的。本站轉載內容版權歸原作者所有，文章內容僅代表作者獨立觀點，不代表字節點擊立場。報道中出現的商標、圖像版權及專利和其他版權所有的信息屬于其合法持有人，只供傳遞信息之用，非商務用途。如有侵權，請聯系 gavin@byteclicks.com。我們將協調給予處理。贊

關鍵詞： 人工智能 神經網絡