摘要
- 自主開發。OpenMacFUSE 是連結在驅動程式處理程序內的 NFSv4.0 伺服器,對外提供 FUSE 2.x API。程式碼約 17,000 行 C,依 RFC 7530、5531 與 4506 實作,採用 MIT 授權。它是少數開源、免核心延伸功能的 macOS FUSE 實作之一。
- 速度。差距最大的是大量中繼資料操作:對磁碟區內所有檔案計算檢查碼,耗時 23 秒,FUSE-T 則需 797 秒;刪除 10,000 個小檔案快 6 至 9 倍。在實體 USB 隨身碟上,大檔案的循序讀寫則沒有可測得的差異。
- 記憶體。驅動程式處理程序佔用 45–51 MB 實體記憶體,與檔案數量、執行時間無關。
- 可靠性。寫入時突然斷開 USB 電源,驅動程式會在 0.5 秒內卸載並結束。重新供電後磁碟區可正常掛載,沒有任何檔案內容損毀;損失的只有大約最後一秒內完成的寫入。
- 可維護性。通訊協定層、FUSE 介面與 NTFS 引擎在同一份程式碼中,掛載層出了問題可以直接追查、修正,不必等第三方的發布時程。
23 秒 vs. 797 秒
FUSE-T 為 381 MB
USB SSD 實測
在 macOS 12 上全數通過
1 背景2 架構3 效能4 記憶體5 macOS 行為6 故障處理7 測試方法8 限制9 結論常見問題
1背景
自 macOS 11 起,載入核心延伸功能必須先啟動進入「macOS 復原」,並把 Mac 的安全性設為「較低安全性」。對面向一般使用者的軟體來說,這條路已不實際。避開核心的做法主要有兩種:Apple 的 FSKit(macOS 15.4 起提供,NTFSTool 的「驅動程式 2」使用),以及 macOS 內建的 NFS 用戶端。後者會在本機執行一個 NFS 伺服器,把檔案系統操作轉成對使用者空間驅動程式的呼叫,再用 mount_nfs 掛載。FUSE-T 採用的就是這種做法,也是目前最成熟的實作,因此是本文所有比較的基準。
我們選擇自行實作這一層,有三個工程上的理由:
- 部署。FUSE-T 是獨立的元件,第一次使用時要輸入管理員密碼安裝,多一個步驟,也多一個可能出錯的環節。
- 可修正性。第三方掛載層以二進位檔形式發布。大型資料夾列出緩慢、記憶體持續增長這類問題,我們可以重現,卻只有原作者能修。
- 檔案系統行為。通用的掛載層不了解 NTFS。大小寫規則、隱藏與唯讀屬性、延伸屬性的存放位置,必須與檔案系統引擎搭配才能處理正確。
2架構
OpenMacFUSE 以靜態程式庫的形式連結進驅動程式。驅動程式啟動後,先在自己的處理程序內監聽一個本機端點,再呼叫系統的 mount_nfs。核心 NFS 用戶端送來的每個 COMPOUND 請求,都在這同一個處理程序內完成解碼、分派給 FUSE 回呼函式並回覆。沒有第二個處理程序,過程中也沒有額外的資料複製或情境切換。
傳輸方式與掛載選項
macOS 26 及更新版本使用 Unix domain socket(proto=ticotsord),不開放任何連接埠,同一台電腦上的其他使用者也無法連線。macOS 12 的核心用戶端在這種傳輸方式下進行大量寫入會失敗,因此較舊的 macOS 版本改用 127.0.0.1 上的 TCP,並由伺服器端兩項檢查確認連線來自本機掛載。以下是 macOS 27 掛載後系統回報的選項:
$ nfsstat -m <mount point> NFS parameters: vers=4.0,ticotsord,port=/var/folders/…/openmacfuse.P1wAL0/s,hard,intr, noresvport,nocallback,negnamecache,nonamedattr,noacl,noaclonly,locks,noquota, rsize=262144,wsize=262144,readahead=16,dsize=32768,nordirplus,nodumbtimer, timeo=10,maxgroups=16,…,deadtimeout=60
nonamedattr 是系統用戶端的預設值,決定了第 5 節中延伸屬性的處理方式。nordirplus 是我們的選擇,代價見第 8 節。實作上的取捨
- 有上限的節點表。檔案控制代碼(file handle)不是指向記憶體物件的指標。節點表有大小上限,節點被淘汰後,舊控制代碼下次使用時會依路徑重新解析。測試時我們把上限降到 64 筆,連續重新命名 301 次;透過舊控制代碼的 7,839 次存取全部成功復原,沒有任何一次回傳
NFS4ERR_STALE。這也是記憶體不隨檔案數量增長的原因。 - 重複請求快取。用戶端逾時後會重送請求。對 CREATE、REMOVE、RENAME 這類非冪等操作,伺服器會快取最近的回覆,收到重送時直接從快取回應,不會再執行一次。測試時我們對六種操作各丟掉一次回覆,每項操作都只執行了一次。
- 不使用具名屬性。NFSv4 的具名屬性(named attributes)是對應延伸屬性最自然的協定機制,但 macOS 核心 NFS 用戶端在這條路徑上有瑕疵,會導致系統當機。我們在 macOS 27.0.1 與 12.7.6 的開發過程中都遇到過。因此 OpenMacFUSE 只走用戶端最常用的路徑,具名屬性保持關閉。
3效能
在大量中繼資料操作上,OpenMacFUSE 比 FUSE-T 1.0.49 快 6 至 35 倍;在實體 USB 隨身碟上的循序讀寫則與 FUSE-T 相當。測試方法:同一台電腦、同一個磁碟區映像檔、同一份 NTFS 引擎原始碼,分別連結 OpenMacFUSE 與 FUSE-T 1.0.49 各編譯一次。映像檔放在內建 SSD 上,I/O 經過系統頁面快取,因此圖 3 量到的是掛載層加引擎的額外負擔,而不是磁碟本身。實體隨身碟的結果另列於表 1。
OpenMacFUSE
FUSE-T 1.0.49| 表 1 · 實體 USB 隨身碟 | OpenMacFUSE | FUSE-T |
|---|---|---|
| SSD,循序寫入 4.5 GB | 293–313 MB/s | 300 MB/s |
| SSD,冷讀取 | 245–251 MB/s | 236–241 MB/s |
| SSD,走訪目錄樹 | 0.25–0.30 秒 | 4.1–4.6 秒 |
| SSD,刪除 2,000 個小檔案 | 0.82–0.86 秒 | 8.4–9.7 秒 |
| 硬碟,循序寫入 / 讀取 | 70 / 97 MB/s | 74 / 93 MB/s |
SSD 在 Apple M2 / macOS 27 上測得,硬碟在 Intel i7 / macOS 12.7 上測得。循序傳輸速度受限於 USB 連線與磁碟本身,差異在測量誤差範圍內。
省略的一項結果:小檔案建立。這些測試完成後,OpenMacFUSE 的預設寫入快取排清策略改得更保守(第 6 節),使小檔案建立慢了約一倍。與 FUSE-T 的實體隨身碟比較尚未在新策略下重測,重測之前我們不引用舊數字。
4記憶體
不論工作負載或執行時間,OpenMacFUSE 都維持在 45–51 MB 實體記憶體;同樣的測試中,FUSE-T 用了 200 MB 到 1 GB。所有數值都是實體記憶體佔用量(physical footprint),與「活動監視器」中的「記憶體」欄位是同一個指標。OpenMacFUSE 指的是單一驅動程式處理程序;FUSE-T 則是驅動程式處理程序加上它的 NFS 伺服器處理程序。兩者都包含屬於 NTFS 引擎的約 35 MB 區塊快取。
5macOS 行為
OpenMacFUSE 不讓 ._ 檔案出現在磁碟上,並把 NTFS 屬性對應到 macOS 的對等屬性。
._ 檔案。AppleDouble
macOS 的 NFS 用戶端預設不使用具名屬性。它會把檔案的延伸屬性、資源分支(resource fork)與 Finder 資訊打包成名為 ._檔名 的 AppleDouble 檔案,再以一般的 OPEN 與 WRITE 操作送給伺服器。如果伺服器照單全收地存起來,這些檔案就會留在磁碟上,到了 Windows 裡就成了礙眼的雜物。
macOS 26 讓這個問題更明顯:系統會替每個新檔案加上 com.apple.provenance 屬性,於是每個檔案都會多出一個 ._ 伴隨檔案。透過 FUSE-T 寫入一組 40,000 個小檔案的資料集,磁碟上多出了 40,048 個 ._ 檔案。磁碟區上的 git 儲存庫顯示 48 個未追蹤檔案,git fsck 回報 67 個錯誤。
OpenMacFUSE 在伺服器端偵測對 ._ 檔案的存取,解析 AppleDouble 內容,把每個屬性寫入主檔案的 NTFS 替代資料流(alternate data stream)。讀取時再依需求重建 AppleDouble 檔案。磁碟上不會產生獨立的檔案,目錄列表中也不會出現。對於已經帶有 ._ 檔案的磁碟,這些檔案會被隱藏,並在其主檔案下次被修改時,各自移入資料流。
代價是列出目錄時要做過濾:首次列出 40,000 個項目的資料夾,從 1.4 秒變成 3.6 秒。我們認為這個交換很值得。
其他行為
| 功能 | OpenMacFUSE 的行為 | FUSE-T 下的觀察結果 |
|---|---|---|
| 檔名大小寫 | 預設不分大小寫、保留大小寫,與 Windows 相同。若磁碟區內已有僅大小寫不同的名稱,掛載時會自動切換為區分大小寫 | 區分大小寫 |
| Unicode 正規化 | 名稱的 NFC 與 NFD 形式指向同一個檔案(帶重音符號的字母、韓文) | 未測試 |
| 隱藏屬性 | NTFS 的 HIDDEN 位元與 Finder 的隱藏旗標雙向對應 | 未對應 |
| 唯讀屬性 | NTFS 的 READONLY 位元會讓檔案在 macOS 上無法寫入 | 未反映 |
| 建立時間 | stat -f %B 會回傳磁碟上儲存的建立時間 | 一律為 0 |
| 位元組範圍鎖定 | 支援;可以直接在磁碟區上開啟 SQLite 資料庫 | 未測試 |
6故障處理
外接磁碟隨時可能被拔掉。這是日常使用,不是特例,OpenMacFUSE 有三種機制,在這種情況發生時移除掛載。以 NFS 為基礎的掛載層有一個先天風險:掛載是 hard 模式,伺服器一旦不再回應,任何存取該磁碟區的處理程序都會進入無法中斷的等待,Finder 也會沒有反應。因此掛載層必須確保一定有東西會移除掛載點:
- 裝置遺失偵測。I/O 發生裝置錯誤時立即處理;閒置時,每秒透過 IOKit 探測一次裝置節點。確認裝置遺失後,待處理的請求會回傳錯誤,磁碟區被強制卸載,處理程序隨即結束。
- 看門狗(watchdog)。如果有請求正在處理,卻有 30 秒毫無進展,就判定驅動程式卡住,並以同樣方式卸載並結束。
- 常駐程式。如果驅動程式本身當機或被強制結束,一個獨立的小型常駐程式會移除掛載點。沒有它的話,系統要等大約 70 秒(
deadtimeout)才會自行清理,在那之前存取該磁碟區的處理程序都無法中斷。
== 斷電:B-write1(負載:寫入,修改後,NTFSTOOL_DRIVER_FSYNC=bounded) - 斷電後:寫入端錯誤出現在 0.19 s;掛載點消失於 0.21 s; 驅動程式結束於 0.45 s;無法中斷的處理程序:0 [pass] 從斷電到完全復原 0.45 s(上限 10 s) - 已 fsync 303 個檔案;最後一次 fsync 返回到偵測到裝置遺失 0.081 s [pass] 斷電後不需 ntfsfix 即可掛載(0.33 s)
斷電後的一致性
寫入時斷電,現在每一次測試磁碟區都能在不使用修復工具的情況下掛載,也沒有任何檔案內容出錯。掛載層能影響兩件事:重新供電後磁碟區能否不靠修復工具掛載,以及已向應用程式確認的寫入有多少能保留下來。OpenMacFUSE 在這方面做了三項改動:
- 寫入順序。檔案資料先寫到裝置,再寫指向它的中繼資料。沒有排序時,五次斷電測試中有四次出現內容錯誤的檔案;有排序後,一次也沒有。
- 有上限的快取排清。預設策略下,
fsync在資料寫入裝置後就返回,並由背景執行緒在一秒內排清磁碟本身的寫入快取。若每次呼叫都同步排清,損失最多降到每次測試一個檔案,但小檔案寫入會慢 13–23 倍;這個做法仍可作為選項使用。 - 掛載時自我修復。斷電後常見的結果是
$MFT與$MFTMirr不一致,依規格這時必須拒絕掛載。OpenMacFUSE 會在掛載時檢查並修復,使用者不必先執行修復工具。
| USB SSD,寫入期間斷電 | 修改前 | 修改後(預設策略) |
|---|---|---|
| 重新供電後不需修復工具即可掛載 | 5 次中有 3 次因 $MFTMirr 不一致而失敗 | 每一次都成功 |
| 每次測試損失的已確認檔案 | 12–19 | 1–27,全部是大約最後一秒內寫入的 |
| 內容錯誤的檔案 | 部分檔案變成全為零 | 0 |
「修改前」指這項工作之前的引擎行為;同一個引擎透過 FUSE-T 掛載,結果相同。沒有電池備援的可攜式磁碟在寫入中途斷電時,沒有任何檔案系統能保證最後一刻的資料。這裡的目標是把損失限制在最近的幾筆寫入,並保持磁碟區結構完好。
7測試方法
| 項目 | 說明 |
|---|---|
| 硬體 | MacBook Pro(Intel i7-4770HQ、16 GB、macOS 12.7.6);Mac(Apple M2、24 GB、macOS 27.0.1);120 GB USB SSD、1 TB USB 硬碟、USB 隨身碟 |
| 比較方式 | 同一台電腦、同一個映像檔、同一份 NTFS 引擎原始碼,只更換掛載層。FUSE-T 版本 1.0.49 |
| 計時 | 寫入計時包含 sync;循序讀取在卸載後重新掛載再執行,以避開用戶端快取 |
| 記憶體 | 取自 proc_pid_rusage 的 ri_phys_footprint,每 0.2 秒取樣 |
| 拔除與斷電 | 由繼電器切斷 5 V USB 電源,事先不卸載。重新供電後,先以唯讀方式檢查磁碟區結構,再以不修復的方式掛載磁碟區,並逐一比對所有檔案 |
| 正確性 | 300 秒的隨機讀寫比對(692,000 次操作,0 處不符);8 個並行寫入加上 2 個遞迴列出;每次測試後都檢查磁碟區結構 |
| 回歸測試 | 15 組腳本、869 項檢查,涵蓋 NTFS 讀寫、macOS 行為、ext、exFAT 與 BitLocker 磁碟區,以及故障注入:拔除、強制結束、卡住與掛載交握逾時 |
07:29:09 [pass] 已掛載 07:29:10 [pass] 大檔案寫入完成 07:29:12 [pass] 小檔案寫入完成 07:29:13 [pass] 大檔案 MD5 相符 07:29:13 [pass] 所有小檔案 MD5 相符 07:29:13 [pass] 重新命名 / 附加 / 截斷 / 刪除 07:29:13 [pass] 不分大小寫開啟 07:29:13 [pass] 列表中沒有 ._ 檔案 07:29:13 [pass] 延伸屬性讀寫 07:29:15 [pass] 正常卸載 07:29:15 [pass] 驅動程式已結束 07:29:15 [pass] 常駐程式已結束
8限制
- 回歸測試涵蓋的 macOS 版本。完整的自動化回歸測試目前在 macOS 12.7(Intel)與 macOS 27(Apple 晶片)上執行,其他版本仍在陸續加入。macOS 27 上的第一輪回歸測試發現了三個 macOS 12 上不會出現的問題,目前都已修正。
- 比較的範圍。所有 FUSE-T 的數字都來自我們自己的兩台電腦,而且只測了 1.0.49 版。「未測試」不代表該功能不支援。
- 核心用戶端的瑕疵無法在使用者空間繞過。這種掛載方式的穩定性,最多只能跟 macOS NFS 用戶端一樣。我們避開了兩條已知會出問題的路徑(具名屬性,以及掛載交握逾時後的重新連線),但無法排除還有其他問題。
- macOS 把這類磁碟區當成網路磁碟區。沒有垃圾桶,Spotlight 也不會建立索引。FUSE-T 同樣如此,這是這種做法本身的特性。
- 非常大的資料夾。Finder 首次開啟超過 40,000 個項目的資料夾,約需 74 秒。瓶頸在於 Finder 逐項取得屬性的方式,兩種掛載層的情況相同。
- 刪除操作的寫入順序還沒有比照寫入做同樣的處理。斷電後,剛被刪除檔案釋出的空間若寫入了新資料,有小機率受到影響。
9結論
OpenMacFUSE 是 NTFSTool Pro 中「驅動程式 1」預設的掛載層;NTFS、ext、exFAT 與 BitLocker 磁碟區都透過它掛載。把掛載層放在自己的程式碼中,有四方面的好處:
- 自主開發。RPC、XDR、NFSv4.0 狀態機與 FUSE 介面都是我們自己的實作。沒有第三方掛載元件,也不必另外安裝任何東西。
- 效能。請求在單一處理程序內完成。中繼資料操作比 FUSE-T 快 6 至 35 倍,記憶體用量只有六分之一到二十分之一。
- 可靠性。磁碟被拔除、驅動程式卡住、處理程序被強制結束,各有各的結束機制;斷電之後磁碟區也能正常掛載。
- 可維護性。869 項自動化檢查涵蓋正常路徑與故障注入,問題可以在同一份程式碼中重現、追查、修正並做回歸測試。
常見問題
- OpenMacFUSE 是什麼?
- OpenMacFUSE 是 NTFSTool 開發、內建於 NTFSTool Pro 的開源使用者空間掛載層,用來在 macOS 上掛載 NTFS、ext、exFAT 與 BitLocker 磁碟區。它是執行在驅動程式處理程序內的 NFSv4.0 伺服器,不使用任何核心延伸功能。
- 使用 NTFSTool Pro 需要另外安裝 macFUSE 或 FUSE-T 嗎?
- 不需要。NTFSTool 自己的掛載層 OpenMacFUSE 已內建在 NTFSTool Pro 中,不依賴 macFUSE、FUSE-T 或任何核心延伸功能,你也不必進入「macOS 復原」去降低 Mac 的安全性設定。
- OpenMacFUSE 的效能和 FUSE-T 比起來如何?
- 在同一台 Mac、同一套 NTFS 引擎下,對磁碟區內所有檔案計算檢查碼,OpenMacFUSE 耗時 23 秒,FUSE-T 需 797 秒;刪除 10,000 個小檔案快 6 至 9 倍。在實體 USB 隨身碟上,大檔案的循序讀寫速度相當。OpenMacFUSE 的記憶體用量維持在 45 至 51 MB,FUSE-T 則是 200 MB 到 1 GB。
- 寫入到一半拔掉磁碟會怎麼樣?
- OpenMacFUSE 驅動程式會在約 0.5 秒內自行卸載磁碟區並結束,Finder 與其他 App 不會卡住。重新接上磁碟後,磁碟區可以正常掛載。斷電前大約最後一秒內完成的寫入可能會遺失,其他檔案的內容不受影響。
- NTFSTool 為什麼自己寫掛載層,而不用開源或第三方元件?
- 掛載層決定了速度、記憶體用量,以及出問題時會發生什麼事。自行實作之後,NTFSTool 可以在同一份程式碼中追查並修正問題,NTFS 特有的行為(大小寫、隱藏與唯讀屬性、延伸屬性)也能與檔案系統引擎一起處理。
- OpenMacFUSE 是開源的嗎?
- 是的。OpenMacFUSE 採用 MIT 授權開源,程式碼放在 GitHub:ntfstool/openmacfuse。任何 FUSE 2.x 檔案系統都可以連結使用。
本文所有資料均由 NTFSTool 工程團隊實測得出,測試方法見第 7 節。FUSE-T 是其作者的專案,與 NTFSTool 沒有隸屬關係。OpenMacFUSE 是獨立專案,與 macFUSE 及其作者沒有關聯。