摘要
- 自主研发。OpenMacFUSE 是链接进驱动进程的 NFSv4.0 服务端,对上提供 FUSE 2.x 接口,约 17,000 行 C 代码,依据 RFC 7530、5531 和 4506 独立实现,以 MIT 协议开源。它是少数几个开源、免内核扩展的 macOS FUSE 实现之一。
- 速度。元数据密集的负载差距最大:对整个卷的每个文件做校验,耗时 23 秒,FUSE-T 为 797 秒;删除 10,000 个小文件快 6–9 倍。大文件顺序读写在 USB 实盘上没有可测出的差别。
- 内存。驱动进程的物理内存占用为 45–51 MB,与文件数量和运行时长无关。
- 可靠性。写入时切断 USB 供电,驱动会在 0.5 秒内卸载并退出。重新上电后卷可正常挂载,没有文件内容损坏;丢失的只是断电前最后一秒左右完成的写入。
- 可维护性。协议层、FUSE 接口和 NTFS 引擎在同一个代码库里,挂载层出了问题可以直接定位和修复,不必等第三方的发布节奏。
23 秒对 797 秒
FUSE-T 为 381 MB
USB SSD 实测
macOS 12 上全部通过
1 背景2 结构3 性能4 内存5 macOS 语义6 故障处理7 测试方法8 局限9 结论常见问题
1背景
自 macOS 11 起,加载内核扩展需要用户进入 macOS 恢复模式,把 Mac 切换到「降低安全性」,这条路对面向普通用户的软件已经不现实。不进内核的做法主要有两种:一是 Apple 的 FSKit(macOS 15.4 起提供,NTFSTool 的「驱动 2」使用它),二是借用 macOS 自带的 NFS 客户端。后者在本机运行一个 NFS 服务端,把文件系统操作转换成对用户态驱动的调用,再用 mount_nfs 挂载。FUSE-T 采用的就是这种做法,也是它最成熟的实现,因此是本文所有对比的基准。
我们决定自己实现这一层,有三个工程上的原因:
- 部署。FUSE-T 是独立组件,首次使用需要输入管理员密码单独安装,多一个步骤,也多一个可能出错的环节。
- 可修复性。第三方挂载层以二进制形式分发。大目录列举很慢、内存持续增长这类问题我们能复现,但只有它的作者才能修。
- 语义。通用的挂载层不了解 NTFS。大小写规则、隐藏和只读属性、扩展属性存放的位置,只有和文件系统引擎一起处理才能做对。
2结构
OpenMacFUSE 以静态库的形式链接进驱动。驱动启动后,先在自己的进程内监听一个本地端点,再调用系统的 mount_nfs。内核 NFS 客户端发来的每个 COMPOUND 请求,都在这一个进程内完成解码、分发给 FUSE 回调并应答。没有第二个进程,途中也没有额外的内存拷贝或上下文切换。
传输方式与挂载参数
macOS 26 及更高版本使用 Unix 域套接字(proto=ticotsord),不开放端口,本机其他用户也无法连接。macOS 12 的内核客户端在该传输方式下写入大块数据会失败,所以更早的 macOS 版本回退到 127.0.0.1 上的 TCP,并由服务端做两项检查,确认连接来自本机的这次挂载。下面是 macOS 27 上一次挂载后系统报告的参数:
$ nfsstat -m <挂载点> NFS parameters: vers=4.0,ticotsord,port=/var/folders/…/openmacfuse.P1wAL0/s,hard,intr, noresvport,nocallback,negnamecache,nonamedattr,noacl,noaclonly,locks,noquota, rsize=262144,wsize=262144,readahead=16,dsize=32768,nordirplus,nodumbtimer, timeo=10,maxgroups=16,…,deadtimeout=60
nonamedattr 是系统客户端的默认设置,决定了第 5 节里扩展属性的处理方式。nordirplus 是我们的选择,代价见第 8 节。实现上的取舍
- 有上限的节点表。文件句柄不是指向内存对象的指针。节点表有大小上限,节点被淘汰的句柄,下次使用时会按路径重新解析。测试中我们把上限压到 64 项,连续重命名 301 次;通过旧句柄的 7,839 次访问全部找回,没有一次返回
NFS4ERR_STALE。内存不随文件数量增长,原因就在这里。 - 重复请求缓存。客户端超时后会重发请求。对 CREATE、REMOVE、RENAME 这类非幂等操作,服务端缓存最近的回复,收到重发时直接用缓存应答,不再执行第二次。测试中我们对六类操作各丢弃一次回复,每个操作都只执行了一次。
- 不使用命名属性。NFSv4 的命名属性在协议上最适合存放扩展属性,但 macOS 内核 NFS 客户端在这条路径上有一个会让系统崩溃的缺陷,我们在 macOS 27.0.1 和 12.7.6 上开发时都遇到过。所以 OpenMacFUSE 只走客户端最常用的路径,命名属性保持关闭。
3性能
在元数据密集的负载上,OpenMacFUSE 比 FUSE-T 1.0.49 快 6 到 35 倍;在 USB 实盘上的顺序读写与它持平。测试方法:同一台机器、同一个卷映像、同一份 NTFS 引擎源码,分别链接 OpenMacFUSE 和 FUSE-T 1.0.49 各测一次。映像放在内置 SSD 上,读写经过系统页缓存,所以图 3 衡量的是挂载层加引擎的开销,不含磁盘。实盘结果单列在表 1。
OpenMacFUSE
FUSE-T 1.0.49| 表 1 · USB 实盘 | OpenMacFUSE | FUSE-T |
|---|---|---|
| SSD,顺序写 4.5 GB | 293–313 MB/s | 300 MB/s |
| SSD,冷读 | 245–251 MB/s | 236–241 MB/s |
| SSD,遍历目录树 | 0.25–0.30 秒 | 4.1–4.6 秒 |
| SSD,删除 2,000 个小文件 | 0.82–0.86 秒 | 8.4–9.7 秒 |
| 机械硬盘,顺序写 / 读 | 70 / 97 MB/s | 74 / 93 MB/s |
SSD 测于 Apple M2 / macOS 27,机械硬盘测于 Intel i7 / macOS 12.7。顺序读写速度受 USB 链路和硬盘本身限制,差别在测量误差之内。
未列入的一项:小文件创建。这组基准测完之后,OpenMacFUSE 的默认刷写策略改得更保守(见第 6 节),小文件创建因此慢了约一倍。新策略下与 FUSE-T 的实盘对比还没有重测,重测之前我们不引用旧数字。
4内存
无论负载和运行时长,OpenMacFUSE 的物理内存占用都稳定在 45–51 MB;同样的测试中,FUSE-T 用了 200 MB 到 1 GB。所有数值均为物理占用(physical footprint),与活动监视器「内存」一列的口径相同。OpenMacFUSE 只有驱动这一个进程;FUSE-T 是驱动进程加上它的 NFS 服务进程。两者都包含属于 NTFS 引擎的约 35 MB 块缓存。
5macOS 语义
OpenMacFUSE 不让 ._ 文件出现在磁盘上,并把 NTFS 属性映射为 macOS 里对应的属性。
._ 文件。AppleDouble
macOS 的 NFS 客户端默认不使用命名属性,而是把文件的扩展属性、资源分支和访达信息打包成名为 ._文件名 的 AppleDouble 文件,再通过普通的 OPEN 和 WRITE 操作发给服务端。如果服务端原样保存收到的内容,这些文件就会留在磁盘上,在 Windows 里成为多余的杂乱文件。
这个问题在 macOS 26 上更明显:系统会给每个新文件附加 com.apple.provenance 属性,于是每个文件都带一个 ._ 伴随文件。通过 FUSE-T 写入一组 40,000 个小文件的数据集,磁盘上多出 40,048 个 ._ 文件。卷上的 git 仓库显示 48 个未跟踪文件,git fsck 报告了 67 个错误。
OpenMacFUSE 在服务端识别对 ._ 文件的访问,解析 AppleDouble 的内容,把每项属性写入主文件的 NTFS 备用数据流;读取时再按需重新生成 AppleDouble 文件。磁盘上不会产生单独的文件,目录列表里也看不到。对于已经带有 ._ 文件的磁盘,这些文件会被隐藏,并在对应主文件下次被修改时迁入数据流。
代价是列举目录时要做过滤:首次列举 40,000 项的目录,耗时从 1.4 秒增加到 3.6 秒。我们认为这个代价值得。
其他语义
| 功能 | OpenMacFUSE 的行为 | FUSE-T 下的观察 |
|---|---|---|
| 文件名大小写 | 默认不区分大小写、保留大小写,与 Windows 一致。如果卷上已有仅大小写不同的名称,挂载时自动切换为区分大小写 | 区分大小写 |
| Unicode 规范化 | 名称的 NFC 和 NFD 两种形式指向同一个文件(带重音符号的字母、韩文) | 未测试 |
| 隐藏属性 | NTFS 的 HIDDEN 位与访达的隐藏标记双向映射 | 不映射 |
| 只读属性 | NTFS 的 READONLY 位使文件在 macOS 上不可写 | 不体现 |
| 创建时间 | stat -f %B 返回磁盘上保存的创建时间 | 始终为 0 |
| 字节范围锁 | 支持;SQLite 数据库可以直接在卷上打开 | 未测试 |
6故障处理
外接磁盘会被不打招呼直接拔掉,这是日常使用,不是边缘情况。OpenMacFUSE 为此设置了三种在拔盘时移除挂载的机制。基于 NFS 的挂载层有一个固有风险:挂载是 hard 的,服务端一旦不再应答,访问该卷的任何进程都会进入不可中断的等待,访达也会失去响应。挂载层必须保证总有一方会移除挂载点:
- 设备丢失检测。I/O 返回设备错误时立即处理;空闲时每秒通过 IOKit 探测一次设备节点。确认丢失后,未完成的请求返回错误,卷被强制卸载,进程退出。
- 看门狗。如果有请求正在处理,而 30 秒内没有任何进展,就判定驱动卡住,同样卸载并退出。
- 监护进程。如果驱动自己崩溃或被终止,由一个独立的小进程移除挂载点。没有它,系统要等约 70 秒(
deadtimeout)才会自行清理,在此之前访问该卷的进程都无法被中断。
== 断电:B-write1(负载:写入,改动后,NTFSTOOL_DRIVER_FSYNC=bounded) - 断电后:写入进程报错于 0.19 秒;挂载点消失于 0.21 秒; 驱动退出于 0.45 秒;不可中断进程:0 [通过] 断电到完全恢复 0.45 秒(上限 10 秒) - 已 fsync 303 个文件;最后一次 fsync 返回到检测出设备丢失 0.081 秒 [通过] 断电后无需 ntfsfix 即可挂载(0.33 秒)
断电后的一致性
写入过程中断电后,现在每一次测试里,卷都能不经修复工具直接挂载,也没有文件内容出错。挂载层能影响两件事:重新上电后卷能否不经修复工具直接挂载,以及已向应用确认的写入有多少得以保留。OpenMacFUSE 为此做了三处改动:
- 写入顺序。文件数据先于引用它的元数据到达设备。不约束顺序时,五次断电测试中有四次出现内容错误的文件;约束顺序后一次也没有。
- 有时限的缓存刷写。默认策略下,
fsync在数据写入设备后返回,由后台线程在 1 秒内刷写硬盘自带的写缓存。每次调用都同步刷写,可以把损失降到每次测试最多一个文件,但小文件写入会慢 13–23 倍;这种方式仍作为选项保留。 - 挂载时自动修复。断电后常见的结果是
$MFT与$MFTMirr不一致,按规范必须拒绝挂载。OpenMacFUSE 在挂载时检查并修复,用户不必先运行修复工具。
| USB SSD,写入过程中断电 | 改动前 | 改动后(默认策略) |
|---|---|---|
| 重新上电后不经修复工具即可挂载 | 5 次测试中有 3 次因 $MFTMirr 不一致而失败 | 每次都成功 |
| 每次测试丢失的已确认文件 | 12–19 | 1–27,均写于断电前最后一秒左右 |
| 内容错误的文件 | 部分文件读回来全是零 | 0 |
「改动前」指这项工作之前引擎的行为;同一个引擎经 FUSE-T 挂载,结果相同。没有电池保护的移动硬盘在写入中途断电,任何文件系统都无法保证最后一刻的数据。这里的目标是把损失限制在最近的写入,并保持卷结构完好。
7测试方法
| 项目 | 说明 |
|---|---|
| 硬件 | MacBook Pro(Intel i7-4770HQ,16 GB,macOS 12.7.6);Mac(Apple M2,24 GB,macOS 27.0.1);120 GB USB SSD、1 TB USB 机械硬盘、USB 闪存盘 |
| 对比方式 | 同一台机器、同一个映像、同一份 NTFS 引擎源码,只更换挂载层。FUSE-T 版本 1.0.49 |
| 计时 | 写入计时包含 sync;顺序读在卸载并重新挂载之后进行,以避开客户端缓存 |
| 内存 | proc_pid_rusage 返回的 ri_phys_footprint,间隔 0.2 秒 |
| 拔盘与断电 | 用继电器切断 5 V 的 USB 供电,事先不卸载。重新上电后,先以只读方式检查卷结构,再不经修复直接挂载,并逐个比对文件 |
| 正确性 | 300 秒随机读写比对(692,000 次操作,0 次不一致);8 个并发写入加 2 个递归列举;每次测试后检查卷结构 |
| 回归测试 | 15 组脚本共 869 项检查,覆盖 NTFS 读写、macOS 语义、ext、exFAT 和 BitLocker 卷,以及故障注入:拔盘、强制终止、卡住和挂载握手超时 |
07:29:09 [通过] 挂载成功 07:29:10 [通过] 大文件写入完成 07:29:12 [通过] 小文件写入完成 07:29:13 [通过] 大文件 MD5 一致 07:29:13 [通过] 小文件 MD5 全部一致 07:29:13 [通过] 重命名 / 追加 / 截断 / 删除 07:29:13 [通过] 不区分大小写打开 07:29:13 [通过] 列表中没有 ._ 文件 07:29:13 [通过] 扩展属性读写 07:29:15 [通过] 正常卸载 07:29:15 [通过] 驱动已退出 07:29:15 [通过] 监护进程已退出
8局限
- 回归测试覆盖的 macOS 版本。完整的自动化回归测试目前在 macOS 12.7(Intel)和 macOS 27(Apple 芯片)上运行,其他版本还在陆续加入。macOS 27 上的首次回归发现了三个 macOS 12 上不会出现的问题,现已全部修复。
- 对比的适用范围。所有 FUSE-T 数据都来自我们自己的两台机器,且只针对 1.0.49 版本。「未测试」并不表示该功能不受支持。
- 内核客户端的缺陷无法在用户态规避。这类挂载的稳定性,上限取决于 macOS 的 NFS 客户端。我们避开了已知会出问题的两条路径(命名属性,以及挂载握手超时后的重连),但不能排除还有其他路径。
- macOS 把这类卷当作网络卷。没有废纸篓,聚焦也不会为它们建立索引。FUSE-T 同样如此,这是这种做法本身决定的。
- 超大目录。访达首次打开超过 40,000 项的目录,大约需要 74 秒。瓶颈在于访达逐项获取属性的方式,两种挂载层下表现相同。
- 删除操作的写入顺序还没有像写入那样处理。断电后,刚删除的文件释放出的空间里如果写入了新数据,这些数据有小概率受到影响。
9结论
OpenMacFUSE 是 NTFSTool Pro 驱动 1 的默认挂载层,NTFS、ext、exFAT 和 BitLocker 卷都通过它挂载。把挂载层放在自己的代码库里,有四点好处:
- 自主研发。RPC、XDR、NFSv4.0 状态机和 FUSE 接口都是自己实现的,没有第三方挂载组件,也不需要另外安装任何东西。
- 性能。请求在一个进程内完成。元数据操作比 FUSE-T 快 6 到 35 倍,内存占用约为它的 1/6 到 1/20。
- 可靠性。拔盘、驱动卡住和进程被终止,各有自己的退出机制;断电后卷可正常挂载。
- 可维护性。869 项自动化检查覆盖正常路径和故障注入,问题可以在同一个代码库里复现、定位、修复并回归测试。
常见问题
- OpenMacFUSE 是什么?
- OpenMacFUSE 是 NTFSTool 开发的开源用户态挂载层,内置于 NTFSTool Pro,用于在 macOS 上挂载 NTFS、ext、exFAT 和 BitLocker 卷。它是运行在驱动进程内的 NFSv4.0 服务端,不使用内核扩展。
- 用 NTFSTool Pro 需要另外安装 macFUSE 或 FUSE-T 吗?
- 不需要。NTFSTool 自己的挂载层 OpenMacFUSE 已内置在 NTFSTool Pro 里,不依赖 macFUSE、FUSE-T 或任何内核扩展,你也不用进入 macOS 恢复模式去降低 Mac 的安全设置。
- OpenMacFUSE 和 FUSE-T 的性能相比如何?
- 在同一台 Mac、同一个 NTFS 引擎上,对整个卷的每个文件做校验,OpenMacFUSE 用时 23 秒,FUSE-T 为 797 秒;删除 10,000 个小文件快 6 到 9 倍;大文件在 USB 实盘上的顺序读写持平。OpenMacFUSE 的内存占用稳定在 45 到 51 MB,FUSE-T 为 200 MB 到 1 GB。
- 写入过程中直接拔掉硬盘会怎么样?
- OpenMacFUSE 驱动会在约 0.5 秒内自行卸载该卷并退出,访达和其他 App 不会卡住。重新插上硬盘后,卷可正常挂载。断电前最后一秒左右完成的写入可能丢失,其他文件的内容不受影响。
- NTFSTool 为什么自己写挂载层,而不用开源或第三方组件?
- 挂载层决定了速度、内存占用和出故障时的表现。自己实现后,NTFSTool 可以在同一个代码库里定位和修复问题,NTFS 特有的语义(大小写、隐藏和只读属性、扩展属性)也能和文件系统引擎一起处理。
- OpenMacFUSE 是开源的吗?
- 是。OpenMacFUSE 以 MIT 协议开源,代码在 GitHub:ntfstool/openmacfuse。任何 FUSE 2.x 文件系统都可以链接它。
本文所有数据均由 NTFSTool 工程团队实测,方法见第 7 节。FUSE-T 是其作者的项目,与 NTFSTool 无隶属关系。OpenMacFUSE 是独立项目,与 macFUSE 及其作者无关联。