КРАТКО
- Собственная разработка. OpenMacFUSE — это сервер NFSv4.0, встроенный в процесс драйвера и предоставляющий API FUSE 2.x. Это около 17 000 строк на C, написанных по RFC 7530, 5531 и 4506 и выпущенных под лицензией MIT. Это одна из немногих открытых реализаций FUSE для macOS, которым не нужно расширение ядра.
- Скорость. Больше всего разница заметна на задачах с интенсивной работой с метаданными: подсчёт контрольных сумм всех файлов тома занимает 23 с против 797 с у FUSE-T, а удаление 10 000 мелких файлов выполняется в 6–9 раз быстрее. Последовательное чтение и запись больших файлов на реальных USB-дисках не показывают измеримой разницы.
- Память. Процесс драйвера занимает 45–51 МБ физической памяти независимо от числа файлов и времени работы.
- Надёжность. Если во время записи пропадает питание USB, драйвер размонтирует том и завершается за 0,5 с. После возвращения питания том монтируется в обычном режиме, содержимое файлов не повреждено; теряются только данные, записанные примерно за последнюю секунду.
- Сопровождение. Протокольный слой, интерфейс FUSE и движок NTFS находятся в одной кодовой базе, поэтому проблему в слое монтирования можно найти и исправить сразу, не дожидаясь выхода версии у стороннего разработчика.
23 с против 797 с
381 МБ у FUSE-T
замер на USB SSD
все пройдены на macOS 12
1 Предпосылки2 Архитектура3 Скорость4 Память5 Особенности macOS6 Сбои и отключения7 Методика8 Ограничения9 ИтогиВопросы и ответы
1Предпосылки
Начиная с macOS 11, чтобы загрузить расширение ядра, нужно перезапустить Mac в режиме восстановления macOS и включить режим «Пониженная защита». Для программ, рассчитанных на обычных пользователей, такой путь уже не подходит. Есть два основных способа обойтись без ядра: FSKit от Apple (доступен с macOS 15.4, его использует «Драйвер 2» в NTFSTool) и NFS-клиент, встроенный в macOS. Второй способ запускает на самом компьютере сервер NFS, переводит файловые операции в вызовы пользовательского драйвера и монтирует результат командой mount_nfs. Так работает FUSE-T, самая зрелая реализация этого подхода; именно с ней мы сравниваем OpenMacFUSE во всей статье.
Мы решили написать этот слой сами по трём инженерным причинам:
- Установка. FUSE-T — отдельный компонент. Его нужно установить при первом запуске, введя пароль администратора, а это лишний шаг и ещё одно место, где что-то может пойти не так.
- Исправление проблем. Сторонний слой монтирования поставляется в виде бинарного файла. Мы можем воспроизвести его проблемы, например медленный вывод больших папок или растущее потребление памяти, но исправить их может только автор.
- Семантика. Универсальный слой монтирования ничего не знает о NTFS. Правила регистра, атрибуты «скрытый» и «только чтение», место хранения расширенных атрибутов — всё это можно обработать верно только вместе с движком файловой системы.
2Архитектура
OpenMacFUSE подключён к драйверу как статическая библиотека. При запуске драйвер принимает подключения на локальной конечной точке внутри собственного процесса, после чего вызывает системную команду mount_nfs. Каждый запрос COMPOUND от NFS-клиента в ядре декодируется, передаётся в обработчики FUSE и получает ответ в рамках этого же процесса. Второго процесса нет, нет и лишнего копирования данных или переключения контекста.
Транспорт и параметры монтирования
В macOS 26 и новее используется доменный сокет Unix (proto=ticotsord). Порт не открывается, и другие пользователи компьютера подключиться не могут. NFS-клиент ядра в macOS 12 даёт сбой при записи больших объёмов по такому транспорту, поэтому в более ранних версиях macOS используется TCP на 127.0.0.1, а сервер дважды проверяет, что соединение исходит от локального монтирования. Вот параметры, которые система показала после монтирования в macOS 27:
$ nfsstat -m <mount point> NFS parameters: vers=4.0,ticotsord,port=/var/folders/…/openmacfuse.P1wAL0/s,hard,intr, noresvport,nocallback,negnamecache,nonamedattr,noacl,noaclonly,locks,noquota, rsize=262144,wsize=262144,readahead=16,dsize=32768,nordirplus,nodumbtimer, timeo=10,maxgroups=16,…,deadtimeout=60
nonamedattr — значение системного клиента по умолчанию, от него зависит обработка расширенных атрибутов (раздел 5). nordirplus выбран нами; о его цене речь в разделе 8.Принятые решения
- Таблица узлов ограниченного размера. Файловый дескриптор — это не указатель на объект в памяти. У таблицы узлов есть предел размера, а дескриптор, чей узел был вытеснен, при следующем обращении снова определяется по пути. В тесте мы снизили предел до 64 записей и подряд переименовали файл 301 раз: все 7 839 обращений по старым дескрипторам были восстановлены, ни одно не вернуло
NFS4ERR_STALE. Поэтому память не растёт вместе с числом файлов. - Кэш повторных запросов. После тайм-аута клиент отправляет запрос повторно. Для неидемпотентных операций, таких как CREATE, REMOVE и RENAME, сервер хранит последние ответы и на повтор отвечает из кэша, не выполняя операцию заново. В тесте мы отбросили по одному ответу для шести типов операций; каждая операция выполнилась ровно один раз.
- Без именованных атрибутов. Именованные атрибуты NFSv4 — естественный способ хранить расширенные атрибуты, но в NFS-клиенте ядра macOS на этом пути есть дефект, приводящий к аварийному завершению системы. Мы столкнулись с ним при разработке на macOS 27.0.1 и 12.7.6. Поэтому OpenMacFUSE идёт по пути, которым клиент пользуется чаще всего, а именованные атрибуты остаются отключёнными.
3Скорость
OpenMacFUSE работает в 6–35 раз быстрее FUSE-T 1.0.49 на задачах с интенсивной работой с метаданными и не уступает ему при последовательном чтении и записи на реальных USB-дисках. Методика: один и тот же компьютер, один и тот же образ тома и один и тот же исходный код движка NTFS, собранный один раз с OpenMacFUSE и один раз с FUSE-T 1.0.49. Образ лежит на встроенном SSD, а ввод-вывод идёт через системный кэш страниц, поэтому на рисунке 3 измерены накладные расходы слоя монтирования и движка, а не диска. Результаты на реальных дисках приведены отдельно в таблице 1.
OpenMacFUSE
FUSE-T 1.0.49| Таблица 1 · Реальные USB-диски | OpenMacFUSE | FUSE-T |
|---|---|---|
| SSD, последовательная запись 4,5 ГБ | 293–313 МБ/с | 300 МБ/с |
| SSD, чтение без кэша | 245–251 МБ/с | 236–241 МБ/с |
| SSD, обход дерева папок | 0,25–0,30 с | 4,1–4,6 с |
| SSD, удаление 2 000 мелких файлов | 0,82–0,86 с | 8,4–9,7 с |
| Жёсткий диск, последовательная запись / чтение | 70 / 97 МБ/с | 74 / 93 МБ/с |
SSD измерен на Apple M2 / macOS 27; жёсткий диск — на Intel i7 / macOS 12.7. Последовательная скорость ограничена каналом USB и самим диском; различия укладываются в погрешность измерений.
Один результат опущен: создание мелких файлов. После этих замеров политика сброса кэша в OpenMacFUSE по умолчанию стала более осторожной (раздел 6), и создание мелких файлов замедлилось примерно вдвое. Сравнение с FUSE-T на реальных дисках при новой политике ещё не повторялось, и старые цифры мы не приводим, пока этого не сделаем.
4Память
OpenMacFUSE занимает 45–51 МБ физической памяти независимо от нагрузки и времени работы; FUSE-T в тех же тестах занимал от 200 МБ до 1 ГБ. Везде указан физический объём — та же величина, что в столбце «Память» в программе «Мониторинг системы». Для OpenMacFUSE это единственный процесс драйвера, для FUSE-T — процесс драйвера плюс процесс сервера NFS. В обоих случаях сюда входит около 35 МБ кэша блоков, принадлежащего движку NTFS.
5Особенности macOS
OpenMacFUSE не пускает файлы ._ на диск и сопоставляет атрибуты NTFS с их аналогами в macOS.
._ в списке нет.AppleDouble
По умолчанию NFS-клиент macOS не использует именованные атрибуты. Он упаковывает расширенные атрибуты файла, ресурсную вилку и информацию Finder в файл AppleDouble с именем ._имя_файла и отправляет его серверу обычными операциями OPEN и WRITE. Если сервер просто сохраняет полученное, эти файлы оказываются на диске и в Windows выглядят как мусор.
В macOS 26 это стало заметнее: система добавляет к каждому новому файлу атрибут com.apple.provenance, и у каждого файла появляется парный файл ._. При записи одного набора из 40 000 мелких файлов через FUSE-T на диске осталось 40 048 лишних файлов ._. В репозитории git на этом томе появилось 48 неотслеживаемых файлов, а git fsck сообщил о 67 ошибках.
OpenMacFUSE распознаёт обращения к файлам ._ на стороне сервера, разбирает содержимое AppleDouble и записывает каждый атрибут в альтернативный поток данных NTFS основного файла. При чтении файл AppleDouble собирается заново по запросу. Отдельный файл на диске не создаётся и в списках папок не появляется. Если на диске уже есть файлы ._, они скрываются, а при следующем изменении основного файла каждый из них переносится в поток данных.
Цена — фильтрация при выводе содержимого папки: первый вывод папки из 40 000 элементов занимает не 1,4 с, а 3,6 с. Мы считаем такой обмен оправданным.
Другие особенности
| Возможность | Поведение OpenMacFUSE | Наблюдалось у FUSE-T |
|---|---|---|
| Регистр в именах файлов | По умолчанию без учёта регистра, но с его сохранением, как в Windows. Если на томе уже есть имена, различающиеся только регистром, монтирование автоматически переключается на режим с учётом регистра | С учётом регистра |
| Нормализация Unicode | Формы имени NFC и NFD ведут к одному и тому же файлу (буквы с диакритикой, корейский) | Не проверялось |
| Атрибут «скрытый» | Бит HIDDEN в NTFS и флаг скрытого файла в Finder сопоставляются в обе стороны | Не сопоставляется |
| Атрибут «только чтение» | Бит READONLY в NTFS запрещает запись в файл в macOS | Не учитывается |
| Время создания | stat -f %B возвращает время создания, сохранённое на диске | Всегда 0 |
| Блокировки диапазонов байтов | Поддерживаются; базы SQLite можно открывать прямо на томе | Не проверялось |
6Сбои и отключения
Внешние диски отключают без предупреждения. Это обычная ситуация, а не редкий случай, и в OpenMacFUSE есть три механизма, которые в такой ситуации удаляют точку монтирования. У слоя монтирования на основе NFS есть неизбежный риск: монтирование выполняется в режиме hard, поэтому после того как сервер перестаёт отвечать, любой процесс, обратившийся к тому, переходит в непрерываемое ожидание, и Finder перестаёт отвечать. Слой монтирования должен гарантировать, что точку монтирования всегда кто-то удалит:
- Обнаружение потери устройства. Ошибка устройства при вводе-выводе обрабатывается сразу; в простое узел устройства раз в секунду проверяется через IOKit. Когда потеря подтверждена, ожидающие запросы завершаются с ошибкой, том принудительно размонтируется, а процесс завершается.
- Сторожевой таймер. Если запрос выполняется и 30 секунд нет продвижения, драйвер считается зависшим и таким же образом размонтирует том и завершается.
- Процесс-страж. Если сам драйвер аварийно завершился или был убит, точку монтирования удаляет небольшой отдельный процесс. Без него система очищает её сама только примерно через 70 секунд (
deadtimeout), и до этого момента процессы, обратившиеся к тому, прервать нельзя.
== power cut: B-write1 (нагрузка: запись, после изменений, NTFSTOOL_DRIVER_FSYNC=bounded) - после отключения: ошибка записи через 0,19 с; точка монтирования удалена через 0,21 с; драйвер завершился через 0,45 с; процессов в непрерываемом ожидании: 0 [pass] от отключения питания до полного восстановления 0,45 с (предел 10 с) - 303 файла сброшены через fsync; от последнего возврата fsync до обнаружения потери устройства 0,081 с [pass] после отключения монтируется без ntfsfix (0,33 с)
Согласованность после потери питания
После отключения питания во время записи том теперь монтируется без программы восстановления в каждом тестовом прогоне, и ни один файл не возвращается с неверным содержимым. Слой монтирования может повлиять на две вещи: смонтируется ли том без программы восстановления после возвращения питания и сколько уже подтверждённых приложению записей сохранится. Здесь OpenMacFUSE делает три изменения:
- Порядок записи. Данные файла попадают на устройство раньше метаданных, которые на них ссылаются. Без упорядочивания четыре прогона из пяти с отключением питания давали файлы с неверным содержимым; с упорядочиванием — ни одного.
- Ограниченный по времени сброс кэша. При политике по умолчанию
fsyncвозвращается, когда данные записаны на устройство, а фоновый поток сбрасывает собственный кэш записи диска в течение секунды. Синхронный сброс при каждом вызове сокращает потери до одного файла за прогон, но замедляет запись мелких файлов в 13–23 раза; этот режим остаётся доступным как параметр. - Самовосстановление при монтировании. Типичное последствие потери питания — несовпадение
$MFTи$MFTMirr; по спецификации в этом случае монтирование нужно отклонить. OpenMacFUSE проверяет и исправляет это при монтировании, поэтому запускать программу восстановления заранее не нужно.
| USB SSD, отключение питания во время записи | До изменений | После (политика по умолчанию) |
|---|---|---|
| Монтируется без программы восстановления после возвращения питания | в 3 прогонах из 5 не удалось из-за несовпадения $MFTMirr | В каждом прогоне |
| Потеряно подтверждённых файлов за прогон | 12–19 | 1–27, все записаны примерно за последнюю секунду |
| Файлы с неверным содержимым | Часть файлов вернулась целиком из нулей | 0 |
«До изменений» — это поведение движка до этой работы; тот же движок, смонтированный через FUSE-T, давал те же результаты. Ни одна файловая система не может гарантировать сохранность данных последнего момента, если у портативного диска без резервного питания во время записи пропадает питание. Цель — ограничить потери самыми свежими записями и сохранить структуру тома.
7Методика
| Параметр | Подробности |
|---|---|
| Оборудование | MacBook Pro (Intel i7-4770HQ, 16 ГБ, macOS 12.7.6); Mac (Apple M2, 24 ГБ, macOS 27.0.1); USB SSD 120 ГБ, внешний жёсткий диск USB 1 ТБ, флеш-накопитель USB |
| Сравнение | Тот же компьютер, тот же образ, тот же исходный код движка NTFS; меняется только слой монтирования. Версия FUSE-T — 1.0.49 |
| Замер времени | Время записи включает sync; последовательное чтение выполняется после размонтирования и повторного монтирования, чтобы обойти кэш клиента |
| Память | ri_phys_footprint из proc_pid_rusage, с интервалом 0,2 с |
| Отключение диска и потеря питания | Реле отключает питание USB 5 В без предварительного размонтирования. После возвращения питания структура тома проверяется в режиме только чтения, затем том монтируется без восстановления и все файлы сравниваются |
| Корректность | 300 с случайного сравнения чтения и записи (692 000 операций, 0 расхождений); 8 параллельных процессов записи и 2 рекурсивных обхода папок; структура тома проверяется после каждого прогона |
| Регрессия | 15 наборов сценариев с 869 проверками: чтение и запись NTFS, особенности macOS, тома ext, exFAT и BitLocker, а также внедрение сбоев: отключение диска, принудительное завершение, зависание и тайм-аут рукопожатия при монтировании |
07:29:09 [pass] смонтировано 07:29:10 [pass] большой файл записан 07:29:12 [pass] мелкие файлы записаны 07:29:13 [pass] MD5 большого файла совпадает 07:29:13 [pass] MD5 всех мелких файлов совпадают 07:29:13 [pass] переименование / дозапись / усечение / удаление 07:29:13 [pass] открытие без учёта регистра 07:29:13 [pass] файлов ._ в списке нет 07:29:13 [pass] чтение и запись расширенных атрибутов 07:29:15 [pass] штатное размонтирование 07:29:15 [pass] драйвер завершился 07:29:15 [pass] процесс-страж завершился
8Ограничения
- Версии macOS, охваченные регрессионным тестированием. Полный набор автоматических регрессионных тестов сейчас выполняется на macOS 12.7 (Intel) и macOS 27 (Apple silicon); остальные версии добавляются. Первый регрессионный прогон на macOS 27 выявил три проблемы, которых нет в macOS 12; все они уже исправлены.
- Границы сравнения. Все цифры по FUSE-T получены на двух наших компьютерах и только для версии 1.0.49. «Не проверялось» не означает, что возможность не поддерживается.
- Дефекты клиента ядра нельзя обойти из пользовательского пространства. Такое монтирование может быть стабильным лишь настолько, насколько стабилен NFS-клиент macOS. Мы обходим два известных проблемных пути (именованные атрибуты и повторное подключение после тайм-аута рукопожатия при монтировании), но исключить другие не можем.
- macOS считает такие тома сетевыми. Для них нет Корзины, а Spotlight их не индексирует. У FUSE-T то же самое: это свойство самого подхода.
- Очень большие папки. Finder открывает папку с более чем 40 000 элементов в первый раз примерно 74 с. Узкое место — то, как Finder запрашивает атрибуты по одному элементу, и с обоими слоями монтирования это одинаково.
- Порядок записи при удалении пока не получил такой же проработки, как при записи. После потери питания есть небольшая вероятность, что пострадают новые данные, записанные в место, только что освобождённое удалённым файлом.
9Итоги
OpenMacFUSE — слой монтирования по умолчанию для Драйвера 1 в NTFSTool Pro; через него монтируются тома NTFS, ext, exFAT и BitLocker. Слой монтирования в собственной кодовой базе даёт четыре преимущества:
- Собственная разработка. RPC, XDR, конечный автомат NFSv4.0 и интерфейс FUSE — всё это наша собственная реализация. Сторонних компонентов монтирования нет, и ничего дополнительно устанавливать не нужно.
- Скорость. Запросы выполняются внутри одного процесса. Операции с метаданными выполняются в 6–35 раз быстрее, чем с FUSE-T, а расход памяти составляет от одной шестой до одной двадцатой от расхода FUSE-T.
- Надёжность. Для отключённого диска, зависшего драйвера и принудительно завершённого процесса предусмотрен свой механизм выхода, а после потери питания том монтируется в обычном режиме.
- Сопровождение. 869 автоматических проверок охватывают обычные сценарии и внедрение сбоев, поэтому проблему можно воспроизвести, найти, исправить и проверить регрессионными тестами в одной кодовой базе.
Вопросы и ответы
- Что такое OpenMacFUSE?
- OpenMacFUSE — это открытый пользовательский слой монтирования, разработанный NTFSTool и встроенный в NTFSTool Pro. Он монтирует тома NTFS, ext, exFAT и BitLocker в macOS. Это сервер NFSv4.0, работающий внутри процесса драйвера и не использующий расширение ядра.
- Нужно ли устанавливать macFUSE или FUSE-T, чтобы пользоваться NTFSTool Pro?
- Нет. OpenMacFUSE — собственный слой монтирования NTFSTool — входит в состав NTFSTool Pro. Он не зависит ни от macFUSE, ни от FUSE-T, ни от какого-либо расширения ядра, и перезапускать Mac в режиме восстановления macOS и понижать защиту не требуется.
- Как OpenMacFUSE соотносится с FUSE-T по скорости?
- На одном и том же Mac с одним и тем же движком NTFS подсчёт контрольных сумм всех файлов тома занимает 23 с с OpenMacFUSE против 797 с с FUSE-T, а удаление 10 000 мелких файлов выполняется в 6–9 раз быстрее. Последовательное чтение и запись больших файлов на реальных USB-дисках идут наравне. OpenMacFUSE занимает 45–51 МБ памяти, FUSE-T — от 200 МБ до 1 ГБ.
- Что будет, если отключить диск во время записи?
- Драйвер OpenMacFUSE сам размонтирует том и завершается примерно за 0,5 с, поэтому Finder и другие программы не зависают. При повторном подключении диска том монтируется в обычном режиме. Данные, записанные примерно за последнюю секунду до потери питания, могут отсутствовать; содержимое остальных файлов не затрагивается.
- Почему NTFSTool написал собственный слой монтирования, а не использовал открытый или сторонний компонент?
- Слой монтирования определяет скорость, расход памяти и поведение при сбоях. Имея собственную реализацию, NTFSTool может искать и исправлять проблемы в одной кодовой базе, а особенности NTFS (регистр, атрибуты «скрытый» и «только чтение», расширенные атрибуты) обрабатываются вместе с движком файловой системы.
- Открыт ли код OpenMacFUSE?
- Да. Код OpenMacFUSE открыт под лицензией MIT и размещён на GitHub: ntfstool/openmacfuse. К нему можно подключить любую файловую систему на базе FUSE 2.x.
Все данные в статье измерены командой разработки NTFSTool; методика описана в разделе 7. FUSE-T — проект его автора и не связан с NTFSTool. OpenMacFUSE — независимый проект и не связан с macFUSE и его авторами.