SAMENVATTING
- Zelf ontwikkeld. OpenMacFUSE is een NFSv4.0-server die in het driverproces zit en de FUSE 2.x-API aanbiedt. De code bestaat uit ongeveer 17.000 regels C, is geschreven volgens RFC 7530, 5531 en 4506 en valt onder de MIT-licentie. Het is een van de weinige open-source FUSE-implementaties voor macOS die zonder kernelextensie werken.
- Snelheid. Het verschil is het grootst bij taken met veel metadata: een checksum van elk bestand op een volume duurt 23 s tegenover 797 s met FUSE-T, en 10.000 kleine bestanden verwijderen gaat 6 tot 9 keer sneller. Bij het sequentieel lezen en schrijven van grote bestanden op echte USB-schijven is geen meetbaar verschil.
- Geheugen. Het driverproces gebruikt 45–51 MB fysiek geheugen, ongeacht het aantal bestanden of hoe lang het draait.
- Betrouwbaarheid. Als tijdens het schrijven de USB-voeding wegvalt, ontkoppelt de driver het volume en stopt hij binnen 0,5 s. Zodra de voeding terug is, wordt het volume gewoon gekoppeld en heeft geen enkel bestand een beschadigde inhoud; verloren gaan alleen schrijfacties uit ongeveer de laatste seconde.
- Onderhoudbaarheid. De protocollaag, de FUSE-interface en de NTFS-engine zitten in één codebase. Een probleem in de koppellaag is dus direct te herleiden en te verhelpen, zonder te wachten op de releaseplanning van een externe partij.
23 s versus 797 s
381 MB met FUSE-T
gemeten op een USB-SSD
allemaal geslaagd op macOS 12
1 Achtergrond2 Architectuur3 Prestaties4 Geheugen5 macOS-gedrag6 Foutafhandeling7 Testmethode8 Beperkingen9 ConclusieFAQ
1Achtergrond
Sinds macOS 11 moet je voor het laden van een kernelextensie opstarten in macOS-herstel en de Mac op Verminderde beveiliging zetten. Voor software voor gewone gebruikers is die route niet meer werkbaar. Er zijn twee manieren om buiten de kernel te blijven: FSKit van Apple (beschikbaar vanaf macOS 15.4 en gebruikt voor "Driver 2" van NTFSTool) en de NFS-client die in macOS zit. Bij de tweede aanpak draait er een NFS-server op de Mac zelf, die bestandssysteembewerkingen omzet in aanroepen naar een driver in userspace en het resultaat koppelt met mount_nfs. FUSE-T werkt zo en is de meest volwassen implementatie ervan; het is de referentie voor elke vergelijking in dit artikel.
We hebben deze laag om drie technische redenen zelf gebouwd:
- Installatie. FUSE-T is een apart onderdeel. Het moet bij het eerste gebruik worden geïnstalleerd met een beheerderswachtwoord, wat een extra stap is en een extra plek waar iets mis kan gaan.
- Oplosbaarheid. Een koppellaag van een externe partij wordt als binary geleverd. Problemen daarmee, zoals trage weergave van grote mappen of groeiend geheugengebruik, kunnen we reproduceren, maar alleen de maker kan ze verhelpen.
- Gedrag. Een algemene koppellaag weet niets van NTFS. Hoofdlettergevoeligheid, de attributen voor verborgen en alleen-lezen en de plek waar uitgebreide attributen worden opgeslagen, zijn alleen goed af te handelen samen met de engine van het bestandssysteem.
2Architectuur
OpenMacFUSE wordt als statische bibliotheek in de driver gelinkt. Zodra de driver start, luistert hij op een lokaal eindpunt binnen zijn eigen proces en roept daarna mount_nfs van het systeem aan. Elk COMPOUND-verzoek van de NFS-client in de kernel wordt gedecodeerd, doorgegeven aan de FUSE-callbacks en beantwoord binnen datzelfde proces. Er is geen tweede proces en onderweg wordt niets extra gekopieerd of van context gewisseld.
Transport en koppelopties
macOS 26 en nieuwer gebruiken een Unix-domeinsocket (proto=ticotsord). Er wordt geen poort geopend en andere gebruikers op de Mac kunnen geen verbinding maken. De kernelclient in macOS 12 faalt bij grote schrijfacties over dat transport, dus oudere macOS-versies vallen terug op TCP op 127.0.0.1, met twee controles aan de serverkant dat de verbinding van de lokale koppeling komt. Dit zijn de opties die het systeem meldde na het koppelen op macOS 27:
$ nfsstat -m <mount point> NFS parameters: vers=4.0,ticotsord,port=/var/folders/…/openmacfuse.P1wAL0/s,hard,intr, noresvport,nocallback,negnamecache,nonamedattr,noacl,noaclonly,locks,noquota, rsize=262144,wsize=262144,readahead=16,dsize=32768,nordirplus,nodumbtimer, timeo=10,maxgroups=16,…,deadtimeout=60
nonamedattr is de standaardwaarde van de systeemclient en bepaalt hoe uitgebreide attributen worden verwerkt (zie sectie 5). nordirplus is onze eigen keuze; de prijs daarvan staat in sectie 8.Ontwerpkeuzes
- Een begrensde knooptabel. Een bestandshandle is geen verwijzing naar een object in het geheugen. De knooptabel heeft een maximale grootte, en een handle waarvan de knoop is verwijderd, wordt bij het volgende gebruik opnieuw via het pad opgelost. In een test hebben we de limiet verlaagd naar 64 items en 301 keer achter elkaar hernoemd; alle 7.839 toegangen via oude handles zijn hersteld en geen enkele gaf
NFS4ERR_STALE. Daarom groeit het geheugengebruik niet mee met het aantal bestanden. - Cache voor dubbele verzoeken. De client stuurt een verzoek opnieuw na een time-out. Bij niet-idempotente bewerkingen zoals CREATE, REMOVE en RENAME bewaart de server recente antwoorden en beantwoordt een herhaald verzoek uit die cache, in plaats van de bewerking nog eens uit te voeren. In een test hebben we voor elk van zes soorten bewerkingen één antwoord laten wegvallen; elke bewerking is precies één keer uitgevoerd.
- Geen named attributes. NFSv4 named attributes zijn het logische protocolonderdeel voor uitgebreide attributen, maar de NFS-client in de macOS-kernel heeft op dat pad een fout waardoor het systeem crasht. We liepen er tijdens de ontwikkeling tegenaan op macOS 27.0.1 en 12.7.6. OpenMacFUSE blijft daarom op het pad dat de client het meest gebruikt, en named attributes blijven uitgeschakeld.
3Prestaties
OpenMacFUSE is 6 tot 35 keer sneller dan FUSE-T 1.0.49 bij taken met veel metadata en even snel bij sequentieel lezen en schrijven op echte USB-schijven. Methode: dezelfde Mac, hetzelfde volume-image en dezelfde broncode van de NTFS-engine, één keer gelinkt met OpenMacFUSE en één keer met FUSE-T 1.0.49. Het image staat op de interne SSD en de I/O loopt via de paginacache van het systeem, dus Afbeelding 3 meet de overhead van de koppellaag plus de engine, niet van de schijf. Resultaten op echte schijven staan apart in Tabel 1.
OpenMacFUSE
FUSE-T 1.0.49| Tabel 1 · Echte USB-schijven | OpenMacFUSE | FUSE-T |
|---|---|---|
| SSD, sequentieel schrijven 4,5 GB | 293–313 MB/s | 300 MB/s |
| SSD, koud lezen | 245–251 MB/s | 236–241 MB/s |
| SSD, mapstructuur doorlopen | 0,25–0,30 s | 4,1–4,6 s |
| SSD, 2.000 kleine bestanden verwijderen | 0,82–0,86 s | 8,4–9,7 s |
| Harde schijf, sequentieel schrijven / lezen | 70 / 97 MB/s | 74 / 93 MB/s |
SSD gemeten op Apple M2 / macOS 27; harde schijf op Intel i7 / macOS 12.7. De sequentiële doorvoer wordt begrensd door de USB-verbinding en de schijf zelf; de verschillen vallen binnen de meetruis.
Eén resultaat weggelaten: kleine bestanden maken. Na deze benchmarks is de standaardstrategie voor flushen van OpenMacFUSE voorzichtiger gemaakt (sectie 6), waardoor het maken van kleine bestanden ongeveer twee keer zo traag werd. De vergelijking met FUSE-T op echte schijven is niet herhaald met de nieuwe strategie, en de oude cijfers noemen we pas weer als dat is gebeurd.
4Geheugen
OpenMacFUSE blijft op 45–51 MB fysiek geheugen, ongeacht de belasting of hoe lang het draait; FUSE-T gebruikte in dezelfde tests 200 MB tot 1 GB. Alle waarden zijn de fysieke footprint, dezelfde maat als de kolom Geheugen in Activiteitenweergave. Bij OpenMacFUSE is dat het ene driverproces; bij FUSE-T het driverproces plus het NFS-serverproces. Beide bevatten ongeveer 35 MB blokcache die bij de NTFS-engine hoort.
5macOS-gedrag
OpenMacFUSE houdt ._-bestanden van de schijf af en zet NTFS-attributen om naar hun macOS-tegenhangers.
._-bestanden.AppleDouble
De NFS-client van macOS gebruikt standaard geen named attributes. Hij verpakt de uitgebreide attributen, de resource fork en de Finder-info van een bestand in een AppleDouble-bestand met de naam ._bestandsnaam en stuurt dat met gewone OPEN- en WRITE-bewerkingen naar de server. Slaat de server wat hij ontvangt gewoon op, dan belanden die bestanden op de schijf en verschijnen ze in Windows als rommel.
Dit viel meer op vanaf macOS 26: het systeem voegt aan elk nieuw bestand een com.apple.provenance-attribuut toe, zodat bij elk bestand ook een ._-bestand hoort. Een dataset van 40.000 kleine bestanden die via FUSE-T werd geschreven, liet 40.048 extra ._-bestanden op de schijf achter. Een git-repository op het volume toonde 48 niet-gevolgde bestanden en git fsck meldde 67 fouten.
OpenMacFUSE herkent op de server toegang tot ._-bestanden, leest de AppleDouble-inhoud uit en schrijft elk attribuut naar een NTFS alternate data stream van het hoofdbestand. Bij het lezen bouwt hij het AppleDouble-bestand op aanvraag opnieuw op. Er wordt geen apart bestand op de schijf gemaakt en er verschijnt er ook geen in mapoverzichten. Staan er op een schijf al ._-bestanden, dan worden die verborgen en wordt elk ervan naar de data stream verplaatst zodra het bijbehorende hoofdbestand weer wordt gewijzigd.
De prijs is het filteren bij het weergeven van mappen: de eerste weergave van een map met 40.000 items gaat van 1,4 s naar 3,6 s. Wij vinden dat een redelijke afweging.
Overig gedrag
| Functie | Gedrag van OpenMacFUSE | Waargenomen bij FUSE-T |
|---|---|---|
| Hoofdletters in bestandsnamen | Standaard niet hoofdlettergevoelig maar wel hoofdletterbehoudend, zoals in Windows. Bevat het volume al namen die alleen in hoofdletters verschillen, dan schakelt het volume automatisch over op hoofdlettergevoelig | Hoofdlettergevoelig |
| Unicode-normalisatie | De NFC- en NFD-vorm van een naam leiden naar hetzelfde bestand (letters met accenten, Koreaans) | Niet getest |
| Attribuut Verborgen | De NTFS-bit HIDDEN en de vlag voor verborgen items van Finder worden in beide richtingen omgezet | Niet omgezet |
| Attribuut Alleen-lezen | De NTFS-bit READONLY maakt het bestand in macOS niet beschrijfbaar | Niet overgenomen |
| Aanmaaktijd | stat -f %B geeft de op schijf opgeslagen aanmaaktijd terug | Altijd 0 |
| Byte-range locks | Ondersteund; SQLite-databases kunnen rechtstreeks op het volume worden geopend | Niet getest |
6Foutafhandeling
Externe schijven worden zonder waarschuwing losgetrokken. Dat is gewoon gebruik, geen uitzonderlijk geval, en OpenMacFUSE heeft drie mechanismen die dan de koppeling opruimen. Een koppellaag op basis van NFS heeft één inherent risico: de koppeling is hard, dus zodra de server niet meer antwoordt, belandt elk proces dat het volume aanraakt in een niet-onderbreekbare wachtstand en reageert Finder niet meer. De koppellaag moet garanderen dat altijd iets het koppelpunt opruimt:
- Detectie van apparaatverlies. Een apparaatfout bij I/O wordt direct afgehandeld; in rust wordt het apparaatknooppunt eens per seconde gecontroleerd via IOKit. Zodra het verlies vaststaat, mislukken openstaande verzoeken met een foutmelding, wordt het volume geforceerd ontkoppeld en stopt het proces.
- Watchdog. Is er een verzoek bezig en gebeurt er 30 seconden niets, dan geldt de driver als vastgelopen en ontkoppelt hij het volume en stopt hij op dezelfde manier.
- Bewakingsproces. Als de driver zelf crasht of wordt beëindigd, ruimt een klein apart proces het koppelpunt op. Zonder dit proces ruimt het systeem pas na ongeveer 70 seconden zelf op (
deadtimeout) en zijn processen die het volume aanraken tot die tijd niet te onderbreken.
== stroomuitval: B-write1 (belasting: schrijven, na de wijzigingen, NTFSTOOL_DRIVER_FSYNC=bounded) - na de uitval: schrijffout na 0,19 s; koppelpunt weg na 0,21 s; driver gestopt na 0,45 s; niet-onderbreekbare processen: 0 [pass] van stroomuitval tot volledig herstel 0,45 s (limiet 10 s) - 303 bestanden gefsynct; laatste fsync-terugkeer tot detectie van apparaatverlies 0,081 s [pass] koppelt na de uitval zonder ntfsfix (0,33 s)
Consistentie na stroomuitval
Na stroomuitval tijdens het schrijven koppelt het volume nu in elke testrun zonder reparatieprogramma, en komt geen enkel bestand terug met een verkeerde inhoud. De koppellaag kan twee dingen beïnvloeden: of het volume zonder reparatieprogramma wordt gekoppeld zodra de voeding terug is, en hoeveel van de schrijfacties die al aan de app waren bevestigd behouden blijven. OpenMacFUSE past hier drie dingen aan:
- Volgorde van schrijven. Bestandsgegevens komen op het apparaat vóór de metadata die ernaar verwijst. Zonder deze volgorde leverden vier van de vijf runs met stroomuitval bestanden met een verkeerde inhoud op; met deze volgorde geen enkele.
- Begrensde cache-flush. Bij de standaardstrategie keert
fsyncterug zodra de gegevens naar het apparaat zijn geschreven, en leegt een achtergrondthread de eigen schrijfcache van de schijf binnen één seconde. Bij elke aanroep synchroon flushen beperkt het verlies tot hooguit één bestand per run, maar maakt het schrijven van kleine bestanden 13 tot 23 keer trager; die variant blijft als optie beschikbaar. - Zelfherstel bij het koppelen. Een veelvoorkomend gevolg van stroomuitval is een verschil tussen
$MFTen$MFTMirr; de specificatie schrijft dan voor dat het volume niet mag worden gekoppeld. OpenMacFUSE controleert en herstelt dit tijdens het koppelen, zodat je niet eerst een reparatieprogramma hoeft te draaien.
| USB-SSD, stroomuitval tijdens het schrijven | Vóór de wijzigingen | Erna (standaardstrategie) |
|---|---|---|
| Te koppelen zonder reparatieprogramma zodra de voeding terug is | 3 van 5 runs mislukten door een verschil in $MFTMirr | Elke run |
| Verloren bevestigde bestanden per run | 12–19 | 1–27, allemaal geschreven in ongeveer de laatste seconde |
| Bestanden met een verkeerde inhoud | Sommige bestanden kwamen terug als louter nullen | 0 |
“Vóór de wijzigingen” is het gedrag van de engine vóór dit werk; dezelfde engine, via FUSE-T gekoppeld, gaf dezelfde resultaten. Geen enkel bestandssysteem kan de gegevens van het allerlaatste moment garanderen als een draagbare schijf zonder batterij midden in het schrijven zonder stroom komt te zitten. Het doel is het verlies te beperken tot de meest recente schrijfacties en de structuur van het volume intact te laten.
7Testmethode
| Onderdeel | Toelichting |
|---|---|
| Hardware | MacBook Pro (Intel i7-4770HQ, 16 GB, macOS 12.7.6); Mac (Apple M2, 24 GB, macOS 27.0.1); 120 GB USB-SSD, 1 TB USB-harde schijf, USB-stick |
| Vergelijking | Dezelfde Mac, hetzelfde image, dezelfde broncode van de NTFS-engine; alleen de koppellaag verschilt. FUSE-T versie 1.0.49 |
| Tijdmeting | Bij schrijfmetingen is sync inbegrepen; sequentiële leesmetingen draaien na ontkoppelen en opnieuw koppelen, om de clientcache te omzeilen |
| Geheugen | ri_phys_footprint uit proc_pid_rusage, met intervallen van 0,2 s |
| Loskoppelen en stroomuitval | Een relais schakelt de 5 V-USB-voeding uit zonder eerst te ontkoppelen. Zodra de voeding terug is, wordt de volumestructuur alleen-lezen gecontroleerd, daarna wordt het volume zonder reparatie gekoppeld en wordt elk bestand vergeleken |
| Correctheid | 300 s willekeurige lees-/schrijfvergelijking (692.000 bewerkingen, 0 verschillen); 8 gelijktijdige schrijvers plus 2 recursieve mapweergaven; volumestructuur gecontroleerd na elke run |
| Regressie | 15 scriptsuites met 869 controles voor NTFS-lezen/schrijven, macOS-gedrag en ext-, exFAT- en BitLocker-volumes, plus foutinjectie: loskoppelen, geforceerd beëindigen, vastlopen en time-out van de handshake bij het koppelen |
07:29:09 [pass] gekoppeld 07:29:10 [pass] groot bestand geschreven 07:29:12 [pass] kleine bestanden geschreven 07:29:13 [pass] MD5 van groot bestand klopt 07:29:13 [pass] alle MD5's van kleine bestanden kloppen 07:29:13 [pass] hernoemen / toevoegen / inkorten / verwijderen 07:29:13 [pass] openen zonder hoofdlettergevoeligheid 07:29:13 [pass] geen ._-bestanden in de lijst 07:29:13 [pass] uitgebreide attributen lezen en schrijven 07:29:15 [pass] normaal ontkoppeld 07:29:15 [pass] driver gestopt 07:29:15 [pass] bewakingsproces gestopt
8Beperkingen
- macOS-versies in de regressietests. De volledige geautomatiseerde regressiesuite draait nu op macOS 12.7 (Intel) en macOS 27 (Apple silicon); andere versies worden nog toegevoegd. De eerste regressieronde op macOS 27 bracht drie problemen aan het licht die op macOS 12 niet voorkomen; alle drie zijn inmiddels verholpen.
- Reikwijdte van de vergelijking. Elk cijfer voor FUSE-T komt van onze eigen twee Macs en alleen van versie 1.0.49. “Niet getest” betekent niet dat een functie niet wordt ondersteund.
- Fouten in de kernelclient zijn in userspace niet te omzeilen. Een koppeling van dit type kan niet stabieler zijn dan de NFS-client van macOS. We vermijden de twee paden waarvan bekend is dat ze falen (named attributes en opnieuw verbinden na een time-out van de handshake bij het koppelen), maar kunnen andere niet uitsluiten.
- macOS behandelt deze volumes als netwerkvolumes. Er is geen Prullenmand en Spotlight indexeert ze niet. Bij FUSE-T is dat hetzelfde; het hoort bij deze aanpak.
- Zeer grote mappen. Finder heeft ongeveer 74 s nodig om een map met meer dan 40.000 items voor het eerst te openen. Het knelpunt is de manier waarop Finder attributen per item ophaalt, en die is bij beide koppellagen gelijk.
- De schrijfvolgorde bij verwijderen heeft nog niet dezelfde aanpak gekregen als die bij schrijven. Na stroomuitval is er een kleine kans dat nieuwe gegevens, geschreven in ruimte die net door een verwijderd bestand is vrijgekomen, worden aangetast.
9Conclusie
OpenMacFUSE is de standaard koppellaag voor Driver 1 in NTFSTool Pro; NTFS-, ext-, exFAT- en BitLocker-volumes worden er allemaal mee gekoppeld. Het loont om de koppellaag in een eigen codebase te houden, op vier punten:
- Zelf ontwikkeld. RPC, XDR, de NFSv4.0-statusmachine en de FUSE-interface zijn allemaal onze eigen implementatie. Er is geen koppelonderdeel van een externe partij en er hoeft niets extra te worden geïnstalleerd.
- Prestaties. Verzoeken worden binnen één proces afgehandeld. Metadatabewerkingen gaan 6 tot 35 keer sneller dan met FUSE-T en het geheugengebruik is een zesde tot een twintigste.
- Betrouwbaarheid. Een losgetrokken schijf, een vastgelopen driver en een beëindigd proces hebben elk hun eigen afsluitmechanisme, en na stroomuitval wordt het volume gewoon weer gekoppeld.
- Onderhoudbaarheid. 869 geautomatiseerde controles dekken zowel normale paden als foutinjectie, zodat een probleem in één codebase kan worden gereproduceerd, getraceerd, verholpen en opnieuw getest.
FAQ
- Wat is OpenMacFUSE?
- OpenMacFUSE is de open-source koppellaag in userspace die NTFSTool heeft ontwikkeld en die in NTFSTool Pro is ingebouwd. Hij koppelt NTFS-, ext-, exFAT- en BitLocker-volumes op macOS. Het is een NFSv4.0-server die in het driverproces draait en geen kernelextensie gebruikt.
- Moet ik macFUSE of FUSE-T installeren om NTFSTool Pro te gebruiken?
- Nee. OpenMacFUSE, de eigen koppellaag van NTFSTool, zit in NTFSTool Pro. Hij is niet afhankelijk van macFUSE, FUSE-T of een kernelextensie, en je hoeft nooit op te starten in macOS-herstel om de beveiligingsinstellingen van je Mac te verlagen.
- Hoe presteert OpenMacFUSE vergeleken met FUSE-T?
- Op dezelfde Mac met dezelfde NTFS-engine duurt een checksum van elk bestand op een volume 23 s met OpenMacFUSE tegenover 797 s met FUSE-T, en 10.000 kleine bestanden verwijderen gaat 6 tot 9 keer sneller. Sequentieel lezen en schrijven van grote bestanden op echte USB-schijven is even snel. Het geheugengebruik van OpenMacFUSE blijft op 45 tot 51 MB, tegenover 200 MB tot 1 GB bij FUSE-T.
- Wat gebeurt er als ik een schijf loskoppel tijdens het schrijven?
- De OpenMacFUSE-driver ontkoppelt het volume en stopt zelf binnen ongeveer 0,5 s, zodat Finder en andere apps niet blijven hangen. Als je de schijf weer aansluit, wordt het volume gewoon gekoppeld. Schrijfacties uit ongeveer de laatste seconde voor het wegvallen van de stroom kunnen ontbreken; de inhoud van andere bestanden blijft ongewijzigd.
- Waarom heeft NTFSTool een eigen koppellaag geschreven in plaats van een open-sourceonderdeel of onderdeel van een andere partij te gebruiken?
- De koppellaag bepaalt de snelheid, het geheugengebruik en wat er gebeurt als iets misgaat. Met een eigen implementatie kan NTFSTool problemen in één codebase traceren en verhelpen, en wordt NTFS-specifiek gedrag (hoofdlettergevoeligheid, de attributen Verborgen en Alleen-lezen, uitgebreide attributen) samen met de engine van het bestandssysteem afgehandeld.
- Is OpenMacFUSE een open-sourceproject?
- Ja. OpenMacFUSE is een open-sourceproject onder de MIT-licentie en de code staat op GitHub: ntfstool/openmacfuse. Elk FUSE 2.x-bestandssysteem kan eraan worden gelinkt.
Alle gegevens in dit artikel zijn gemeten door het technische team van NTFSTool; de testmethode staat in sectie 7. FUSE-T is een project van de maker ervan en heeft geen band met NTFSTool. OpenMacFUSE is een zelfstandig project en heeft geen band met macFUSE of de makers ervan.