faxl

Plusieurs Mac, un seul moteur

faxl tourne sur un Mac via MLX. Il tourne aussi sur plusieurs machines Apple silicon, avec exo comme moteur d'exécution : le logiciel open source de exo labs qui relie vos appareils en cluster d'IA. Même produit, même clé de licence : il n'existe pas d'édition faxl distincte pour cela.

Pourquoi

Trois raisons d'utiliser plus d'une machine

Les modèles qui ne tiennent pas. Un modèle de 700 Go ne tourne pas sur un seul Mac. Sur un cluster, si, et c'est la seule façon concrète d'en faire tourner un sur Apple silicon.

De la vitesse, pas seulement de la capacité. exo répartit un modèle sur plusieurs appareils, et annonce jusqu'à 1,8× sur deux appareils et 3,2× sur quatre. Avec RDMA sur Thunderbolt 5, il annonce une latence entre machines réduite de 99 % : ajouter du matériel permet donc de faire tourner de meilleurs modèles avec une latence plus faible. Ce sont les chiffres publiés par exo, pas les nôtres.

Des machines que vous avez déjà. Un Mac Studio sous un bureau, un M4 mini sur une étagère, un portable inutilisé la nuit : un seul serveur d'inférence plutôt que trois ordinateurs sous-employés. exo les découvre automatiquement et détermine lui-même comment répartir le modèle.

Le partage des tâches

Appelez faxl, et vous atteignez votre cluster exo

Vous pointez votre client vers faxl, exactement comme avec une seule machine. Derrière, exo met en cluster vos Mac Apple silicon et fait tourner le modèle sur l'ensemble, pendant que faxl garde tout ce qu'il maîtrise déjà : le template de chat, la recherche, la vérification octet pour octet, le placement des checkpoints, le store, la console et la licence.

faxl se branche sur le point d'entrée prefill d'exo, de sorte qu'exo utilise le cache de faxl. Le moteur de cache de faxl est conçu pour réutiliser un maximum de tokens, y compris dans les cas limites où le cache de préfixe classique abandonne.

Un meilleur cache

Modèles complexes, prompts complexes, et disque bon marché

Architectures hybrides, prises en charge intelligemment. Les modèles hybrides sont plus difficiles à mettre en cache que les modèles classiques, et faxl réduit le coût de leur exécution : KDA avec MLA à portes, KDA enveloppé dans du MoE avec MLA façon DeepSeek, et modèles bailing_hybrid comme Ling 3.0.

Il n'y a pas que les modèles complexes : il y a aussi les prompts complexes. Prenez le travail sur les images. Votre prompt peut contenir des images d'exemple avec leurs sorties, pour apprendre au modèle à traiter l'image de l'utilisateur. faxl met en cache le prompt et ses exemples, et ne traite comme nouveaux tokens que la nouvelle image. Le matériel pédagogique n'est payé qu'une fois.

Les caches vivent sur un disque bon marché, ils sont donc encore là la semaine prochaine. C'est ce qui change ce qui est possible. faxl range son cache sur un disque local ou un NAS peu coûteux au lieu de le garder en RAM : les workflows agentiques longs et peu fréquents profitent du cache sans courir contre une politique d'éviction.

Les rapports ad hoc sur vos propres bases de données en sont l'exemple le plus clair. Chaque question relit le schéma de la base, des milliers de lignes, puis transforme votre question en vingt lignes de SQL. Gardez ce schéma sur disque et le délai avant le premier token passe de plusieurs minutes à quelques secondes, même si vous ne posez une question que toutes les deux semaines.

L'essentiel

Le cache survit au départ d'une machine

Le cache d'exo vit en RAM, nœud par nœud, et n'est jamais écrit sur disque. Tout changement dans le cluster (un nœud qui tombe, un nœud qui arrive, un travail placé autrement) arrête les processus runner, et le cache avec eux.

C'est pourtant la vie normale d'un cluster. Les machines vont et viennent : quelqu'un ferme un portable, un câble est débranché, une machine redémarre. Sur un gros modèle, refaire le prefill à froid après chacun de ces événements est ruineux.

Le store de faxl est sur disque et survit aux runners. Quand le cluster change de forme, la session reprend à chaud au lieu de repartir de zéro. Cet écart est la raison de placer faxl devant exo plutôt que d'utiliser exo seul.

Ce qu'il vous faut

Prérequis

Machines
Deux Mac Apple silicon ou plus. Ils peuvent être de modèles et de tailles de mémoire différents.
Réseau
Thunderbolt entre les machines. exo fonctionne aussi sur un réseau ordinaire, mais l'état échangé entre nœuds est volumineux et c'est la liaison que vous sentirez.
Pour RDMA (facultatif, le plus rapide)
Thunderbolt 5 et macOS 26.2. exo l'indique comme fonctionnel sur le Mac mini M4 Pro, le Mac Studio M4 Max, le MacBook Pro M4 Max et le Mac Studio M3 Ultra. Il s'active une fois par machine depuis le mode de récupération, les câbles doivent prendre en charge TB5, et chaque nœud doit être relié à tous les autres. Le README d'exo donne la marche à suivre et les précautions.
Mémoire
Assez de mémoire unifiée cumulée pour contenir le modèle. C'est ce qui détermine les modèles que peut faire tourner un ensemble de machines donné.
Chaîne d'outils
Xcode 26 complet, plus xcodebuild -downloadComponent MetalToolchain. Les Command Line Tools n'embarquent de compilateur Metal dans aucune version, ce qui est la cause la plus fréquente d'échec de build d'un cluster.
Python
3.12, comme sur une seule machine.
Licence
La même clé gratuite que pour l'installation sur une seule machine. Collez-la dans la console, sur la machine qui exécute faxl.

Avant de commencer

Notes d'installation

Installez d'abord exo, en suivant ses propres instructions. exo est un projet open source distinct, et son README fait foi pour l'installer, y compris pour activer RDMA : c'est une étape unique en mode de récupération, avec des précautions à lire avant de commencer. Obtenez un cluster qui répond seul avant de mettre faxl devant.

exo a besoin de ses propres dépendances figées. Il ne tourne pas sur le mlx-lm standard, et sur macOS il attend sa propre branche de mlx. Installez-le dans son propre environnement et ne substituez pas les paquets standard : faxl est construit et testé avec les versions qu'exo fige.

Désactivez le cache de préfixe d'exo. Définissez EXO_PREFIX_CACHE=0. Deux caches sur le même chemin ne vont pas deux fois plus vite : ce sont deux réponses à la même question, et une seule est vérifiée.

Commencez avec une seule machine. Faites d'abord fonctionner faxl sur un seul Mac et vérifiez dans la console que vous obtenez des succès du cache. Un cluster ajoute placement, transport et topologie à tout ce qui est déjà défaillant, et chacun de ces éléments a l'air d'un problème de cache.

Regardez la console, pas la montre. Un échec qui retombe discrètement sur un prefill local renvoie une réponse correcte et, sur une machine rapide, peut ressembler à un succès. La console indique ce qui s'est réellement passé : fiez-vous à elle plutôt qu'à un chronomètre.

État

Où en est-on aujourd'hui

faxl sur une seule machine est ce qui est livré aujourd'hui dans le wheel, et c'est ce que couvre la page d'installation. La prise en charge des clusters est en cours de finalisation : le travail sur le moteur est terminé et éprouvé, et il est en train d'être intégré au build.

Si vous avez plusieurs Mac et voulez passer parmi les premiers, dites-nous ce que vous avez : modèles de machines, mémoire, et le modèle que vous voulez faire tourner. Ce sont des descriptions de matériel réel qui décident de l'ordre dans lequel ce travail arrive.