faxl

faxl

naviguez aux frontières

cache de prefill évolué sur disque, pour mac & nvidia

Obtenir faxl — gratuit

Cache de prefill

faxl met le cache de prefill sur SSD

Nous avons développé une technologie de cache pour l'IA locale qui déplace le cache de prefill sur SSD. Ce cache est peu coûteux et efficace, il survit aux redémarrages, il convient aux tâches d'agents longues et périodiques, et il vous aide à maîtriser votre consommation de tokens. Souvent, l'IA locale cesse ainsi d'être une expérience amusante et devient un outil qui fait du vrai travail.

La console faxl sur un Mac : 838k des 923k tokens de prompt servis depuis le cache (90,9 %), taux de succès du cache de 80,6 % sur 67 requêtes, un graphique cumulé des tokens reçus et servis depuis le cache sur une heure, et un tableau de requêtes en direct avec des prompts de 24k à 28k tokens repris depuis le cache.
faxl est livré avec une console qui vous aide à régler et à suivre votre cache. Voici notre console sur Mac.

Pourquoi faxl

Qu'est-ce qu'un agent ?

Sans que vous le voyiez, un agent IA est fait de centaines de prompts conçus à la main. Ils définissent sa personnalité, son code moral. Son âme. Chaque prompt que vous envoyez est enveloppé dans ce gabarit. « Bonjour Hal » peut consommer 100k tokens. L'automatisation par agents fait grossir les gabarits : il faut des prompts plus gros pour obtenir des résultats réguliers. Exemples, compétences, connaissances métier, historique compacté, règles, guides de style, rappels — tout cela entoure chacun de vos appels.

Le coût

L'IA locale a besoin d'un bon cache de prefill

Sur un matériel limité, l'IA locale peut être lente. Pour l'accélérer, il faut mettre en cache tous ces gabarits. C'est ce qu'on appelle un « cache de prefill » — il réduit jusqu'à 90 % le délai avant le premier token et l'effort du GPU. Les caches de prefill actuels sont conçus pour des GPU de datacentre dotés d'énormes quantités de RAM, mais faxl est conçu pour vous. Il stocke le cache sur le disque local.

Le disque ne coûte pas cher, et mettre le cache sur disque vous donne un contrôle direct sur lui.

faxl

La pièce manquante

faxl est le logiciel qu'il vous faut pour faire tourner votre propre couche de cache devant vos propres modèles. Sur une session de code avec un agent, il saute 98 % des tokens de prompt et termine toute la session 4,4× plus vite, avec un résultat identique octet pour octet. Vous le gérez comme vous l'entendez. Il vous permet de quitter les services cloud et de passer au privé.

Mesures

Ce que ça donne sur du trafic réel

98 % des tokens de prompt sautés sur une session de code de huit tours avec un agent
4,4× plus vite de bout en bout — la même session, de 77,0 s à froid à 17,6 s à chaud
8/8 réponses identiques octet pour octet à l'exécution sans cache, à température 0

Mesuré le 9 octobre 2026 sur un MacBook Pro 128 Go (M3 Max), avec Qwen3.6-35B-A3B-4bit : huit tours d'un agent qui lit des fichiers, cherche, lance des tests et modifie du code, les résultats des outils étant reportés d'un tour à l'autre. Le test à froid part d'un stockage vidé juste avant, ce qui correspond au coût réel d'une toute première session. Répété avec Qwen3.8-Flash-Next-OptiQ-2bit : 98,1 % sautés, 3,1× plus vite, 8/8 identiques. Votre résultat dépend de la part de vos prompts qui se répète. faxl aide quand les prompts partagent de longs préfixes : prompts système, préambules RAG, questions-réponses sur documents, boucles d'agents. Si ce n'est pas votre cas, faxl vous donne les analyses pour savoir comment réorganiser vos prompts d'agents — les concevoir avec méthode et reprendre la main sur vos performances.

Aujourd'hui

Apple silicon aujourd'hui, NVIDIA ensuite

faxl tourne sur un Mac équipé d'une puce de la série M, via MLX — y compris sur un Mac Studio que vous avez déjà acheté et dont vous n'exploitez pas toute la puissance. Il fonctionne aussi sur plusieurs Mac reliés en Thunderbolt, ce qui permet de faire tourner un modèle trop gros pour une seule machine. Le portage NVIDIA/vLLM passe les mêmes tests d'identité octet pour octet sur GPU.

Gratuit pour un usage non commercial : une licence nominative, valable 3 mois, renouvelée gratuitement en vous réinscrivant.

Obtenir faxl — gratuit