faxl

Comment fonctionne faxl

À chaque tour, un agent renvoie toute la conversation. Un cache de prefill évite au modèle de retraiter ce qu'il a déjà lu. faxl est un cache de prefill, construit différemment.

faxl est un proxy. Vos agents parlent à faxl, faxl parle à vos modèles, et l'état enregistré reste sur un disque qui vous appartient.

agents / utilisateurs proxy faxl compare + vérifie vos modèles prompts état, tokens état enregistré, sur votre disque
Un seul proxy, de nombreux clients. L'état qui serait sinon jeté est écrit sur un disque que vous contrôlez.

Sur SSD, pas dans la mémoire du GPU

La plupart des caches vivent dans la mémoire du GPU, qui est petite et chère : les entrées en sont évincées en quelques minutes. faxl les garde sur SSD, où l'on compte en téraoctets. Les tâches d'agents quotidiennes lancées par cron trouvent donc toujours un cache chaud.

Survit aux redémarrages

Un cache en mémoire GPU disparaît quand le serveur s'arrête. Celui de faxl est toujours là après un redémarrage ou un changement de modèle. Utilisez un modèle de vision, puis revenez au code : le cache est chaud pour les deux.

Fonctionne avec les modèles hybrides

Granite, Kimi Linear, Qwen3.8 et Ling mélangent des couches d'attention et des couches récurrentes. Les caches ordinaires ne peuvent pas enregistrer leur état. faxl le peut. Les modèles les plus récents et les plus efficaces sont ceux que vous pouvez faire tourner.

Met aussi la réponse en cache

faxl enregistre la réponse au fur et à mesure qu'elle est livrée, si bien que le tour suivant démarre à chaud. Les longues conversations restent rapides au lieu de ralentir.

Des dossiers avec quotas

Répartissez le cache en dossiers, chacun avec sa propre limite de taille. Un projet très actif ne peut pas évincer le travail d'un autre.

Tout est visible

La console affiche chaque requête : succès ou échec du cache, tokens sautés, délai avant la première réponse. Vous réglez le cache à partir de faits plutôt qu'à l'intuition.

Obtenir faxl →