rfc1437/MLXServer: a simple MLX based server for small models to run locally ist ein Tool, das ich mir (KI-gestützt) gebaut habe, um kleine Modelle direkt lokal auszuführen, ohne großen Ballast. Das frisst nicht viel Speicher, hat gleich einen lokalen Chat eingebaut für eigene Experimente und fühlt sich für mich deutlich praktischer an als die großen Alternativen - weniger Knöpfe zum Einstellen, aber dadurch auch weniger Verwirrung. Ich will ja einfach nur ein kleines Modell lokal betreiben für mein Blog on-the-road.