waybarrios/vllm-mlx: OpenAI and Anthropic compatible server for Apple Silicon. Den benutze ich, um mlx-community/gemma-3-12b-it-4bit auf meinem MacBook Air zu betreiben. Klappt sehr gut, kleines Shell-Script zum Starten des Servers und dann bin ich autonom. Nicht so komfortabel wie Ollama, aber dafür unterstützt es perfekt Apple's MLX und nutzt damit Silicon gut aus.