Docker Model Runner Adds vLLM Support on macOS | Docker - erstmal nur gemerkt, das könnte später interessant werden, weil ich darüber Modelle über Docker mit vllm betreiben kann, bei gleichzeitiger Nutzung von Apple Silicon. Interessant daran ist hier, dass es als Docker Image fertig konfiguriert kommt und ich mich nicht mit Setup rumschlagen muss. Im Moment arbeite ich ja eher mit meinem eigenen rfc1437/MLXServer: a simple MLX based server for small models to run locally, einfach weil ich es eh nur für den Offline-Betrieb brauche, aber für später könnte vllm-metal sehr spannend sein.