waybarrios/vllm-mlx: OpenAI and Anthropic compatible server for Apple Silicon. Den benutze ich, um mlx-community/gemma-3-12b-it-4bit auf meinem MacBook Air zu betreiben. Klappt sehr gut, kleines Shell-Script zum Starten des Servers und dann bin ich autonom. Nicht so komfortabel wie Ollama, aber dafür unterstützt es perfekt Apple's MLX und nutzt damit Silicon gut aus.
llm
mlx-community/gemma-3-12b-it-4bit · Hugging Face ist das bisher beste Modell für lokalen Betrieb, mit dem ich die Bildbetitelung und sogar lokalen Chat realisieren kann. Nicht das schnellste, da es schon recht groß ist, aber für Offline-Betrieb absolut geeignet, wenn ich mir da ein paar Mechanismen für Batchverarbeitung von Bildern etc. einfallen lasse. Das könnte gerade für Urlaubszeiten super spannend sein. Eine Bildbeschreibung liegt dann zwar bei einer Minute, aber hey, dafür keine Abhängigkeiten.
Models.dev — An open-source database of AI models ist eine sehr praktische Seite, die für alle möglichen Anbieter und alle möglichen LLMs Rahmenparameter liefert, inklusive sogar API Preise. Und technische Parameter wie Input/Output Tokens.
Ollama - eine Runtime-Umgebung für LLMs, die es erlaubt Modelle lokal zu betreiben. Mein Lieblingsmodell zur Zeit: qwen2.5vl:7b-q4_K_M. Mit nur 6.6 GB Größe läuft das problemlos auf einem MacBook Air M4 und hat noch genug Speicher und Kapazität frei um Programme nebenbei laufen zu lassen. Das Modell ist im Chat erstaunlich brauchbar und vor allem hat es klasse Vision-Fähigkeiten. Ideal um für Bilder Titel, Alt-Texte oder Zusammenfassungen zu liefern, ohne dafür Geld an große Provider abzudrücken. Und ein wichtiger Baustein, um bDS wieder zurück zu full-offline zu bringen.
mistralai/mistral-vibe: Minimal CLI coding agent by Mistral - begleitend zum AI Studio - Mistral AI gibt es die Vibe-Coding Oberfläche zu Devstral auch als Open Source. Sehr nett, weil es ein gutes Paar macht. Wird definitiv bei mir etwas ausprobiert, auch wenn ich sicherlich für große Projekte dann eher zu den Boliden (Opus 4.6) greifen würde.
AI Studio - Mistral AI - da in den USA ja doch wieder die Lage etwas angespannter wird, und einfach weil man immer mal gucken sollte, was außerhalb der USA passiert, hier ein Link auf eine europäische Alternative zu den großen US Betreibern. Mistral bietet mit Devstral 2 ein Coding-Modell an, das nicht nur open weights ist (also frei zu bekommen und zu betreiben, wenn man die nötige Hardware hat), sondern auch im Betrieb bei Nutzung von Mistral selber recht günstig ist. Und die Leistung liegt etwas oberhalb Claude Haiku 4.5, und zwar unterhalb Sonnet 4.5, aber nicht super weit. Also durchaus brauchbar und meine ersten Experimente waren nicht schlecht. Leider keine Vision-Fähigkeit, also für Experimente mit Bildern nicht so geeignet (und daher für mein bDS nicht ideal), aber trotzdem spannend genug um es im Auge zu behalten.
wer so wie ich gerne einen Überblick über UI-integration von LLMs haben möchte und sich fragt, wie A2UI und MCP Apps im Vergleich arbeiten und was sie bieten: Agent UI Standards Multiply: MCP Apps and Google’s A2UI - Richard MacManus hilft. Ich habe in bDS ja A2UI implementiert, damit im internen Chat das LLM auch visuelle Aspekte nutzen kann, und das gefällt mir schon sehr gut. Aber die Idee, Teile meines UI auch in externe Agents einzubringen ist auch faszinierend. Auch wenn ich finde, dass "lokales HTML/JS in einem IFrame" irgendwie erstmal nach Hack klingt, aber vieles im LLM Umfeld gibt mir das Gefühl im Moment, einfach weil ja alles über einen normalen Text-Stream geschoben wird und man hofft, dass die LLMs sich an die Formate halten (selbst A2UI arbeitet so).