Qwen 3.6: Der neue König der lokalen Coding-Leistung

Echte Leistung von Qwen 3.6 auf moderner Hardware

Die lokale LLM-Szene hat gerade einen gewaltigen Schub bekommen. Mit der Veröffentlichung von Qwen 3.6, insbesondere der 27B- und 35B-A3B-Varianten, sehen wir Zahlen, die für die tägliche Produktionsarbeit wirklich Sinn ergeben. Es geht längst nicht mehr nur um rohe Benchmarks.

Wenn Sie eine RTX 5090 betreiben, ist die Leistung von Qwen 3.6 ehrlich gesagt verblüffend. Wir sprechen von 45 Tokens pro Sekunde am Anfang eines Kontextfensters. Selbst wenn Sie Richtung 100.000 Tokens gehen, bleibt die Geschwindigkeit bei etwa 35 Tokens pro Sekunde.

Diese Stabilität ist wichtig, wenn Sie sich durch tiefgehende technische Dokumente arbeiten. Die meisten Modelle stürzen ab, sobald der Kontext wächst. Doch die Architektur von Qwen 3.6 scheint die schwere Arbeit auf High-End-Hardware mühelos zu bewältigen.

Benchmarks von Qwen 3.6 auf verschiedenen GPUs

Schauen wir uns die tatsächlichen Zahlen an, denn sie erzählen eine klare Geschichte. Mit einem Dual-RTX-3090-Setup und FP8-Quantisierung erreichen Sie 26 Tokens pro Sekunde. Das ist eine sehr respektable Geschwindigkeit für ein 27B-Modell, das lokal läuft.

Die 35B-A3B-Variante ist für viele der wahre Star. Sie nutzt einen Mixture-of-Experts-Ansatz (MoE). Auf derselben RTX 5090 berichten Nutzer mit GPTQ-Int4 von über 200 Tokens pro Sekunde. Das fühlt sich nach dem Sweet Spot für Effizienz an.

Durchsatzsteigerungen durch optimiertes Qwen 3.6

Standard-Loader sind in Ordnung, aber vLLM bringt die Sache auf eine andere Ebene. Durch den Wechsel von llama.cpp zu vLLM springt die Prompt-Verarbeitung auf 3600 Tokens pro Sekunde. Bei agentischen Workflows liegt die Generierungsgeschwindigkeit bei etwa 51 Tokens pro Sekunde.

Diese Optimierung bringt die Leistung lokaler LLMs näher an einen kostenpflichtigen Cloud-Dienst. Sie erhalten die Privatsphäre lokaler Hosting-Umgebungen mit der Geschwindigkeit einer High-End-API. Das verändert die Rechnung für Entwickler, die hochfrequente Modellinteraktionen benötigen.

Coding-Fähigkeiten von Qwen 3.6 und Repo-Verwaltung

Beim Coding kommen die Coding-Stärken von Qwen 3.6 wirklich zur Geltung. Es geht nicht nur darum, eine einzelne Funktion zu schreiben. Dieses leistungsstarke Coding-Modell bewältigt schwere Repository-Arbeit, die normalerweise ein massives Cloud-Modell wie Claude 3.5 Sonnet erfordert.

Wenn Sie Qwen 3.6 mit einem Agenten wie PI Coding Agent kombinieren, sind die Ergebnisse beeindruckend. Es versteht den Kontext mehrerer Dateien. Es verliert nicht den Faden, wenn Sie Änderungen über verschiedene Module Ihres Projekts hinweg verlangen.

Das 35B-Modell ist besonders gut darin. Da es ein MoE ist, fühlt es sich bei langen Debugging-Sitzungen flotter an. Sie sitzen nicht drei Minuten da und warten auf eine Antwort. Die Generierung beginnt fast sofort.

Qwen 3.6 35B A3B für Software-Engineering einsetzen

Entwickler stellen fest, dass dieses Modell beim Refactoring herausragend ist. Seine Vorschläge haben eine gewisse „Logik“, die sich weniger roboterhaft anfühlt als in früheren Versionen. Es erkennt Randfälle, die kleinere 7B- oder 14B-Modelle völlig übersehen.

Wenn Sie schwere Repo-Arbeit erledigen, ist die Geschwindigkeit der 35B-A3B auf einer RTX 5090 schlicht absurd. Sie ermöglicht einen Flow-Zustand. Sie fragen, es antwortet, und Sie machen weiter. Das ist das Ziel für jedes lokale LLM.

Leistung von Qwen 3.6 bei technischen Aufgaben im Vergleich

Coding ist zwar das Hauptthema, aber auch kreatives Schreiben und allgemeines Denken sind solide. Es ist ein vielseitiges Werkzeug. Es fühlt sich nicht wie ein „One-Trick-Pony“ an, das nur Python kennt. Es bewältigt allgemeine Logikaufgaben mit hoher Präzision.

Einige Nutzer bevorzugen jedoch weiterhin die Klarheit von Gemma 4 für reine Textbearbeitungsaufgaben. Gemma liefert oft eine sauberere Struktur und ein besseres Tempo. Aber was pure technische Leistung angeht, ist die Coding-Leistung von Qwen 3.6 derzeit kaum zu schlagen.

„Die 35B-A3B-Variante fühlt sich gerade nach dem Sweet Spot an. MoE-Geschwindigkeit mit Qualität, die fast an ein dichtes Modell heranreicht, macht es sehr schwer, zu älteren Modellen zurückzukehren.“

Hardware-Anforderungen für den lokalen Betrieb von Qwen 3.6

Sie müssen bei Ihrer Ausrüstung realistisch sein. Qwen 3.6 ist zwar effizient, verlangt aber dennoch einen respektablen VRAM. Für das 27B-Modell sind 24GB VRAM die ideale Basis. Damit können Sie hochwertige Quants ohne starkes Offloading ausführen.

Mit einer 16GB-VRAM-Karte können Sie trotzdem mitspielen. Sie müssen nur niedrigere Quantisierungsstufen verwenden oder einige Layer in den Systemspeicher auslagern. Das verlangsamt die Leistung von Qwen 3.6, bleibt aber nutzbar.

DDR5-RAM hilft hier. Wenn Sie 32GB schnellen Systemspeicher haben, ist der Offloading-Nachteil weniger gravierend. Nutzer mit 8GB VRAM und 32GB RAM berichten von 15 bis 30 Tokens pro Sekunde – das ist für grundlegenden Chat völlig in Ordnung.

Optimaler VRAM für das 27B-Modell und die 35B A3B

System-RAM und Optimierungs-Kompromisse

Ignorieren Sie nicht Ihre CPU und Ihren Systemspeicher. Wenn Sie die Benchmarks von Qwen 3.6 bei Höchstleistung ausführen möchten, brauchen Sie ein ausgewogenes System. Wenn Sie alles auf eine alte CPU abwälzen, während die GPU wartet, wird Ihr Durchsatz zum Engpass.

Ein schnelles lokales LLM erfordert einen schnellen Datenpfad. Für Multi-GPU-Setups sind PCIe-4.0- oder PCIe-5.0-Steckplätze zu bevorzugen. Wenn Sie zwei 3090er betreiben, stellen Sie sicher, dass Ihr Netzteil die kurzzeitigen Lastspitzen während der Prompt-Verarbeitung verkraftet.

Erweiterte Optimierung für Ihr Qwen 3.6-Setup

Um das Beste aus dem Coding-Erlebnis mit Qwen 3.6 herauszuholen, sollten Sie sich Quantisierungs-Kernel ansehen. Der FP8-Kernel schneidet derzeit in den meisten Tests besser ab als NVFP4. Er bietet eine bessere Balance aus Geschwindigkeit und Intelligenz.

Spekulative Dekodierung ist ein weiterer Trick. Indem Sie ein viel kleineres Modell zur Vorhersage von Tokens verwenden, können Sie die Generierungsgeschwindigkeit des Hauptmodells Qwen 3.6 erhöhen. Die Einrichtung ist etwas komplexer, aber die Vorteile sind spürbar.

Für alle, die keine lokale Hardware verwalten möchten, kann ein Ansatz über eine einheitliche Plattform – etwa das Durchsuchen von Qwen 3.6 und anderen Modellen – stundenlange Fehlersuche ersparen. Manchmal ist die Cloud einfach einfacher.

Nutzung von vLLM für verbesserten Durchsatz

vLLM ist ein Game-Changer für genau dieses Modell. Es kommt mit kontinuierlichem Batching deutlich besser zurecht als standardmäßiges llama.cpp. Wenn Sie die Qwen-API mehreren lokalen Anwendungen bereitstellen, ist vLLM fast Pflicht.

Die Konfiguration für vLLM erfordert, dass Sie den Tensor-Parallelismus korrekt einstellen. Bei einem Dual-GPU-Setup sorgt TP=2 dafür, dass die Speicherlast gleichmäßig verteilt wird. Dadurch sind deutlich größere Kontextfenster möglich, ohne dass der Speicher ausgeht.

FP8-Quantisierung vs. Standard-4-Bit

Quantisierung ist der Weg, wie wir diese massiven Modelle in Consumer-Hardware unterbringen. Während 4-Bit (GGUF oder EXL2) beliebt ist, gewinnt FP8 an Boden. Es scheint bei komplexen Coding-Aufgaben mehr von der ursprünglichen „Intelligenz“ des Modells zu erhalten.

Wenn Sie VRAM übrig haben, probieren Sie immer zuerst die höhere Quantisierung aus. Der Unterschied in der Leistung von Qwen 3.6 zwischen einem Q4- und einem Q8-Quant ist deutlich spürbar, wenn Sie das Modell bitten, schwierige architektonische Probleme im Code zu lösen.

Leistungsvergleich von Qwen 3.6 mit Branchenführern

Sprechen wir den Elefanten im Raum an: Ist es besser als Claude? Die meisten erfahrenen Nutzer sagen Nein. Claude 3.5 Sonnet hält weiterhin die Krone bei Nuancen und der Befolgung komplexer, mehrstufiger Anweisungen, ohne durcheinanderzukommen.

Aber darum geht es bei einem lokalen LLM nicht. Der Punkt ist, dass Qwen 3.6 für 90 % der Aufgaben „gut genug“ ist und null Dollar pro Token kostet. Es ist ein kostengünstiges Kraftpaket für Entwickler, die Wert auf Datenschutz legen.

Wenn Sie sich die Benchmarks von Qwen 3.6 ansehen, schlägt es oft ältere Versionen von Llama oder Mixtral. Es ist ein bedeutender Fortschritt in dem, was ein mittelgroßes Modell leisten kann. Es fühlt sich wie ein echtes Werkzeug für Praktiker an.

Community-Stimmung und echtes Nutzerfeedback

Die Reddit-Community hat sich lautstark zu diesem Release geäußert. Die meisten beschreiben Qwen 3.6 als „Biest“ für seine Größe. Besonders das 27B-Modell wird für sein kreatives Schreiben gelobt, das bei früheren Qwen-Versionen eine Schwachstelle war.

Es gibt eine gewisse Debatte über seinen „Vibe“. Manche finden es etwas zu wortreich. Andere lieben die ausführlichen Erklärungen, die es liefert. Es ist definitiv ein Modell mit Persönlichkeit – anders als einige der sterileren Modelle anderer Labore.

Die Vorteile eines einheitlichen Qwen-API-Zugriffs

Die Verwaltung mehrerer lokaler Modelle ist lästig. Wenn Sie ständig zwischen Modellen wechseln, sollten Sie sich vielleicht die vollständige API-Dokumentation für einheitliche Dienste ansehen. Damit können Sie Qwen 3.6 sofort gegen andere testen.

Plattformen wie GPT Proto können die Lücke schließen. Sie erhalten die Geschwindigkeit der 35B-A3B-Variante ohne die Hitze und den Lärm einer RTX 5090 in Ihrem Büro. Es geht darum, das richtige Werkzeug für die jeweilige Aufgabe zu finden.

Fazit: Sollten Sie Qwen 3.6 nutzen?

Wenn Sie eine GPU mit 24GB VRAM haben, gibt es keinen Grund, Qwen 3.6 nicht in Ihr Repertoire aufzunehmen. Es ist eines der leistungsfähigsten lokalen Modelle, die derzeit verfügbar sind. Schon die Coding-Leistung macht es für Entwickler zu einem Pflicht-Download.

Für alle mit schwächerer Hardware lohnt sich das 27B-Modell trotz Offloading. Seien Sie nur auf langsamere Geschwindigkeiten vorbereitet. Es ist logischer und befolgt Anweisungen an jedem Tag besser als ein 7B-Modell.

Die Leistungsgeschichte von Qwen 3.6 ist eine Geschichte der Effizienz. Sie beweist, dass man keine Billion Parameter braucht, um nützlich zu sein. Manchmal reicht ein gut optimiertes 35B-MoE, um die Arbeit effizient zu erledigen.

Erste Schritte mit Ihrem lokalen Setup

Laden Sie die GGUF- oder EXL2-Dateien von Hugging Face herunter. Beginnen Sie mit einer mittleren Quantisierung wie Q4_K_M. Testen Sie, wie es sich auf Ihrer Hardware anfühlt. Wenn Sie Geschwindigkeit übrig haben, wechseln Sie zu einer höheren Quantisierung für bessere Logik.

Vergessen Sie nicht, Ihre Treiber zu aktualisieren. Neuere Modelle verlassen sich oft auf Optimierungen in den neuesten CUDA-Kernels. Wenn Sie Ihren Stack aktuell halten, stellen Sie sicher, dass Sie bei Ihren Generierungsläufen keine Tokens verschenken.

Nutzung und Kosten überwachen

Wenn Sie sich entscheiden, Ihren Workflow in eine gehostete Umgebung zu verlagern, können Sie Ihre API-Abrechnung verwalten, um die Kosten niedrig zu halten. Lokale Hardware ist großartig, aber Flexibilität ist in einem sich schnell bewegenden Bereich ebenfalls ein enormer Vorteil.

Ob Sie nun lokal oder in der Cloud arbeiten, das Coding-Modell Qwen 3.6 ist ein bedeutender Meilenstein. Es bringt Intelligenz auf hohem Niveau auf den Desktop – und zwar so, dass es tatsächlich funktioniert. Es ist eine großartige Zeit, um mit KI zu arbeiten.

Und wenn Sie das Modell genauso nützlich finden wie wir, möchten Sie das Geheimnis vielleicht teilen. Sie können am Empfehlungsprogramm von GPT Proto teilnehmen und anderen helfen, diese leistungsstarken Werkzeuge ebenfalls zu entdecken. Die Community wird nur noch stärker.

Geschrieben von: GPT Proto

„Erschließen Sie sich die weltweit führenden KI-Modelle mit der einheitlichen API-Plattform von GPT Proto.“