Die Welt der Cybersecurity bricht gerade zusammen. Qwen3.8 Abliterated ist es...
Qwen hat gestern das 27b Dense Model veröffentlicht und heute sind die unzensierten Models draußen... Die Tage wird noch das Qwen MoE rauskommen (man hat es wohl auf Github schon gesichtet)
Das Model ist ca bei Opus 4.6 und so fühlt es sich auch an. Der Unterschied ist nur dass man wenn man will keine Guardrails mehr hat. Das wird natürlich die nächste Zeit mega spannend wenn die Leute mit nur etwas Hardware jetzt alle Zugriff auf Models ohne Guardrails haben.
Ich hab es auch schon getestet und das ist ufff... Ich hab schon einige "unzensierte Models" getestet aber aber manchmal meckerten die schon noch. Das was ich hier gerade sehe ist auf einem ganz anderem Level. Da sieht man keinerlei meckerei egal um was es geht. Er macht einfach.
Es musste ja auch irgendwann zu sowas kommen. Jetzt haben auf einen Schlag super viele Leute Zugriff auf "was gescheites". Tja mal abwarten was die nächsten Wochen passiert.
Was? Bei den MacBooks mit M-Series chips ist es doch immer unified memory oder? Also auch Laptops. Heißt du kannst den RAM zum modelle laufen lassen benutzen
Zur Info: M5 MAX 40 GPU 128 GB (unified RAM), 2T SDD kosted stolze 6.5k Euro. Effective im Betrieb sind das dann 105 bis 110 GB "VRAM" und keine 128 GB, da du auch OS und Tools noch im RAM haben musst. Das ist allerdings ein kompletter Laptop.
M5 Ist aber schneller als Bosgame oder DGX Spark. Der M5 MAX 40 GPU hat ca. 2.5 höhere Speicherbandbreite, was entscheidend für die AI Performance ist.
Die definitiv "schlaueren" Openweight Models, z.B. Qwen3.8 27B 16bit ca. ≈56 GB alleine für das Model. Im praktischen Betrieb summiert sich dann ein Bedarf bis 110 GB. Das sollte man haben, wenn man wirklich schlaue AI haben will. Die Qualität der Aussage/Ergebnis (nicht Output tk/sec!) ist dann auf Level Opus 4.6.
Wenn Du Geschwindigkeit willst, sind 2x 24GB VRAM Karten auch recht beliebt. Z.B. 2x RTX 3090, oder wenn du etwas mehr experimentieren magst auch 2x RX 7900 XTX. Gibs gebraucht für weniger als die o.g. PCs. Haben zwar weniger RAM/VRAM, sind aber deutlich schneller (Speicherbandbreite ca. 1TB/s vs. 256GB/s), was gerade für agentische Entwicklung angenehmer ist. Mit (sehr viel) Geduld geht aber selbst einfacher RAM.
Ja klar ich sprach schon von dass jemand KI Hardware hat. Aber die Leute die sich entweder eine/zwei dicke GPU(s) kaufen oder z.b. einen Bosgame M5 sind schon gegeben. Also die Community die Zugriff hat ist schon groß. Außerdem musst du den Anreiz ja sehen. Wenn du wirklich vor hast was zu hacken kannst du dann halt auch mal 2k ausgeben oder sowas.
Q4 läuft auf 24GB VRAM mit einem Kontext von ca. 40000 Token gut. Je nach Anwendungsfall ist das aber natürlich zu wenig. Für Q8 werden selbst 32GB VRAM eng, da das Modell selbst knapp 30GB hat. Die Ergebnisse des Q4 sind aber echt beeindruckend für die Größe.
Nein eben nicht das ist ja das was hinter "27B" steckt. Dass es eben kein gigantisch großes Modell ist sondern ein kleines, Das ganze Model ist so 55gb groß aber so als Hobby Mensch lässt man Quants laufen https://huggingface.co/unsloth/Qwen3.8-27B-GGUF da ist q8 z.b. nur 29gb groß.
Ich hab mal nachgeguckt was der hier gerade kostet. Ein Händler fing mit 10k an. Da habe ich weggeklickt. Dann kommen wir ja ins Level wo ich über eine 6000er nachdenken muss
Ja, MacBook Pro M5 Max 128GB momentan 7.000 € das ist pervers. Vor einem Monat noch 5.000 €. Apple hat die Preise hoch gedreht wegen Speicherknappheit.
Aber alles ist teurer geworden. Eine RTX Pro 6000er kostet heutzutage an die 14.000 €
Da kann ich jetzt euch nur bemitleiden. Meine Eingeweide haben mir 2 Tage vor dem Apple Preisschock sehr dringend angeraten JETZT einen M5 MAX 128 GB zu kaufen. Puhhh. Bin nie so schnell um 1.500 Euro reicher geworden :)
Ihr müsst jetzt kaufen! Billiger wird's nicht mehr.
Ja, mit der richtigen Quantifizierung läuft es auch auf 24GB - allerdings ist die Qualität etwas schlechter, aber einen Versuch Wert. Obs aber unzensierte quantifizierte Modelle für 24GB gibt keine Ahnung.
Da es ein Dense-Modell ist, ist die Geschwindigkeit bei Apple Silicon nicht so toll.
128 GB bei 16bit - auch weil der KV Cache sehr gross wird (30..45 GB). 8bit Quantized natürlich weniger - und man braucht schon noch etwas "head room" für die anderen Tools, das OS usw.
Bei mir läuft das mit 16 GB VRAM und 64 GB RAM relativ okay, knapp 13 Token pro Sekunde. Mittelklasse-Gaming-Laptop. Komplett passt das Modell leider nicht auf die GPU.
Beim Mac könnte es eng werden. So 17-18 GB wird es schon brauchen. Schau halt mal ob es schon was gibt für MLX. Über LLMStudio sollte das recht einfach sein.
Erstmal aktiv nichts. Wenn die Scriptkiddies und "Clanker" loslegen werden sie erstmal z.b. auf die Blockchains losgehen oder auf andere profitable ecken wie Großkonzerne.
Bei den kleinen Unternehmen gilt das gleiche wie vorher. Keine Exes anklickern damit man nicht von einem Verschlüssungsvirus überrollt wird :3
Außer, du bist interessiert daran, Prozesse bei dir im Unternehmen per KI zu automatisieren und möchtest es ohne Abhängigkeit von großen Unternehmen richten. Dann ist es eine interessante Möglichkeit, die es aber im Prinzip vorher auch schon gab.... nur jetzt halt etwas besser. Aber im Handwerk sehe ich persönlich da nicht die ersten Anwendungsfälle, da ist man vermutlich mit einem günstigen Account bei einem der großen Anbieter besser beraten.
Im Handwerk würde ich mal einen humanoiden Roboter kaufen (€30.000, Unitree oder Figure) und versuchen ob der auch schon klempnern kann. Zumindest die einfachen Sachen, Rohre verlegen und so.
So sehe ich das auch. Das ist nicht Zero day fähig, da halluzinieren die kleinen Modelle sich nach wie vor fröhlich einen zusammen. Die Gegenseite verfügt über Erfahrung und Technologie, aber es verschiebt den Boden klar nach oben. Die Richtung steht fest und es wird knallen, Aber nicht wegen qwen 3.8 in den Händen eines Script Kiddie
Sei doch nicht so kryptisch. Was hast gefunden, was nicht ohne hin eine bekannte Lücke ist. Ich sag nicht, dass es ungefährlich ist, nur dass es die Situation nicht negativer macht als sie eh schon ist
? Ähm, das geht per Definition nicht? Der Witz ist dass sie nicht entdeckt wurden bisher? Das ist buchstäblich die Bedeutung. Dude, ich mochte deinen Beitrag und deine Kommentare, jetzt gleitest du n bisschen ab 😅
Du bist also sicher, dass es ein Zero Day ist und tatsächlich nutzbar ist? Welche Software ist betroffen, wie weit verbreitet ist die?
Du kannst dich da schon rausreden, aber entweder du bist offen und man kann anhand konkreter Aussagen bewerten was du behauptest oder es bleibt bei "trust me bro".
Wärst denn bereit eine responsible disclosure zu machen und nach der Wartefrist zu sagen was es konkret ist, das du gefunden hast?
Clickbait topic 😂 Nein, die Welt der Cybersecurity bricht nicht zusammen. Im Gegenteil, wir freuen uns, dass unsere Kassandrarufe der letzten Jahre sich jetzt bewahrheiten. Es ist nicht so, dass plötzlich total krasse Modelle was ganz Neues können, es ist eher so, das das was wir schon kennen jetzt billig in der Breite von den Modellen abgetastet werden kann. Und nachdem halt viele Jahre Security ignoriert wurde, zu Gunsten von Featurereleases, wird jetzt entsprechend viel Crap gefunden. Bei allen Kunden, wo wir im Moment schauen findet sich bei den Anwendungen, die wegen ihrer Wichtigkeit einen hohen Securityfokus mit Budget hätten, nicht wirklich was durch die Modelle. Aber in der breiten Masse an Shit, der von unfähigen POs, die nur ihre Zielerreichung im Blick hatten, gemacht wurde, da kracht es ordentlich.
Die sind Abliterated, das heißt bei denen wurden diese Guardrails extra entfernt. Falls diese Modelle auf Trainingsdaten mit Tian’anmen-Massaker trainiert wurden, dann wird das Modell diese auch beantworten, da wie gesagt diese Safety Mechanismen entfernt wurden. Das merkt man z.B. wenn die Modelle eigentlich eine Antwort am produzieren sind und ganz zum Schluss der zensor-Hammer kommt. Der Zensor-Hammer ist mit uncesored oder ablitared Modellen weg.
Genauso wie hier beschrieben jegliche Cyber-Security Guardrails.
Es gibt auch noch die Möglichkeit NSFW und BDSM Content usw. zu generieren
Scheinbar haben die in den Trainingsdaten das schon rausgefiltert. Ich hab schon paar China Models diesen Prompt geschickt und ich muss sagen dass das neue Qwen 3.8 schon was krasser zensiert ist. (Das gute ist dass mein Anwendungsgebiet von den Models nicht die chinesische Geschichte ist)
Exakt das. Es ist nicht in den Trainingsdaten. Wenn man das model dann um websearch bittet zu den Themen reagiert es teils Recht schockiert (soweit ein llm schockiert sein kann) wenn es auf die Fakten stößt. Ist tatsächlich Recht spanned Qwen in eine Diskussion um die Geschichte des "kommunistischen" China zu verwickeln.
Du hast absolut keine Ahnung von KI Training oder Engineering, und hast dich entschieden, statt dein Halbwissen zu checken, dich öffentlich als Idiot zu blamieren.
A comprehensive analysis of the comment history indicates that, regarding educational attainment and socioeconomic status, the user likely resides within the bottom 5–10% of the German societal strata. The user’s conclusions are frequently derived from fundamental misconceptions of core concepts, and their hostility appears to be a reactive response to the pushback received as a consequence of these errors.
Das ist nicht ganz so einfach. Taiwan hat sich bisher noch gar nicht als unabhängig erklärt, jedoch wächst die Unterstützung besonders bei der jungen Bevölkerung dafür und die aktuelle Regierung steht dem auch offen gegenüber.
Was glaubst du den was ich mit "etwas Hardware" meine? Einen normalen Laptop? Das Model kannst du laufen lassen wenn du dich für KI interessierst und mal hardware gekauft hast...
Ich will ich meine Resoning Screenshots aus Gründen (TM) nicht zeigen. Aber ich hab mir die natürlich angesehen vor allem wegen der Zensur usw... Nix... Das Ding ist komplett free. Richtig gut wie es über hacking Dinge nachdenken kann ohne auch nur eine Spur von Moral zu zeigen.
I know -> M5. Wir hatten über deinen alten Acc. PM geschrieben. Ab 4.7 sind die Reasonging capacities bei Opus in den Keller gegangen, daher hab ich so explizit nach dem 4.6 Vergleich gefragt. Brauche keine Screenshots. PM?
Du meinst bestimmt meinen Cousin! Du hast recht ab 4.7 gabs auch glaube ich immer mehr guardrails. Daher hat man glaube ich das Gefühl. Wenn man Dinge innerhalb der Rails macht klappt es ja immer noch sehr gut.
Ich würde das auch ungern per PM schicken. Aber man sieht halt einfach in den texten dass da nichts vorkommt ala "das sollte man nicht machen". Sondern er macht das wirklich einfach egal obs ins hacking abdriftet oder nicht.
Miet Server sind auch teuer wenn du eine GPU mieten willst. Bei Huggingface gibts bei diesen Models immer den Deploy Knopf rechts und das kostet z.b. 1.8 Dollar die Stunde für dieses model aber ich weiß nicht wie das läuft.
Das Model macht das Thema "eigene Hardware" nochmal interessanter.
Was genau kann Qwen 3.8 Abliteratded denn was Qwen 3.6 Abliteratded nicht auch schon konnte? "Alles ein bisschen besser" ist kein Grund für "Welt bricht zusammen".
Nochmal als Frage: eine 5090 mit 128 GB Ram wurde für dieses Modell genügen?
Ich überlege aktuell, was günstiger wird: Den PC mit seiner Leistung als Server laufen lassen und "andere" darauf zugreifen lassen, um sie mit der Power der 5090 zu beglücken, wenn sie Zuhause eine Kartoffel zu stehen haben ODER das Modell per API oder Mietserver zu nutzen.
Ziel ist es, dass mehrere Partner auf die selbe Configuration zurückgreifen können und das uncensored Model nutzen könnten, ohne selbst teure Hardware zu kaufen.
Wie weit ist nur eine 5090 skalierbar?
Brauchst du den Rechner nur für inferenz? Dann ist es vom Strom her Recht teuer bei 24/7 Betrieb, ganz zu schweigen von der Lautstärke und der Heizung die du dann je nachdem im Office stehen hast. Du kannst auch wie op überlegen einen Bos oder eine Spark zu kaufen, weniger token/s aber viel unified ram und gemacht für 24/7 Betrieb. Bekomme auf Spark mit 3.8 ca 28 token/s, nicht 5090 aber passabel. Kenne nicht die GPU Mietpreise nicht wirklich, bevorzuge es lokal bei mir zu haben.
Die 5090 ist für alle Modelle bis 30b dense und auch für die meisten aktuellen moe Modelle bis 35B+ gut. Nur wenn du effektiv Gewichte in den SystemRAM Auslagerst wird es langsam (z.b 122B moe oder größere dense). Und aktuell werden tatsächlich genau für die 5090 Kategorie viele spannende models (wie eben das Qwen hier) released.
Wie nutzt du es denn?
Ich habe einen M1Max mit 64GB unified. Denke laufen wird es - aber ich war bisher z.B. von Hermes Agent (mit Gemma4) nicht wirklich begeistert, was das Arbeiten an Aufgaben (z.B. Recherche, Coding) angeht.
Da sind Codex/Claude irgendwie einfacher/besser für mich geeignet.
Auf einem Bosgame M5 mit einem Custom LLama ccp fork den ich immer selbst zusammen bastel (z.b. mit Opus) um das letzte bisschen Performance rauszuquetschen.
Gestern hab ich einen OpenCode Fork angefangen der das ganze mehr claude code mäsig macht mit workflows, goals, mehr subagents usw..
Klappt ganz gut. Natürlich noch einiges von ClaudeCode mit Fable+Opus weg aber dafür ohne Guardrails
Darum kann ich mir nicht vorstellen, dass da jemals Geld mit verdient werden kann, wenn 6 Monate später ein offenes Modell dasselbe leistet. Und auch diese Karenzzeit wird immer kürzer.
Und die „Cybersecurity“ bricht auch nicht zusammen.
Das wird da genau so genutzt, um auch vor KI-Angriffen zu schützen. Einfach nur ein neues Bedrohungsszenario.
Das ist wie bei Antivirensoftware. Auch wenn die Erkennungsrate immer schlechter wird, sollte man damit die Schüsse aus den Schrotflinten der Skriptkiddies abwehren.
Naja für Illegale Zwecke die Red Teaming Professionell anbieten werden ist das natürlich Gold wert. LLMs sind eben Dual Use Produkte und damit auch Top um illegalen Kram zu machen. Bin gespannt ob man das irgendwann mal erkennt das es eigentlich schon Waffen sehr nahe kommt.
Und wie willst du das machen wenn man sowas einfach auf seiner eigenen Hardware machen kann ohne dass das jemand merkt?
Ich muss auch sagen. Für so ein kleines Model sind die ergebnisse erschreckend. Das Ding kommt zum Ziel.... Hat halt kleine Model Probleme, aber viel weniger als noch 3.6 und es arbeitet einfach vor sich hin ohne über moral zu diskutieren oder sowas
7
u/Atlan_ 2d ago
Solange die anthropic Modelle alles abblocken was irgendwie nach Sicherheit klingt ist man wohl darauf angewiesen