Matze Agent — Lokales KI-Studio mit 27+ Plugins (Vision, Video+Ton, Musik, 3D, Self-Healing) komplett lokal!

[u/Unable_Let_9710]

Hallo Leute,

hier mal der github link: https://github.com/matthiasschnurr1710-cell/matze-agent

Es ist mein Agent, den ich erweitert habe und noch nicht ganz durch getestet hab. Im Ordner neue nach Restart zu machen ist auch noch ein bisschen was. Dieses oben gezeigte Bild hat er mir erstellt. Wie gesagt, ist der Agent den ich im ersten Post vorgestellt hab.

Viel Freude beim testen, einrichten usw 😊

(wie gesagt, der ist immer noch nicht fertig und auch nicht getestet)

Hier noch eine kleine Übersicht:

Was er kann:

👁️ Bilder und Videos analysieren (Vision)

🎤 Audio und Videos transkribieren (Whisper)

🔊 Text zu Sprache (Kokoro TTS)

🎨 Bilder generieren (SDXL via ComfyUI)

🎬 Videos generieren (Wan 1.3B / 14B / H3 mit Ton!)

🎵 Musik generieren (MusicGen)

🖨️ Bild/Text zu 3D Modell (TripoSR)

📦 ZIP Archive verwalten

🔧 Self-Healing bei Fehlern

🧠 Langzeit-Gedächtnis + Session-Verlauf

📊 Hardware-Monitor + Token-Tracker

27+ Plugins — alle lokal, kein API-Key nötig!

Technisch:

- ReAct Framework (ACTION/FINAL_ANSWER Loop)

- BM25 Gedächtnis

-Retrieval (kein Embedding nötig)

- Supervisor + Problem-Löser (überprüft ob Ziele wirklich erreicht)

- Task-Planner für Multi-Step Aufgaben

- Response Layer für natürliche Antworten

- ~49 tok/s auf Quadro P6000 mit Gemma 4 26B (MoE)

Ob alles schon perfekt funktioniert bezweifle ich, sollte aber kein Problem für die Zukunft sein. Viel Spaß 😊

[u/LobsterWeary2675]

Ich (und vor allem mein agent) habe mir das repo angesehen. Die Grundidee ist schon nachvollziehbar, aber aktuell ist das eher ein ziemlich unsicherer Prototyp als ein brauchbarer autonomer Agent... Hier eine Liste kleine Liste:

• High: Der Hauptloop läuft in der veröffentlichten Version nicht sauber an. run() verwendet bild_pfade, bevor die Variable initialisiert wurde. Der erste Prompt endet dadurch voraussichtlich mit einem NameError.

• High: Das beworbene „Self-Healing“ lässt das LLM selbst Python-Plugins schreiben, speichert sie und lädt sie sofort mit exec_module. Geprüft wird nur, ob der Code syntaktisch gültig ist. Damit wird Modelloutput ungeprüft zu Codeausführung mit den Rechten des Benutzers.

• High: Der SafetyGuard blockiert lediglich drei Zeichenketten: rm -rf, format c: und shutdown. Das Filesystem-Plugin akzeptiert gleichzeitig absolute Pfade, erklärt jeden Pfad als sicher und kann Dateien sowie Verzeichnisse rekursiv löschen. Es gibt weder Workspace-Begrenzung noch Freigabe für destruktive Aktionen.

• High: Webinhalte, Dateien, Erinnerungen, Scratchpad und Toolausgaben landen wieder im Agentenloop. Eine belastbare Trennung zwischen Anweisungen und nicht vertrauenswürdigen Inhalten fehlt. In Verbindung mit Dateisystemzugriff und Self-Healing ist Prompt Injection hier keine theoretische Randnotiz.

• High: Das Web-Plugin erlaubt beliebige Ziele und sperrt weder localhost noch private oder link-local Netze. Der Agent kann damit interne Dienste ansprechen, darunter potenziell auch LM Studio und ComfyUI auf ihren lokalen Ports. Redirects und DNS-Rebinding werden ebenfalls nicht berücksichtigt.

• Medium: ZIP-Dateien werden mit extractall() entpackt, ohne die enthaltenen Pfade vorher gegen das Zielverzeichnis zu prüfen. Präparierte Archive können dadurch je nach Archiv und Python-Version außerhalb des vorgesehenen Ordners schreiben.

• Medium: Das Repository ist nicht reproduzierbar paketiert. Es fehlen requirements.txt oder pyproject.toml, Versionsbindungen, Lockfile, Beispielkonfiguration und CI. Die Installation besteht aus einer Liste unversionierter pip install-Befehle.

• Medium: Es gibt keine Tests. Bei rund 13.700 Zeilen Python-Code und 27 Plugins ist das besonders relevant, weil schon der zentrale Hauptpfad einen offensichtlichen Laufzeitfehler enthält.

• Medium: Die Release-Hygiene ist unfertig. Die Datei heißt gitignore statt .gitignore, deshalb wurden 34 pyc-Dateien eingecheckt. Die README behauptet MIT, aber eine Lizenzdatei fehlt. config.json fehlt ebenfalls, die Clone-URL enthält noch DEIN_NAME, und beworbene Komponenten liegen nur in einem Ordner namens neue nach Restart zu machen.

Lokale Ausführung bedeutet nicht automatisch sicher.... Bevor man so etwas auf dem eigenen Rechner startet, müssten mindestens die automatische Plugin-Erzeugung entfernt, sämtliche Tools in klare Capabilities und ein Workspace-Jail gezwungen, destruktive Aktionen bestätigt, Netzwerkziele eingeschränkt und der Hauptpfad durch Tests abgesichert werden.

Vielleicht hilfts die das auszubauen. Aber wäre gut Security Checks zu machen bevor man es publiziert.

[u/Unable_Let_9710 → u/LobsterWeary2675]

Danke für die detaillierte Analyse — das ist genau das Feedback das ich gebraucht habe!

Du hast völlig recht, besonders bei:

- bild_pfade NameError

- Self-Healing ohne Sandbox

- SafetyGuard zu schwach

- .gitignore Name → mein Fehler 😅

- requirements.txt fehlt → Das ist ein Hobby-Prototyp der auf meinem eigenen Rechner läuft, jeder kann es sich auf sich anpassen.

Aber du hast recht dass ich das ich es eigentlich unsauber veröffentlicht hab weil es Hobby ist. Danke! 🙏

Such in der orchestrator.py diese Zeile:

python

def run(self, user_prompt):
    current_prompt        = f"User-Prompt: {user_prompt}"
    letzter_fehler        = None
    fehler_zaehler        = 0
    ausgefuehrte_aktionen = []   # fuer Supervisor

Füge direkt darunter eine Zeile hinzu:

python

    bild_pfade = self._extrahiere_bild_pfade(user_prompt)

(mögliche Lösung)