App-Entwicklung mit Claude Code und Groq – Ein Erfahrungsbericht zur ultraschnellen Groq API

Im Anschluss an meinen letzten Beitrag, in dem ich mit Claude Code eine Diff-App als VS-Code-Erweiterung entwickelt habe, wollte ich eine rein private Anwendung bauen und habe ein Tagebuch für Katzen erstellt.
Die Implementierung selbst erfolgte mit Claude Code. Dabei habe ich jedoch Groq verwendet, über das vor Kurzem in den Nachrichten berichtet wurde, und möchte es hier vorstellen.

Wie ich zur Groq API gekommen bin

App-Überblick

Katzenfotos einfach nur hochzuladen und in einem Favoritenordner abzulegen, wäre langweilig. Deshalb kam mir die Idee, dass es unterhaltsam wäre, wenn eine KI die hochgeladenen Fotos betrachtet und einen Kommentar aus der Perspektive der Katze generiert. Diese Idee habe ich dann zügig umgesetzt.

Profil, Persönlichkeit und Vorlieben der Katze werden vorab eingegeben. Auf dieser Grundlage wird der Prompt so formuliert, dass der Text stets aus der Ich-Perspektive der Katze verfasst wird und deren Gefühle und Handlungen direkt und unmissverständlich beschreibt.

Beim Hochladen eines Fotos erzeugt die App einen Kommentar aus der Sicht der Katze, mit 100 bis 160 Zeichen und etwa zwei bis drei Sätzen.

Kostenloses LLM-API Groq

Für die Kommentargenerierung ist unbedingt eine KI-API erforderlich.

Dabei wurde der API-Dienst "Groq" vorgeschlagen, der Bildverarbeitung unterstützt und ein kostenloses Kontingent bietet, sowie die Scout-Variante der Modellreihe "Llama 4".

Offizielle Website: Groq

Groq selbst entwickelt keine "KI-Modelle" wie ChatGPT oder Gemini. Stattdessen bietet das Unternehmen einen Service an, bei dem offene KI-Modelle anderer Anbieter, etwa das von Meta frei veröffentlichte "Llama", auf eigenen Hochgeschwindigkeitschips betrieben werden.

Das Basiskontingent ist vollständig kostenlos und erfordert keine Kreditkartenregistrierung. Ich konnte mich registrieren, einen API-Schlüssel erstellen und ihn direkt in eine Anwendung einbinden.
(Die Nutzung ist derzeit kostenlos, die Nutzungsbedingungen können sich jedoch in Zukunft ändern.)

Das Unternehmen Groq wurde zwar bereits 2016 gegründet, rückte aber erst etwa ab 2023 bis 2024 mit seinem Geschäftsmodell in den Fokus, bei dem spezielle Chips für extrem schnelle KI-Inferenz eingesetzt werden. Es handelt sich also um einen vergleichsweise neuen Trend.

Groq im Test!

Laut Angaben lassen sich über 100 Token pro Sekunde verarbeiten, wodurch Antworten laut Hersteller etwa 20-mal schneller generiert werden können als mit ChatGPT.

Ich habe im Groq Chat die Frage gestellt: "Erkläre mir die Lebewesen Katzen in 1000 Zeichen."

Die Zeit vom Erhalt der Frage bis zur vollständigen Antwort betrug 1,91 Sekunden!

Richtig schnell!!

Es ist nicht nur blitzschnell, sondern verbraucht im Vergleich zu herkömmlichen GPUs auch deutlich weniger Strom.

Im Test generierte es eine Antwort mit 843 Token (entspricht mehreren hundert japanischen Schriftzeichen) in nur 1,91 Sekunden (442 Token pro Sekunde).

Blitzschnelle API nutzen

Geeignete Entwicklungsszenarien

• Anwendungen mit hohen Anforderungen an die Reaktionsgeschwindigkeit – Die größte Stärke von Groq ist die Generierungsgeschwindigkeit dank des eigens entwickelten Chips (LPU). Daher eignet es sich besonders für Chatbots und Echtzeit-Oberflächen, bei denen schnelle Antworten entscheidend sind, etwa beim Tippen, wo sofort geantwortet wird, oder bei Sprachassistenten, die einen zügigen Gesprächsfluss benötigen.
• Verarbeitung großer Mengen einfacher Aufgaben – Zum Beispiel Zusammenfassungen, Klassifizierungen oder einfache Textgenerierung, wenn viele Anfragen mit geringen Kosten pro Einheit verarbeitet werden sollen.
• Prototypen, persönliche Projekte und interne Tools – Ideal, wenn man wie bei dieser App zunächst kostenlos Ideen ausprobieren und testen möchte.

Weniger geeignete Einsatzbereiche

• Produktivdienste, bei denen feinfühlige japanische Formulierungen oder komplexe Anweisungen entscheidend sind – Bei der ersten Eingabe wurde eine Anweisung in der Ich-Form nicht richtig umgesetzt. Die Zuverlässigkeit bei detaillierten Anweisungen ist bei Claude und ChatGPT jedoch stabiler. Die Unterstützung für Japanisch hat sich laut Berichten dennoch deutlich verbessert.
• Produktivbetrieb mit Verlässlichkeitsanspruch – Die kostenlosen Kontingente haben Ratenbegrenzungen, und Modelle werden relativ häufig eingestellt oder geändert (tatsächlich wurde llama-3.2-11b-vision-preview mitten im Projekt abgekündigt). Daher eignen sie sich weniger für die zentralen Funktionen einer Produktivanwendung.

Fazit

Groq ist ein Dienst mit einem klaren Alleinstellungsmerkmal: einer außergewöhnlich hohen Generierungsgeschwindigkeit.

Weil es eine kostenlose KI-API ist, lässt sie sich schon am selben Tag in eine App integrieren. Das macht den Einstieg unkompliziert, was für Projekte in der Entwicklungs- oder Testphase eine große Unterstützung ist. Zudem entfällt das Zögern, ob man für die Nutzung bezahlen sollte.

Kombiniert man die Stärken von Groq mit der Fähigkeit von Claude Code, die Umsetzung zu übernehmen, lässt sich
„eine spontane Idee direkt als Prototyp umsetzen und bis zu einer reaktionsschnellen Nutzererfahrung ausarbeiten“
– und das mit einem Tempo, das auch Einzelentwickler problemlos erreichen können!!