Vor etwa zwei Monaten haben wir die Übersetzung unserer Artikel von Google Translate auf ein LLM umgestellt.
Warum haben wir uns für Claude entschieden? Wie funktioniert der Aufbau? Und warum haben wir uns trotz des günstigeren Gemini für Claude entschieden?
Das Projekt befindet sich noch in der Testphase, dennoch fassen wir den aktuellen Aufbau und unsere Überlegungen hier zusammen.
Auch mit Google Translate ist selbstverständlich eine Übersetzung möglich.
Vorab sei gesagt: Google Translate hat nicht versagt.
Die Übersetzung ist schnell, und für den alltäglichen Einsatz ist sie völlig ausreichend. Größere Probleme gab es bisher nicht. Wenn jedoch ganze Artikel übersetzt werden sollen, wirkte die bloße Ersetzung der japanischen Sprache durch eine andere im Vergleich zur heutigen KI-Qualität auf uns deutlich unzureichend.
Satz für Satz betrachtet waren die Übersetzungen nicht falsch, doch im Zusammenhang des gesamten Artikels wirkten sie teils unnatürlich, und gleiche Begriffe wurden mitten im Text unterschiedlich übersetzt. Auch Überschriften und Werbetexte mit gestalterischer Schrift, bei denen jedes Zeichen einzeln gesetzt ist, wurden dabei regelmäßig zerstört.
Entscheidend ist nicht nur eine Übersetzung, die inhaltlich verständlich ist, sondern eine, die sich als Artikel natürlich liest.
Deshalb habe ich nun, wenn auch etwas spät, auf maschinelle Übersetzung mit einem LLM umgestellt.
Letztes Jahr haben wir die Seite mit Google Translate mehrsprachig gemacht, und der DR ist dadurch von 30 auf 19 gesunken.
Der Grund für den Wechsel zu einem LLM liegt nicht allein in der Übersetzungsqualität.
Als wir die Artikel mit Google Translate mehrsprachig ausgeliefert haben, haben wir auch viele Aspekte des SEO-Setups verändert. Da wir jedoch gleich acht Sprachen auf einmal eingeführt haben, ist der Linkjuice drastisch eingebrochen.
Der DR laut Ahrefs ist von 30 auf 19 gefallen. 😨
Das entspricht einem Minus von 11 Punkten.
Der Rückgang war ziemlich heftig.
Natürlich lag der Rückgang des DR nicht allein daran, dass wir Google Translate verwendet haben. Das eigentliche Problem liegt im SEO-Design der mehrsprachigen Website, einschließlich URLs und interner Verlinkung. Es ist dringend notwendig, den gesamten Aufbau der Mehrsprachigkeit zu überprüfen, einschließlich der Übersetzungsmethode und der Art, wie übersetzte Artikel verwaltet werden!
Inzwischen sollte der DR wieder über 30 liegen, aber da wir demnächst noch ein paar Experimente planen, wird er vermutlich wieder sinken. w
steigen und fallen immer wieder...
Nach dem Vergleich hat sich gezeigt, dass Claude in unseren Artikeln am besten abgeschnitten hat.
Für den Wechsel zur Übersetzung mit LLMs haben wir mehrere Modelle geprüft und sie tatsächlich Artikel übersetzen lassen.
Dabei haben wir vor allem auf folgende Punkte geachtet.
- Ob die übersetzten Texte natürlich lesbar sind
- Ob auch lange Artikel im Kontext konsistent bleiben
- Ob Fachbegriffe und Schreibweisen einheitlich verwendet werden
- Ob das Verhältnis zwischen Überschrift und Fließtext verstanden wird
- Ob die vorgegebenen Übersetzungsregeln eingehalten werden
- Ob eigenmächtig Inhalte ergänzt werden, die nicht im Original stehen
Im Vergleich erschien uns die Übersetzung mit Claude für unsere Artikel am besten geeignet.
Damit soll nicht behauptet werden, dass Claude bei allen Übersetzungen weltweit am besten ist.
Das Ergebnis gilt lediglich für unsere Artikel und unsere Bewertungskriterien. Je nach Art, Länge und gewünschtem Stil des zu übersetzenden Textes dürften die Ergebnisse jedoch anders ausfallen.
Diesmal haben wir uns für die Claude API entschieden, da die natürliche Wirkung der Artikel für uns Priorität hatte.
Allein unter Kostengesichtspunkten ist Gemini günstiger
Bei der Übersetzungsqualität hat Claude überzeugt, betrachtet man jedoch nur die Kosten, ist Gemini günstiger.
Wir haben nicht von vornherein festgelegt, dass wir dauerhaft auf Claude setzen. Zunächst betreiben wir das System jedoch mit Claude, da dessen Übersetzungsqualität überzeugt hat!
Sollte Gemini die erforderliche Qualität ebenfalls erreichen, wechseln wir später!
Alternativ könnten wir je nach Artikeltyp auch mehrere Modelle parallel einsetzen.
Auch ein solcher Betrieb kommt für uns in Betracht.
Da sich LLMs rasant weiterentwickeln, ist das derzeit beste Modell in sechs Monaten nicht zwingend noch das beste.
Sowohl Leistung als auch Preise der Modelle ändern sich.
Jetzt das verwenden, was gut passt, und wechseln, wenn sich die Lage ändert.
Eine solche Distanz zum KI-Einsatz halte ich heutzutage für sinnvoll!
Nur für noch nicht übersetzte Artikel wird die Claude API aufgerufen.
Die Claude API wird nicht bei jeder Anzeige eines Artikels aufgerufen.
Übersetzte Artikel werden während des Builds zwischengespeichert, und ab dem nächsten Mal werden die gespeicherten Übersetzungen ausgeliefert. Die Claude API wird nur für Artikel aufgerufen, die noch nicht übersetzt wurden.
Würde jeder Aufruf eines Artikels neu übersetzt, entstünden jedes Mal API-Kosten. Außerdem würde sich die Wartezeit bis zur Anzeige verlängern.
Nur Artikel übersetzen, wenn sie benötigt werden, und einmal übersetzte Inhalte wiederverwenden.
So lassen sich sowohl die Kosten für die API-Nutzung als auch die Ladezeit in gewissem Maße reduzieren.
Artikel nach Aktualisierung neu übersetzen
Werden übersetzte Inhalte zwischengespeichert, ist außerdem eine Verarbeitung nötig, wenn der Originalartikel aktualisiert wird.
Es wäre problematisch, wenn Sie einen Japanischen Artikel korrigieren, die übersetzte Version aber weiterhin den alten Inhalt anzeigt.
Daher verwenden wir keine gespeicherte Übersetzung mehr, sobald sich der Originaltext ändert. Stattdessen wird über die Claude API neu übersetzt.
Diese Punkte passen wir gerade an, während wir das System im Alltag einsetzen.
Fazit
Was die Übersetzungsqualität betrifft, sind wir bisher mit Claude zufrieden. Angesichts der Kosten und der Genauigkeit ziehen wir jedoch durchaus in Betracht, zu einem späteren Zeitpunkt auf Modelle wie ChatGPT oder Gemini zu wechseln.
Die Experimente gehen weiter! Die Details zu SEO erkläre ich in einem separaten Artikel!!
Als Geschäftsführer immer auf Augenhöhe mit unseren Partnern. Ich verstehe neue Technologien und freue mich, wenn etwas den Alltag einfacher macht. Ich liebe die Arbeit vor Ort und tauche gern tief in Themen ein. Die Zukunftstechnologien begeistern mich, und egal wie alt man wird, möchte ich immer Neues erleben.
Tadanori Morimoto
Projektmanager / Regisseur / Gegründet 2007