Ongeveer twee maanden geleden zijn we met onze artikelvertalingen overgestapt van Google Translate naar een LLM.
Waarom we voor Claude hebben gekozen. Hoe het systeem werkt. En waarom we Claude hebben gekozen en niet het goedkopere Gemini.
We zijn nog midden in het experiment, maar hieronder vatten we de huidige opzet en de gedachtegang erachter samen.
Met Google Translate kun je uiteraard ook prima vertalen
Vooraf: Google Translate is niet mislukt.
Het vertaalt snel en voor gewoon gebruik is het ruimschoots voldoende. Er waren tot nu toe ook geen grote problemen. Toch voelde het bij het vertalen van volledige artikelen alsnog ontoereikend in vergelijking met de huidige AI, omdat het simpelweg vervangen van de Japanse tekst door een andere taal niet voldoende nauwkeurigheid oplevert.
Zin voor zin klopt de vertaling meestal wel, maar gelezen als geheel klinkt het soms onnatuurlijk, en dezelfde term wordt halverwege het artikel soms anders vertaald. Ook koppen en teksten waarin de letters bewust als vormgeving zijn gebruikt, zoals titels die per letter worden gescheiden, gaan dan kapot.
Het moet niet alleen de betekenis overbrengen, maar ook als een artikel natuurlijk leesbaar zijn, toch?
Daarom zijn we eindelijk, al wat later dan gepland, overgestapt op machinale vertaling met een LLM.
Vorig jaar hebben we de content met Google Translate in meerdere talen uitgebracht, en daarna is de DR van 30 naar 19 gedaald.
De reden om over te stappen op een LLM is niet alleen de vertaalkwaliteit.
Toen we artikelen met Google Translate in meerdere talen publiceerden, hebben we ook veel aan de SEO-opzet veranderd, maar doordat we in één keer acht talen toevoegden, daalde de linkwaarde sterk.
De DR in Ahrefs is van 30 naar 19 gezakt. 😨
Dat is een daling van 11 punten.
Dat is behoorlijk fors gedaald.
Natuurlijk ligt het niet simpelweg aan het feit dat we Google Translate hebben gebruikt en de DR daardoor is gedaald, maar het echte probleem is de SEO-opzet van de meertalige site, inclusief URL's en interne links. Het is dringend nodig om het hele systeem van meertalig maken te herzien, inclusief de vertaalmethode en de manier waarop vertaalde artikelen worden beheerd!
Inmiddels zou de DR weer boven de 30 moeten zijn, maar omdat we binnenkort weer wat experimenten gaan doen, verwachten we dat hij opnieuw zal dalen. w
Op en neer...
Na vergelijking bleek Claude het beste resultaat te geven voor onze artikelen.
Bij de overstap naar vertaling met een LLM hebben we meerdere modellen onderzocht en daadwerkelijk artikelen laten vertalen.
We letten vooral op de volgende punten.
- Of de vertaalde tekst natuurlijk leest
- Of de context ook bij lange artikelen behouden blijft
- Of terminologie en schrijfwijze consistent kunnen worden gehouden
- Of de relatie tussen koppen en lopende tekst wordt begrepen
- Of de opgegeven vertaalregels worden opgevolgd
- Of er geen inhoud wordt toegevoegd die niet in het origineel staat
In our comparison, Claude came out on top for our articles.
This does not mean that Claude is the best translation tool in the world.
These results are based only on our articles and our evaluation criteria. I believe the outcome may change depending on the type and length of the text being translated and the writing style required.
For this project, we chose the Claude API, prioritizing natural-sounding article text.
If cost is the only factor, Gemini is cheaper.
Claude delivered better translation quality, but if you look only at cost, Gemini is cheaper.
We have not decided to use Claude indefinitely. For now, we will start with Claude, which gave us better translation quality, and see how it performs!
If Gemini can meet the required quality as well, we may switch to it later!
Alternatively, we may use different models depending on the type of article.
We are also considering this kind of approach.
LLMs change quickly, so the model that performs best today may not be the best one six months from now.
Both model performance and pricing can change.
Gebruik nu wat goed werkt en schakel over zodra de situatie verandert.
Voor het huidige gebruik van AI lijkt zo'n afstand een goede balans te zijn!
Alleen artikelen die nog niet vertaald zijn, roepen de Claude API aan
De Claude API wordt niet aangeroepen telkens wanneer een artikel wordt weergegeven.
Vertaalde artikelen worden tijdens de build in de cache opgeslagen en bij volgende verzoeken wordt de opgeslagen vertaling teruggegeven. De Claude API wordt alleen aangeroepen voor artikelen die nog niet zijn vertaald.
Als een artikel bij elk bezoek opnieuw wordt vertaald, ontstaan er telkens API-kosten. De wachttijd voordat de pagina verschijnt, wordt ook langer.
Alleen artikelen die nodig zijn, worden vertaald, en een eenmaal vertaald artikel wordt hergebruikt.
Met deze opzet worden zowel de API-kosten als de laadsnelheid tot op zekere hoogte beperkt.
Vertaal opnieuw wanneer een artikel is bijgewerkt
Bij het cachen van vertalingen is ook een proces nodig voor wanneer het oorspronkelijke artikel wordt bijgewerkt.
Het zou vervelend zijn als de Japanse artikelen worden gecorrigeerd, maar de vertaalde versie nog steeds de oude inhoud toont.
Daarom gebruiken we, wanneer de brontekst verandert, niet langer de opgeslagen vertaling, maar laten we opnieuw vertalen via de Claude API.
Dit is iets waar we nog steeds aan sleutelen terwijl we het in de praktijk gebruiken.
Conclusie
Wat de vertaalkwaliteit betreft zijn we tot nu toe tevreden met onze keuze voor Claude. Gezien kosten en nauwkeurigheid is het echter zeker mogelijk dat we op een gegeven moment overstappen naar modellen zoals ChatGPT of Gemini.
Het experiment gaat door! We schrijven binnenkort een apart artikel over de details van SEO!
Hoewel hij directeur is, werkt hij altijd als gesprekspartner van de klant. Hij raakt enthousiast van het begrijpen van nieuwe technologieën en van het moment dat iets handiger wordt, en duikt daar volledig in. Een echte praktijkmens die van de werkvloer houdt. Hij blijft ook op latere leeftijd graag nieuwe ervaringen opdoen en kijkt uit naar toekomstige technologieën.
Tadanori Morimoto
Projectmanager / Director / Opgericht in 2007