Migración de traducción automática de Google Translate a Claude API | Lo que aprendimos al operar traducción con LLM

Hace aproximadamente 2 meses, migramos la traducción de nuestros artículos de Google Translate a LLM.

¿Por qué elegimos Claude? ¿Cómo funciona el sistema? Y ¿por qué elegimos Claude en lugar de Gemini, que es más económico?

Aunque todavía estamos en fase experimental, hemos documentado la arquitectura actual y nuestra forma de pensar.

Google Translate también puede traducir, por supuesto

Para empezar, no es que Google Translate fuera malo.

La traducción es rápida y es suficiente para el uso ordinario. No hemos tenido grandes problemas hasta ahora, pero cuando se trata de traducir un artículo completo, simplemente reemplazar japonés con otro idioma nos parecía insuficiente en comparación con la precisión de la IA actual.

Cada oración individual puede ser correcta, pero al leer el artículo completo resulta un poco poco natural, la traducción de las mismas palabras cambia en el camino, y por ejemplo, títulos y copys diseñados con un carácter por línea se dañan completamente.

No es suficiente una traducción que simplemente sea comprensible; necesitamos una traducción que se lea de manera natural como un artículo.

Así pues, aunque con retraso, decidimos cambiar a traducción automática utilizando LLM.

El año pasado, al expandir a varios idiomas con Google Translate, el DR bajó de 30 a 19.

No fue solo por la calidad de la traducción que decidimos cambiar a LLM.

Cuando expandimos el contenido a varios idiomas usando Google Translate, también realizamos varios cambios en el diseño alrededor de SEO, pero al soportar 8 idiomas de una vez, el jugo de enlaces se redujo drásticamente.

El DR de Ahrefs bajó de 30 a 19. 😨

Una caída de 11 puntos.

Fue una caída bastante significativa.

Por supuesto, no es una cuestión simple de que el DR bajara solo por usar Google Translate, pero el problema está en el diseño de SEO del sitio multiidioma, incluyendo URLs y enlaces internos. Realmente es urgente revisar todo el sistema de multilingüismo, incluyendo el método de traducción y cómo se estructuran los artículos traducidos.

Actualmente el DR debería haber vuelto a ser superior a 30, pero tenemos planeado hacer otro pequeño experimento pronto, así que probablemente volverá a bajar. w

Sube y baja, sube y baja...

Como resultado de la comparación, Claude fue el mejor para los artículos de nuestra empresa.

Al cambiar a traducción con LLM, investigamos varios modelos y probamos traduciendo artículos reales.

Principalmente examinamos los siguientes aspectos.

• Si el texto traducido se lee de forma natural
• Si puede mantener el contexto incluso en artículos largos
• Si puede unificar la terminología y la notación
• Si entiende la relación entre títulos y cuerpo del texto
• Si sigue las reglas de traducción que especificamos
• Si no agrega contenido que no existe en el original

Como resultado de la comparación, la traducción de Claude resultó ser la mejor para nuestros artículos.

Esto no significa que Claude sea superior en todas las traducciones del mundo.

Estos son únicamente los resultados basados en nuestros criterios de prueba y evaluación. Los resultados pueden variar según el tipo y la longitud del texto a traducir, así como el registro deseado.

En esta ocasión, priorizamos la naturalidad del artículo y adoptamos Claude API.

En cuanto al costo, Gemini es más económico.

Aunque Claude ofreció mejor calidad de traducción, Gemini es más económico si solo consideramos el costo.

No hemos decidido desde el inicio usar Claude indefinidamente. Por ahora, vamos a operarlo con Claude, que mostró la mejor calidad de traducción.

Y si Gemini también cumple con la calidad necesaria, podríamos cambiar en el futuro.
O, dependiendo del tipo de artículo, podríamos usar múltiples modelos.

También estamos considerando este tipo de estrategia operativa.

Los LLM evolucionan rápidamente, así que el mejor modelo hoy puede no serlo dentro de seis meses.
El rendimiento y el costo de los modelos cambian.

Usar lo mejor ahora y cambiar cuando la situación lo requiera.

Creo que esa distancia es lo ideal para el uso de IA hoy en día.

Solo se llama a la API de Claude para artículos no traducidos

No se llama a la API de Claude cada vez que se muestra un artículo.

Durante la compilación, almacenamos en caché las versiones traducidas de los artículos y, la próxima vez, devolvemos la traducción guardada. Solo se llama a la API de Claude para artículos que aún no se han traducido.

Si traducimos el mismo artículo cada vez que se accede a él, se incurre en cargos de API cada vez. Además, el tiempo para mostrar aumenta.

Traducir solo los artículos que se necesitan y reutilizar lo que ya se ha traducido.

Con este enfoque, es posible mantener bajo control tanto los costos de uso de la API como la velocidad de visualización.

Retraducir cuando se actualiza un artículo

Si se almacena en caché el resultado de la traducción, también es necesario gestionar qué ocurre cuando se actualiza el artículo original.

Sería un problema si se corrige un artículo en japonés pero solo se muestra el contenido anterior en la versión traducida.

Por lo tanto, si el texto original cambia, retraduc­imos usando la API de Claude en lugar de usar la traducción guardada.

Este es un área en la que estamos ajustando mientras la usamos en la práctica.

Conclusión

En cuanto a la calidad de la traducción, por ahora creemos que fue una buena decisión elegir Claude, pero considerando los costos y la precisión, naturalmente existe la posibilidad de cambiar a otros modelos como Chat GPT o Gemini en algún momento.

¡Los experimentos continúan! Escribiremos en otro artículo detalles más específicos sobre SEO.