Big techs e laboratórios
Modelos de IA cobram mais de quem não usa inglês
Segundo o Rest of World, um estudo da Coalition for Language Equity in AI Research (CLEAR), publicado no mês passado, mediu quantos tokens os modelos precisam para processar o mesmo conteúdo em idiomas diferentes. Entre os 20 idiomas mais usados na internet, o mais caro exigiu de 1,5 a 5 vezes mais tokens que o mais barato. Ampliando para 200 idiomas, a diferença chegou a 17 vezes num dos modelos. Tokens são as unidades de texto que o modelo processa e pelas quais a API cobra. Mais tokens significam conta maior, resposta mais lenta e menos espaço de contexto para documentos e histórico. Os pesquisadores chamam o efeito de "imposto do tokenizador". A reportagem não informa o resultado específico do português.
O que está por trás
Os tokenizadores são treinados com muito mais texto em inglês, então palavras de outros idiomas são quebradas em mais pedaços. O laboratório cobra por token, não por palavra, e o custo extra recai sobre quem opera fora do inglês. Para quem usa IA em escala no atendimento ou em documentos, a diferença entra direto na margem.
Para levar
Ao comparar preço de modelos, rode uma amostra dos seus próprios textos em português e meça o custo por tarefa; a tabela de preço por milhão de tokens não mostra essa diferença.