IA escreve monótono em 70 de 70 células, em 3 línguas. E o corpus humano em português veio do TabNews

Ontem publiquei meu terceiro paper no Zenodo. Ele mostrou que texto gerado por IA em japonês varia muito menos o tamanho das frases do que texto humano, e que os sete modelos testados desviam todos na mesma direção. Chamei o fenômeno de “sotaque de máquina”.

Depois de publicar, uma coisa ficou me incomodando. Sotaque pertence ao falante. Ele te acompanha em qualquer língua que você tente falar. Só que eu tinha medido apenas japonês. Se a monotonia sumisse em inglês ou português, meu “sotaque” nunca foi sotaque. Era um fato sobre o japonês.

Nome de fenômeno precisa merecer a própria metáfora.

Então hoje saiu o paper número quatro. Estas são as notas de campo, minas incluídas.

O desenho do experimento

Duas hipóteses. H1: se o sotaque é real, a monotonização aparece em inglês e português com a mesma direção (d < 0) em todos os modelos. H2: a direção se mantém, mas a intensidade pode variar por língua.

Os corpora humanos precisavam ser pré-ChatGPT. Para o inglês, peguei 853 posts mais populares de todos os tempos do Dev.to, de janeiro de 2019 a outubro de 2022.

Para o português, tive sorte. O TabNews abriu em maio de 2022. O ChatGPT chegou em 30 de novembro do mesmo ano. Sobra uma janela de sete meses em que todo post é garantidamente humano, e eu peguei a janela inteira: 403 posts. Curta, mas à prova de contaminação. Se você postou no TabNews em 2022, parabéns: você virou baseline científico.

Do lado da IA: 7 modelos × 10 temas × 5 tentativas × 2 línguas, com o mesmo prompt zero-shot do estudo japonês, traduzido. As definições de métrica vieram sem mudança: burstiness, CV do tamanho de frase, CV da estrutura de parágrafo. Só duas adaptações. As moras do japonês viraram aproximação de sílabas via pyphen, e a divisão de frases usa uma regex única para as duas línguas em vez do pysbd, que não suporta português. Misturar divisores confundiria a diferença de língua com diferença de ferramenta.

Medições novas: 1.202 documentos em inglês + 751 em português, 1.953 no total. Os números do japonês vêm direto do terceiro paper publicado.

Mina 1: meus modelos tinham se aposentado

Na hora de gerar, Claude 3 Haiku, Sonnet 4 e Opus 4 devolveram 404. Os três modelos Claude do estudo japonês tinham sido aposentados da API.

Para um desenho de replicação, dói. Mesmos modelos, outra língua: quebrado. Substituí pelos tiers atuais (Haiku 4.5, Sonnet 5, Opus 4.8) e restringi a comparação direta com o japonês aos quatro modelos que os dois estudos compartilham (GPT-3.5 Turbo, GPT-4o, GPT-OSS 20B, Llama 3.2 1B). O paper declara a substituição sem rodeio.

Irritante na hora. No fim, entrega o achado mais interessante do estudo.

Mina 2: o GPT-4o embrulha o documento inteiro num bloco de código

No começo da medição, 35 documentos do GPT-4o voltaram como “0 frases”. Abrir os arquivos explicou: o documento inteiro estava dentro de um fence ```markdown. Minha exclusão de blocos de código, que existe para código não poluir estatística de ritmo, engolia o artigo como um bloco gigante. A correção desembrulha só o fence externo com a tag markdown. Fence sem tag fica intacto, porque pode ser código de verdade.

Parece nota de rodapé. Não é: sem a correção, um terço da amostra do GPT-4o (35 de 100 documentos) some em silêncio. Em português, quase metade.

Resultado: 70 células, 70 negativas

Cinco métricas centrais (três variantes de burstiness, dois CVs de tamanho de frase) × 7 modelos × 2 línguas dá 70 células. Todas saíram d < 0: IA mais monótona que humanos. A direção sobrevive à residualização por tamanho de documento nas 70. Zero exceções.

Efeitos agregados, ao lado do resultado japonês:

burstiness (char)	japonês	inglês	português
d de Cohen	−0,96	−1,12	−1,03

Três línguas, uma faixa só em torno de −1. E a ordem também se preserva: entre os quatro modelos compartilhados, o GPT-3.5 Turbo é o mais monótono em todas as línguas, e o GPT-OSS 20B fica mais perto da faixa humana em todas. A força do sotaque acompanha o modelo de língua em língua, com ranking e tudo.

O sotaque viaja.

A vírgula é a exceção

Uma métrica se recusou a alinhar: vírgulas por frase. Em inglês, a IA usa mais vírgula que humanos (d = +0,45). Em português, menos (d = −0,83).

A explicação mora do lado humano. Quem escreve em português usa em média 1,14 vírgula por frase; em inglês, 0,58. Os modelos se acomodam entre 0,6 e 0,7 nas duas línguas, uma espécie de meio-termo de livro didático. Comparado com o inglês econômico em vírgulas, parece excesso. Comparado com o brasileiro que adora uma vírgula, parece falta. Comportamento idêntico, sinal oposto, decidido inteiramente pela convenção local usada na comparação.

O ritmo cruza línguas com a direção intacta. A pontuação inverte conforme o ponto de referência. Esse contraste virou o framework do paper.

Três camadas: assinatura, sotaque, dialeto

O terceiro paper organizava os traços de texto de IA em duas camadas: vocabulário como assinatura específica de cada modelo, ritmo como sotaque compartilhado das máquinas. O resultado da vírgula é um terceiro tipo de traço que não cabe em nenhuma das duas.

• Assinatura (vocabulário): diverge por modelo. Diz qual máquina escreveu
• Sotaque (ritmo): compartilhado por todos os modelos, persiste entre línguas. Diz que uma máquina escreveu
• Dialeto (pontuação): o comportamento é compartilhado, mas o sinal visível inverte com a convenção da língua de comparação

Um documento escrito por máquina carrega os três tipos de traço, em camadas separadas. Essa é a tese central do paper.

O sotaque está desbotando

Aqui entra o presente da mina 1. Como o elenco de modelos mudou, os dados têm o GPT-3.5 de 2023 e o tier Claude atual de 2026 lado a lado.

No burstiness (char) em inglês, o GPT-3.5 Turbo marca d = −2,59. A geração Claude atual marca de −0,59 a −0,96, cerca de um terço disso na média. O português mostra a mesma proporção. Modelo mais novo escreve ritmo bem mais perto da faixa humana.

Ou seja: detecção de IA baseada em ritmo provavelmente tem prazo de validade.

O sotaque vai sendo treinado para fora, geração a geração. Para melhorar escrita, a mesma tendência corta no sentido contrário: quanto mais perto da faixa humana o modelo chega, mais precisamente uma métrica de ritmo aponta a monotonia que sobrou. Valor de detecção e valor de edição andam em direções opostas, exatamente o formato da conclusão do terceiro paper.

A parte prática: lint de ritmo cruza línguas, limiar não

O recado para ferramentas é curto. A direção das métricas de ritmo é a mesma nas três línguas, então a lógica de lint porta sem mudança. As distribuições diferem, então os limiares pedem calibração por língua.

O rhythm-lens, CLI que lancei semana passada, traz os baselines de inglês e português deste estudo desde a v0.2.0.

pip install rhythm-lens
rhythm-lens rascunho.md            # língua detectada automaticamente (ja/en/pt)
rhythm-lens --lang pt rascunho.md  # ou explícita

Este post passou pela ferramenta antes de publicar. Ela me reprovou na primeira rodada, e eu reescrevi minha estrutura de parágrafos para satisfazer meu próprio linter. Ferramenta que morde o autor me parece bom sinal.

Paper e dados

O paper está no Zenodo (texto CC-BY 4.0, código e dados MIT no GitHub). Os textos dos corpora humanos não são redistribuídos; o repositório traz metadados e scripts de recoleta.

• Paper: 10.5281/zenodo.21424903
• Código e dados: github.com/kenimo49/llm-rhythm-crosslingual
• Terceiro paper (vocabulário vs. ritmo em japonês): 10.5281/zenodo.21413035

Acabou virando uma continuação publicada 24 horas depois do original. E nada disso funciona sem comunidades que preservaram sua escrita pré-ChatGPT. Se o seu post de 2022 no TabNews está no baseline: obrigado pelo ritmo.