Como testamos

Esta página declara exatamente o que o DeAIze mede, como uma reescrita é aceita e como ler os números que publicamos. Ela foi escrita para que qualquer pessoa possa verificar nossas afirmações com seu próprio texto.

1. O que é uma pontuação de detecção

Os detectores não detectam autoria; eles detectam regularidade estatística. Texto gerado por máquina tende a ser mais previsível do que a escrita humana — menor perplexidade, ritmo de frase mais uniforme, menos surpresas lexicais. Toda pontuação que você vê, incluindo a nossa, é uma estimativa de probabilidade desse sinal, não uma medição de quem escreveu o texto.

2. Pontuação em nível de frase

Uma única pontuação de documento não diz nada sobre onde está o problema. Destaque traços de IA por frase — identifique exatamente quais linhas reescrever. As pontuações por frase são o que o ciclo de reescrita utiliza, e são o que o workbench destaca.

3. O ciclo fechado

Reescreva, compare com o seu significado original e mantenha a versão que soa como você. Um candidato a reescrita só é aceito quando a similaridade semântica com o original ultrapassa um limite, e é por isso que o significado é preservado e por que a ferramenta relata um "reembolso automático em caso de no-op" quando não consegue melhorar uma passagem em vez de inventar uma alteração.

4. Verificações cruzadas do detector

Uma previsão do nosso próprio modelo não é evidência. Onde uma API de detector está configurada, a etapa de verificação envia o texto reescrito ao detector real e registra esse resultado. A contagem dessas execuções é publicada na página de estatísticas para que o número de verificações de terceiros por trás dos nossos números seja visível. Uma taxa de aprovação relatada não é uma verificação cruzada: apenas as execuções realmente enviadas a uma API de detector são contadas ali.

5. O que significa a "pontuação humana prevista"

É a estimativa do nosso próprio modelo de quão humano o resultado soa — uma métrica direcional para acompanhar a melhoria, não uma pontuação oficial de qualquer detector de terceiros. Quando citamos um número de terceiros (GPTZero, Turnitin, Copyleaks, Originality.ai, Sapling) nós o dizemos e, quando podemos, registramos a execução como uma verificação cruzada.

Pontuações humanas relatadas pelos detectores. As pontuações humanas mostradas na página inicial e na página de estatísticas são números próprios que DeAIze relata para o seu próprio resultado de reescrita. Os fornecedores de detectores não os publicam e não os auditaram, e eles não são uma garantia para qualquer documento individual. O indicador de escrita por IA da Turnitin não tem API pública de pontuação, então a entrada Turnitin não é uma leitura de API ao vivo; os outros quatro podem ser reexecutados através das suas APIs públicas, e essas execuções são contadas como verificações cruzadas sob o §4. Datamos os números e não os apresentamos como um benchmark independente.

6. Limites e divulgação

• As pontuações dos detetores variam conforme a versão, o idioma, o comprimento do texto e o domínio. Um número sem data e sem versão do detetor não é reproduzível, por isso datamos os nossos números publicados.
• O desempenho em idiomas diferentes do inglês é mais fraco do que em inglês, e textos curtos são mais ruidosos do que textos longos.
• Quando publicamos um benchmark, ele inclui o tamanho da amostra, a data do teste e as versões dos detetores. As pontuações humanas na página inicial estão rotuladas como números reportados em primeira mão, e não como um benchmark auditado, porque é isso que são.
• Os falsos positivos são reais e prejudiciais. Se um detetor sinalizar o seu próprio texto, humanizar o seu rascunho é uma resposta legítima a um gatekeeper probabilístico — deturpar o trabalho de outra pessoa não é.

Correções

Se algum número aqui não puder ser reproduzido, diga-nos e iremos corrigi-lo: [email protected].