The Impact of AI-Generated Text on the Internet
We find that by mid-2025, roughly 35% of newly published websites were classified as AI-generated or AI-assisted
AI-generated text detection is itself an open problem, so rather than committing to a single detector, we experiment with four prominent methods selected based on their performance on the RAID benchmark [...] In a stratified sample of the US population, we surveyed 853 adults about their AI usage habits, their general view of AI's impact on society, and their beliefs about six specific hypothesized negative impacts of AI-generated text on the internet.
Hypothesis 1: Semantic Contraction → Confirmed • ρ = 0.47, p = 0.004 "As AI text becomes more common on the internet, the range of unique ideas and diverse viewpoints shrinks."
Pas si étonnant, le texte généré pour le SEO et la visibilité à tendance à occuper les même champs sémantiques populaires.
Hypothesis 2: Truth Decay → Not Confirmed • ρ = −0.19, p = 0.27 "As AI content becomes more common on the internet, I am encountering factually incorrect information and hallucinations more frequently."
Dur de faire confiance à un panel pour évaluer la "vérité". Ils n'expliquent pas comment est calculé le Factual Error Rate. L'étude dit que plus la probabilité de génération par IA est grande, moins le contenu a de probabilité d'être faux. Contre-intuitif et j'aurais tendance à pensé que c'est biaisé. Peut être que le contenu IA est tellement vide de sens (ne fait pas référence à un fait donné), qu'il est difficile d'en extraire quelque chose de vérifiable ?
Hypothesis 3: Positivity Shift Confirmed • ρ = 0.56, p = 0.0003 "As AI content becomes more common on the internet, online writing feels increasingly sanitized and artificially cheerful."
Je suis surpris aussi, sur les 6 hypothèses je n'aurais pas parié sur celle là.
Hypothesis 4: Epistemic Islands Not Confirmed • ρ = −0.12, p = 0.48 "As AI content becomes more common on the internet, articles are increasingly providing answers without including links to external sources."
Surpris aussi. Sauf si la majeure partie du contenu est du contenu SEO avec auto-références par conception. Après relecture, en fait l'indicateur est Nombre de liens externes vs AI likelihood.
Hypothesis 5: Entropy Dilution Not Confirmed • ρ = −0.02, p = 0.89 "As AI content becomes more common on the internet, content is becoming significantly longer in word count while having lower semantic density."
Pas si étonnant. L'IA a un vocabulaire plus étendu qu'un humain. Surpris par le critère Gzip compression ratio.
Hypothesis 6: Stylistic Monoculture Not Confirmed • ρ = 0.24, p = 0.17 "As AI content becomes more common on the internet, distinct individual writing styles are disappearing in favor of a generic, uniform voice."
Très critique sur la métrique de comparaison : ça me semble assez faible comme métrique de comparer la similarité de Jaccard sur des 3-grams pour parler du style. J'ai l'impression que mon détecteur d'IA interne est bien plus complexe et abstrait que ça : les structures de phrases, les tournures de phrases, les figures de styles. Plutôt une complexification systématique du discours.
En conclusion, tout ce que l'on peut conclure de cette étude c'est que 1) les idées sont moins diversifiées
Extraits cités issus de ce lien visité le , crédits: Jonas Dolezal, Sawood Alam, Mark Graham, Maty Bohacek