Il s’avère que l’obtention de vos nouvelles des robots jouant au téléphone avec des sources réelles n’est peut-être pas la meilleure idée. Dans un Étude de la BBC d’Openai, Google Gemini, Microsoft Copilot et les prouesses de Perplexity’s News, l’organisation de presse a constaté que «51% de toutes les réponses de l’IA» sur les sujets d’actualités avaient «des problèmes importants d’une certaine forme».
L’étude impliquait de demander à chaque bot de répondre à 100 questions sur les nouvelles, en utilisant des sources de la BBC lorsqu’elles sont disponibles, leurs réponses étant ensuite notées par «des journalistes qui étaient des experts pertinents dans le sujet de l’article».
Quelques exemples de problèmes incluent les Gémeaux suggérant que le NHS du Royaume-Uni (National Health Service) ne recommande pas le vapotage comme méthode pour arrêter de fumer (il fait), ainsi que Chatgpt et Copilot disant que les politiciens qui avaient quitté leurs fonctions seraient toujours leurs conditions. Plus préoccupant, la perplexité a déformé une histoire de la BBC sur l’Iran et Israël, attribuant des points de vue à l’auteur et à ses sources que l’article ne partage pas.
En ce qui concerne ses propres articles spécifiquement, La BBC Dit 19% des résumés de l’IA ont introduit ce type d’erreurs factuelles, hallucinant de fausses déclarations, des nombres et des dates. De plus, 13% des devis directs ont été «soit modifiés par rapport à la source d’origine ou non présents dans l’article cité».
Les inexactitudes n’étaient pas entièrement réparties entre les bots, bien que cela puisse être confortable comme un confort froid étant donné qu’aucun ne fonctionnait particulièrement bien non plus.
« Le copilote de Microsoft et les Gémeaux de Google ont eu des problèmes plus importants que le chatppt et la perplexité d’Openai », dit la BBC, mais d’un revers, de la perplexité et du chatpt, chacun avait encore des problèmes avec plus de 40% des réponses.
Dans un blogLa PDG de la BBC, Deborah Turness, avait des mots durs pour les entreprises testées, affirmant que si l’IA offre des «opportunités infinies», les implémentations actuelles de l’informatique «jouent avec le feu».
« Nous vivons dans des temps troublés », a écrit Turness. « Combien de temps durera-t-il avant qu’un titre à disposition de l’IA ne cause un préjudice réel important? »
L’étude n’est pas la première fois que la BBC appelle les résumés des nouvelles de l’IA, car ses rapports antérieurs a convaincu Apple de fermer ses propres résumés d’informations sur l’IA Le mois dernier.
Les journalistes ont également précédemment têtes butted avec perplexité pour les préoccupations du droit d’auteuravec des câbles accusant le bot de contourner les murs de paiement et le Le New York Times envoie à l’entreprise une lettre de cession et de désir. News Corp, propriétaire du New York Post et des revues de Wall Street, est allée plus loin et est Actuellement poursuivre la perplexité.
Pour effectuer ses tests, la BBC a temporairement levé les restrictions empêchant l’IA d’accéder à ses sites, mais les a depuis rétablies. Quelle que soit ces blocs et ces mots durs, cependant, l’organisation de presse n’est pas contre l’IA en règle générale.
«Nous voulons que les entreprises de l’IA entendent nos préoccupations et travaillent de manière constructive avec nous», indique l’étude de la BBC. «Nous voulons comprendre comment ils seront rectifiés les problèmes que nous avons identifiés et discuter de la bonne approche à long terme pour assurer l’exactitude et la fiabilité des assistants de l’IA. Nous sommes prêts à travailler en étroite collaboration avec eux pour le faire. »
