Un moteur de recherche pour les journalistes ?

Si vous deviez réunir un groupe de journalistes pour discuter de ce qui fait une bonne qualité dans leur domaine, ils se disputeraient pendant des heures. Oui, ils seraient d’accord sur les éléments: des rapports originaux et sur le terrain, des enquêtes basées sur des documents plutôt que des sources anonymes et une analyse intelligente basée sur des faits plutôt que sur des opinions. Mais ils ne sont pas d’accord sur l’importance d’une bonne rédaction, des attributions nécessaires et d’innombrables autres nuances. En tant que journaliste travaillant partout dans le monde avec tout le monde, de Reuters au New Yorker en passant par le Daily Mail et Vice, j’ai vu de vastes lacunes dans la façon dont les rédacteurs en chef et les journalistes voyaient la qualité. Mes propres opinions à ce sujet ont été façonnées par une formation non journalistique en mathématiques, en physique et en programmation.
Les discussions sans fin sur la baisse des revenus de l’industrie des médias ne parviennent souvent pas à résoudre le fait qu’une grande partie de l’industrie, en partie seulement en raison de la baisse des revenus, produit des déchets: des articles superficiels et bâclés conçus pour n’être rien de plus qu’un vecteur de revenus publicitaires. Les lecteurs se retrouvent souvent avec opinion non sollicitée, «banalyse» plutôt qu’analyse et certainement pas les premières ébauches de l’histoire. Mais ce n’est pas mal du tout. Les grands et petits organes de presse produisent un excellent travail malgré les problèmes profonds de l’industrie. Le problème est de savoir comment le trouver – et encourager les gens à le faire – à grande échelle.
Chez Deepnews, nous construisons un algorithme pour différencier le journalisme de haute et de basse qualité basé sur rien d’autre que le texte d’un article. Cela signifie que non seulement les mesures de ce qui fait que le journalisme de qualité doit être convenu, mais elles doivent également être mises dans le langage précis du code. C’est une tâche difficile et notre modèle ne sera jamais à l’épreuve des balles – comment un algorithme pourrait-il dire si un journaliste a fait une citation, par exemple – mais ce qui m’a étonné ces derniers mois, c’est que cela fonctionne du tout.
L’informatique est sans aucun doute capable de prouesses incroyables, même en ce qui concerne la complexité du langage humain. GPT-3, un générateur de langage d’apprentissage automatique, a récemment pu écrire un Guardian article d’opinion. La pièce a nécessité un travail manuel, selon les éditeurs de Guardian, et le produit final utilisait un langage agréable mais, en fin de compte, n’avait aucun sens – précisément le type de journalisme que Deepnews souhaite éliminer. L’écriture est l’une des facettes de la capacité du machine learning. Un autre est de prédire ce que veulent les utilisateurs; il est déjà utilisé pour personnaliser vos résultats de recherche Google, vos choix vidéo YouTube et Netflix et, bien sûr, vos flux Facebook et Twitter. Cela fonctionne remarquablement bien mais, bien entendu, la qualité n’est pas l’objectif premier de ces entreprises.
Actuellement, le produit principal de Deepnews est un ensemble de newsletters semi-automatisées sur divers sujets, choisis par l’algorithme, puis par un éditeur humain qui est l’équivalent de l’éditeur Guardian découpant la sortie de GPT-3 pour publier un article d’opinion quelque peu passable. Mais, en fin de compte, cela ne met pas en évidence le bon travail de notre algorithme. Il est masqué par un processus éditorial et ressemble donc à n’importe quel autre bulletin d’information qui rassemble des articles en ligne. Pour cette raison, nous développons actuellement une interface à travers laquelle les utilisateurs peuvent voir les résultats de dizaines de milliers d’articles notés chaque jour en temps réel, sans intervention éditoriale.
Mais le frontend est le plus facile. Qu’en est-il de l’algorithme qui choisit les histoires que les utilisateurs voient? Comment, exactement, fonctionnerait cet algorithme de notation des actualités? Quels paramètres y entreraient? Comment entraîneriez-vous l’algorithme?
Il existe essentiellement deux façons d’obtenir un ordinateur pour marquer quelque chose comme un article de presse. Nous pourrions le programmer pour rechercher dans les articles des expressions telles que «selon des documents» ou «selon des sources anonymes» et augmenter ou diminuer un score arbitraire en conséquence. Nous pourrions également augmenter ce score en fonction du décompte des adjectifs, des citations, des personnages, des entreprises ou des pays mentionnés. Nous pourrions compter le nombre d ‘«experts» cités et même rechercher par programme leur expertise et, encore une fois, pousser légèrement le score. Ce serait une forme d’examen déterministe et ingénue – mais pourrait donnent des résultats de premier ordre quelque peu utiles.
Mais notre tâche, compte tenu de la complexité du langage, du reportage et, bien sûr, des nombreux types de journalisme, est vraiment adaptée à l’apprentissage automatique. L’apprentissage automatique examine le problème dans l’autre sens. Si les scores sont alimentés pour un ensemble d’articles, un algorithme d’apprentissage automatique fonctionne à rebours pour déterminer les paramètres qui ont conduit à ces scores – puis peut noter de nouveaux articles en utilisant ce qu’il a appris. Un algorithme apprendrait précisément ce qui faisait un journalisme de bonne qualité compte tenu, bien sûr, des opinions de ceux qui étiquetaient les articles originaux.
Dans un monde idéal, nous lirions, analyserions et noterions des dizaines de milliers d’articles de presse et les intégrerions au modèle. Mais cela prendrait de nombreuses années. À l’autre bout de l’échelle, nous pourrions simplement qualifier tous les articles lauréats du prix Pulitzer de bons et tous les articles Breitbart de mauvais – mais cela fausserait fortement notre algorithme le long de dimensions politiques et autres, tout en perpétuant l’existant, idées imparfaites sur ce qu’est un bon journalisme. (Ceux au sein de l’industrie savent bien que les Pulitzers sont souvent plus une question de politique que de prouesse.) Nous voulons que les lecteurs trouvent du bon travail par des organes de presse et des journalistes qui ne se concentrent pas sur le marketing: agences de presse mondiales, petits médias locaux ou un professeur obscur qui écrit un article de blog.
Au départ, Deepnews a opté pour un terrain d’entente. Les articles ont été largement regroupés par éditeur (ce qui va à l’encontre des arguments idéalistes ci-dessus), puis les étudiants en journalisme ont été formés à analyser les articles en utilisant des paramètres sur lesquels l’équipe était largement d’accord. On leur a demandé de donner la priorité aux articles originaux, approfondis et bien rapportés. Cela s’est avéré être un bon début et, à la fin, nous avons produit un ensemble de formation de dizaines de milliers d’articles.
Une fois que nous avons eu quelques données d’entraînement initial, nous les avons introduites dans une abstraction mathématique / programmatique connue sous le nom de réseau de neurones, conçue pour émuler le cerveau humain en passant des données à travers des millions de neurones, chaque réglage eux-mêmes à un élément du texte et déterminer sa pertinence par rapport à la note finale. Notre modèle initial a donné des résultats assez solides, bons sur certains genres et mauvais sur d’autres, référencement google mais certainement meilleurs que le hasard.
Le réglage fin des données d’entraînement et de l’architecture du réseau neuronal est l’endroit où la magie opère. Nous devons encore élaborer un meilleur ensemble de formation et ensuite, une fois que nous avons cela, penser au type de réseau – simple, convolutif, récurrent ou une combinaison de ces méthodes et d’autres? C’est ce avec quoi nous jouons au fur et à mesure que nous faisons évoluer le modèle, et ce que j’écrirai dans les prochains articles.
En fin de compte, toutes les nouvelles que vous lisez sont choisies par un algorithme, qu’il s’agisse d’une information floue dans le cerveau d’un éditeur si vous prenez un certain journal, ou d’un journal plus mathématique dont les objectifs peuvent ou non correspondre aux vôtres. L’utilisation de notre nouvelle interface bêta pour comparer notre sortie brute et non éditée à celle des médias sociaux et même des agrégateurs de nouvelles montre un étonnant différence: le journalisme présenté par Deepnews est du journalisme que je veux vraiment lire!