Google Ngram, masses et universaux

Ngram Viewer est un produit gratuit de Google qui trace des courbes chronologiques pour comparer la fréquences de différents mots ou expressions sur un corpus d’environ 800 000 livres en français [2012a] (783 424 selon nos calculs). Une fois déjouées plusieurs limites documentaires et techniques, la rapidité de l’outil est impressionnante, les fonctionnalités en progrès continu, mais est-ce que la masse du corpus suffit vraiment à toucher des universaux, “la” langue, et non seulement des paroles dans l’histoire ?

Il est fréquent de récuser Google parce qu’on y a trouvé une erreur. Les erreurs nuisent à la confiance mais ne suffisent pas à réfuter des statistiques. Une exception supprime l’universalité d’une proposition, mais pas sa généralité. Si César est un dieu, alors tous les hommes ne sont pas mortels, mais la plupart restent périssables. Les statistiques ne sont pas logiques, elles acceptent des degrés entre le vrai et le faux. Il faut au contraire se méfier des données trop parfaites, comme d’une élection avec un score de 100%.

Constitution du corpus

Google books rassemble les fonds d’une quarantaine de bibliothèques qui ont été numérisés (images des pages) et océrisés (reconnaissance automatique des caractères, OCR). Les titres français proviennent de la bibliothèque municipale de Lyon, de la bibliothèque universitaire de Lausanne, mais surtout des bibliothèques universitaires américaines. On trouvera environ 90 Le rouge et le noir de Stendhal, dont des études scolaires et des tomes dépareillés, une petite quarantaine de Démocratie en Amérique de Tocqueville, et seulement deux exemplaires des Deux sources de la morale et de la religion de Bergson (en Garnier Flammarion et en Alcan 1938, mais pas en Quadrige PUF). Les séries incomplètes ne résultent pas seulement de la négligence, elles peuvent s’expliquer par des pertes, et plus souvent, par des exemplaires trop fragiles ou trop abîmés pour être numérisés. Le service public Gallica de la Bibliothèque nationale de France ne peut pas faire autrement. On pourrait souhaiter plus de rigueur documentaire, il n’est pourtant pas irrationnel de tout numériser sans tri a priori. La technique va progresser, les exemplaires sont inégalement conservés, il est moins couteux de laisser les utilisateurs trier eux-mêmes et enregistrer les statistiques de fréquentation. Une numérisation inutilisable ne sera pas lue longtemps et disparaîtra dans les dernières pages de résultats. Pour des statistiques lexicales, cette redondance devrait donc insister sur les livres en français qui intéressent particulièrement les bibliothèques étrangères, mais ce désordre n’inspire pas confiance.

Google Books (2012), nombre de titres en français par an
Google Books (2012), nombre de titres en français par an

Google books ne permet pas de télécharger la liste de tous ses titres, mais les données brutes de Ngram permettent de préciser des effectifs par années (chercher total counts). Le portrait de notre histoire est saisissant, chaque guerre et chaque révolution y creuse ses trous et ses pics, comme dans notre pyramide des âges. Nous avons constaté le même phénomène sur une bibliographie plus restreinte, 6000 titres de critique littéraire de 1800 à 1940, établis et relus depuis le catalogue BNF. Même sans doublons, 1870 et 1914 creusent un abîme. L’inflation actuelle s’explique par les techniques numériques qui démultiplient l’offre en titres (en diminuant le nombre d’exemplaires).

Effectifs Google-Books pour le français (2009) comparés aux chiffres du ministère de la culture (Electre) sur le nombre de titres par an
Effectifs de titres par an (1995–2008), à droite Google-Books français, à gauche chiffres ministère de la culture (Electre).

La série Google se termine en 2009 (année incomplète). À partir de 2004, on constate souvent des perturbations sur les statistiques lexicales. Sur plus 70 000 titres publiés en France en 2007, dont plus de 30 000 nouveauté (sans doublons), Google Books comporte environ 13 000 titres (avec doublons). Cet effectif n’est pas négligeable, mais comment fait la firme pour poursuivre l’alimentation de son catalogue lorsque le fonds complet d’une bibliothèque a été numérisé ? Est-ce que Google accède directement aux livres numériques, qui seront sans erreurs de reconnaissance de caractères ? Il semble en tous cas que le corpus Google n’est pas homogène avec le reste sur les dernières années, il est imprudent de vouloir projeter des tendances pour l’avenir sur les chiffres au-delà de 2000.

La courbe sur l’anglais est beaucoup plus régulière que celle sur le français car les centres de production sont étalés, entre les États-Unis, le Royaume-Uni, mais aussi les autres pays anglophones. Ce lissage est encore plus manifeste en espagnol (2004 : 21 741), qui voit plus l’effet de la crise de 1929 que des deux guerres mondiales. La courbe britannique reflète sa propre histoire nationale au XIXe siècle, nullement affectée par les événements du continent, mais au XXe, on retrouve un cran dès la crise économique de 1907 (jusque 1918), la crise de 1929, et un pallier après 1968 (2006 : 25 943). La courbe américaine (2007 : 107 193) repose sur plus de livres, on y repère la guerre de sécession (1861) ou les guerres mondiales, le phénomène le plus marquant est le pallier après 1968, et le passage au numérique, vers 2004. Les données pour l’allemand (2006 : 12 706) présentent une progression régulière durant le XIXe, 1848 est à peine visible, avec un petit creux dès 1867 (guerre austro-prussienne) jusque 1871. Le XXe montre une crise en 1908, la guerre 1914-1918, un effet moins prononcé qu’en France de la crise de 1929, une récupération s’amorçait en 1934, mais c’est ensuite une chute vertigineuse jusqu’en 1945, puis encore le pallier de 1968. L’Italie traverse les mêmes événements avec moins d’extrémités. Pour la langue russe (2000 : 9 800), les effectifs sont plus faibles, il n’y a pas de bibliothèque russe partenaire de Google books, pourtant les phases semblent là encore très significatives de ce que l’on sait de l’histoire. Montée jusque 1905, perturbation puis descente jusque 1920, ensuite petit plateau perturbé, et chute en 1942, haut plateau variable jusqu’en 1989, puis chute jusqu’en 1996 (7458 titres, comme en 1959), remontée jusqu’en 2000 dans un un énorme effort de traductions de l’étranger, et depuis la liberté des médias et Internet, chute.

Les doublons empêchent de clamer comme Google qu’il s’agit d’une tranche fiable de la production imprimée ([2011a] ou [2014a] : « We present a new version of the Google Books Ngram Viewer, which plots the frequency of words and phrases over the last five centuries; its data encompasses 6% of the world’s published books. »), mais il faut reconnaître que cet échantillon est au moins cohérent selon les langues, et donc probablement représentatif.

S long

Google NGram : « sont, font » (après 1500)
Google NGram : « sont, font » (après 1500)

Mais toutes les périodes ne sont pas également fiables. Dans les courbes ci dessus, les mots font et sont ont été comparés sur toute la chronologie du corpus, en proportions du nombre global de mots, ce qui cache les effectifs absolus. Avant 1650, les très grandes variations avec des trous s’expliquent par le faible nombre de titres. Jusqu’en 1800, les courbes se régularisent peu à peu, avec cependant un fait linguistique complètement aberrant. Rien ne confirme que la fréquence des verbes faire et être s’inverserait après la Révolution. Il s’agit surtout d’un problème de reconnaissance de caractère (OCR), la confusion des s et des f dans la typographie d’Ancien-Régime. Les textes Google ne sont pas relus.

Rabelais, Pantagruel, Lyon 1542,  « page de titre », sur le site des bibliothèques virtuelles humanistes.
Rabelais, Pantagruel, Lyon 1542, « page de titre », sur le site des bibliothèques virtuelles humanistes.

Mais la firme a fait beaucoup de progrès sur l’OCR. Voyez la comparaison de laft et last sur le corpus anglais dans la version initiale de 2009, et ensuite après un complet retraitement en 2012.

Google Ngram, corpus anglais 2009, ”laft” et “last” entre 1750 et 1850
Google Ngram, corpus anglais 2009 « laft, last » (entre 1750 et 1850)
Google Ngram, corpus anglais 2012, ”laft” et “last” entre 1750 et 1850
Google Ngram, corpus anglais 2012 « laft, last » (entre 1750 et 1850)

Cependant la comparaison n’est pas toujours aussi flatteuse, essayez par exemple en anglais : « fay, say », en italien : « quefto, questo », ou en espagnol : « efta, esta ». Google laisse penser que le s long ”ſ“ est devenu moins fréquent que le ”s” standard vers 1760 en espagnol, vers 1779 en italien, 1787 en français, et 1799 en anglais. Mais la tolérance aux erreurs a des limites, un texte comme ci-dessous semble inutilisable, sauf pour témoigner des technologies OCR dans les années 2010.

« E ne \rra chose ínutileme oysifuc, ‘- ueu que sommes de seíour, uous ra menteuoir la premiere source , 8C origine , dont nous est nay le bqn Panta— grucL » (début de Pantagruel selon Google)
« CE ne sera chose inutile ne oysifve, veu que sommes de sejour, vous ramentevoir la premiere source & origine dont nous est né le bon Pantagruel. » (début de Pantagruel dans la transcription de Tours)

Requêtes subtiles

On retrouve une réalité inévitable des humanités numériques pour le moment, il est plus difficile de travailler avant 1800. Si cette frontière n’a pas encore été repoussée, l’outil offre des fonctionnalités linguistiques d’une rapidité impressionnante. Il est par exemple possible de poser des questions aussi abstraites que : quels sont les mots plus souvent au pluriel ou au singulier, déterminés par un article défini, ou indéfini ?

Google Ngram, « *=>le,*=>la,*=>les » (après 1800)
Google Ngram, « *=>le,*=>la,*=>les » (après 1800)

Il est théoriquement possible de demander des catégories grammaticales (le corpus est étiqueté, mais pas lemmatisé). Ainsi en anglais, la requête *_NOUN donne les noms les plus fréquents : time, people, years, life, part, man, day, God, men, Mr. Les résultats en français sont moins convaincants, les “substantifs” français les plus fréquents selon Google seraient (2014), « *_NOUN » : l’, L’, p. (page), d’, c’est, temps, °, 1, qu’il, M. Il suffirait de demander à un natif un peu soigneux pour corriger de telles bévues. En attendant, cette requête « *=>le,*=>la,*=>les » donne de meilleurs résultats et illustre les dernières fonctionnalités de Google Ngram. “*” signifie n’importe quel mot, et “=>” est un opérateur de dépendance. “*=>le” signifie mot régissant “le”, autrement dit, généralement un substantif dans un groupe nominal. Le parseur utilisé par Google n’est pas sans erreurs, son modèle grammatical est discutable, mais cela donne moins de bruit qu’une simple proximité. Ainsi « le * » donnera en premier résultat, le plus (souvent, grand, important…), tandis que « *=>le » donne monde. Les mots les plus fréquents déterminés par un article défini sont : vie, monde, fois, fin, société, cas, France, loi, temps, guerre, nature, ville, droit

La langue ne peut pas s’observer hors l’histoire

Google Ngram : france, guerre (après 1800)
Google Ngram : france, guerre (après 1800)

Même avec un gros corpus, il n’est pas possible d’observer la langue indépendamment de l’histoire. Le pic entre 1910 et 1920 est le mot : guerre, que l’on retrouve en 1870, 1914, et dès 1934. La France et la guerre fluctuent ensemble, et la plus grande semble bien celle de 1914. Une liste de fréquence dépend nécessairement du corpus. Dans un corpus web on trouvera par exemple : marché, pays, millions, Belgique (?), mois, taux, année… Étienne Brunet a établi une liste lemmatisée des mots les plus fréquents pour l’Éducation Nationale sur le corpus Frantext (littérature XIXe–XXe). Le corpus est plus petit, mais la numérisation a été relue. Il trouve : homme, mari, femme, jour, mer, temps, main, chose, vie, yeux, heure, monde, enfant… La passion politique n’est pas absente, mais elle passe après les parties du corps ou la nature.

Brunet retrouve la liste de Swadesh (1909–1967), un linguiste disciple de Sapir (1884–1939) qui chercha à établir un vocabulaire minimal stable pour comparer des dizaines de langues amérindiennes. Comme toutes les autres langues, les amérindiens importent du vocabulaire étranger. Quels sont les mots qui nous appartiennent en propre, que l’on ne reprendra de personne ? Les premiers substantifs sont : femme, homme, humain, enfant, épouse, mari, mère, père ; le champ lexical de la famille, auquel succède l’animal, le végétal, ou le corps humain.

Frantext semble plus propre que Google books a rejoindre cette généralité des universaux, alors qu’il contient moins de livres. La littérature est déjà un filtre qui s’abstrait du provisoire pour rechercher le durable. Cependant la liste comporte encore des oublis, et des intrus. L’observation peut donner des idées, des ordres de grandeur, mais pas modéliser. Nous retrouvons la leçon grecque, le cercle idéal n’existe pas, mais il est plus durable que tous les cercles visibles.

Conclusion

Google Ngram souffre de biais importants, notamment parce que la composition exacte du corpus n’est pas connue. Il n’est pas non plus possible d’obtenir des concordances complètes, d’autant moins lorsque les livres sont sous droits. Le libraire sélectionne alors lui-même les extraits qu’il suppose attractifs. Des corpus libres, plus petits, et de meilleure qualité, peuvent s’avérer plus précis selon les recherches. Cependant le coût de constitution est tel que pour une première esquisse, Google a une rapidité qui devient un atout scientifique. Cela permet d’éliminer rapidement des requêtes sans intérêt, de vérifier un résultat en testant les opposés et les similaires. Mais l’apparente masse de données ne suffit pas à atteindre une objectivité automatique. Nous ne sommes pas dispensé de conscience et de responsabilité, d’interpréter. Les humanités numériques apportent de nouveaux faits qui ne vont pas remplacer l’intelligence.

Post-scriptum

La bibliographie est indigente, surtout en français. Que les collègues me pardonnent, j’entre tout juste dans la communauté, j’ai écrit sans connaître ces deux articles ci-dessous.


Frédéric Glorieux

Ingénieur informatique

More Posts - Twitter - Flickr

Publié par

Frédéric Glorieux

Ingénieur informatique

3 réflexions au sujet de « Google Ngram, masses et universaux »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.