ChatGPT et les combats dans les Vosges

ChatGPT, l’outil conversationnel basé sur l’Intelligence Artificielle fait parler de lui depuis quelques mois. Beaucoup annoncent une révolution, d’autres trouvent déjà les limites de cet outil qui répond à toutes vos questions. Microsoft vient de l’intégrer dans une première version de son moteur de recherche Bing, mais en demandant de s’incrire sur une liste d’attente pour y accéder. C’est ce que je viens de faire et d’être tout de suite éligible ! Et il me vient alors l’idée de tester l’outil en lui posant quelques questions sur les combats du commandant Barberot dans les Vosges. Résultats …

Commençons par une question générale, en demandant qui est Charles Barberot.

La réponse reprend l’article Wikipédia et est exacte. Elle arrive à faire une synthèse de sa carrière militaire. En revanche, ses ouvrages sont mal cités, et sa pensée d’avant-guerre probablement mal interprêtée. Dommage. Il vaut mieux aller directement sur l’article.

Passons maintenant sur les opérations militaires.

Campagne d’Alsace

Je commence par une question très générale, discutée dans de nombreuses sources. Le résultat devrait être bon.

La réponse est synthétique et de qualité. ChatGPT a pu trouver des sources pour affiner sa réponse. Et suggère des questions intéressantes liées à sa réponse. Je clique sur l’une d’elles.

La réponse est exacte mais simple et on n’apprendra pas grand chose. Passons à la suite.

Le col des Journaux

Passons maintenant à une question sur les combats de début septembre 1914, en testant une question générale sur la compréhension d’un événement militaire assez confidentiel. Je dois dire que la question reste pointue et que je suis dubitatif sur la réponse que le chat pourrait fournir :

La réponse au moins admet la difficulté de la question :

Comme souvent, la source comprend au moins mon blog mais on voit aussi que sur un terme aussi pointu, la machine peine à bien saisir le contexte et mélange plusieurs éléments sans liens. Ici, les journaux ne sont pas des publications, mais il associe les deux en les reliant par la thématique guerrière. Et de définir le repli comme une sorte de prise de maquis de résistants de la 2e guerre mondiale.

Essayons alors de voir s’il a des choses à dire sur les officiers blessés et de regarder si leur carrière est bien retracée, sachant qu’il n’existe pas d’article dédié. Je pose donc une question générale sur le chef du 133e RI qui sera blessé en septembre 1914.

La réponse n’est pas exacte et ChatGPT semble s’appuyer sur plusieurs sources qu’il ré-interprête mal en lisant de manière erronée que le colonel Dutreuil et le 133e RI ont été engagé dans la bataille de la Marne.

Les combats de la Fontenelle

Je reteste une interrogation sur un autre officier bien connu du 133e RI pour voir le résultat.

Le résultat est très succint mais les « trois lettres » attirent ma curiosité.

Je vais donc sur le lien (La mort du Lieutenant-colonel Dayet – Les découvertes du chamois (canalblog.com)), mais c’est une semi déception. Il ne s’agit pas de lettres du lieutenant-colonel Dayet mais de lettres d’un soldat du 133e sur la récupération du corps. Je cherche d’autres liens mais sans succès. Il n’est pas facile de voir exactement comment la réponse a été construite et si elle est fiable.

J’essaie alors une deuxième question en me referrant à l’attaque allemande qui suit la mort du colonel Dayet.

ChatGPT n’a pas trouvé d’informations sur cet événement mais va puiser dans l’attaque de juillet 1915 qui permet aux Français de reprendre le secteur. La question trouve donc une réponse inexacte.

La bataille de Metzeral et la cote 830

Je souhaite d’abord tester les capacités rédactionnelles de ChatGPT en lui demandant de rédiger un ordre du jour. La première réponse est une liste de conseils.

Résultat surprenant, car ChatGPT n’a pas bien saisi le contexte militaire de la demande et vient avec des conseils s’appliquant à des réunions d’entreprise. Imaginons la scène … le commandant Barberot donne un titre général, réfléchit à tout ce que les « participants  » (ses hommes) veulent entendre, prévoit les horaires (et les pauses !) de l’assaut, désigne les responsables, indique les ordres qu’il a reçu et déclare tout cela en conformité avec le réglèment … peut être cela peut fonctionner.

Je demande du coup une rédaction effective.

Chat GPT comme par analyser ce qu’est la cote 830 puis dans un deuxième temps démarre la rédaction :

L’ordre du jour a l’air d’utiliser le vrai texte du commandant, en tout cas son plan général. Mais au milieu de la rédaction, c’est le bug. ChatGPT arrête son écriture.

Pourquoi s’arrête-t-il ? Difficile de le dire mais il y a peut être quelque chose qui amène Microsoft à ne pas vouloir aller jusqu’au bout.

La bataille du Linge

Je commence par demander l’objectif de la bataille du Linge pour l’état-major français.

Oui, l’objectif était de déboucher sur Munster par les cols. L’adage était : « qui tient le haut tient le bas ». Mais il y a eu débat car le général de Pouydraguin suggérait plutôt de pousser dans la vallée après la bataille de Metzeral. Pour beaucoup d’historiens, dont Florian Hensel, dans tous les cas cette objectif n’était pas pertinent car l’Alsace aurait été indéfendable dans les plaines.

J’enchaîne sur une deuxième question.

La réponse n’est pas fausse, mais il faut ajouter le facteur temps notamment donné aux Allemands pour se préparer, l’offensive française ayant été anticipée. Il faut aussi voir l’acharnement de l’état-major alors que très vite, il est apparu que la percée ne serait pas possible.

Aie … réponse fausse. Manifestement, ChatGPT n’a pas lu l’étude d’Eric Mansuy et reste inspiré par la « fable » des 10 000 morts français (l’expression ne vient pas de moi). Non, les Français ont eu environ 2 300 tués, mais 12 000 pertes, d’après l’estimation d’Eric. C’est déjà beaucoup. Merci à ChatGPT de ne pas citer mon blog comme source !

Quelques correspondants de ce blog à l’épreuve de ChatGPT

Je termine mes quelques tentatives en demandant des précisions sur plusieurs fins connaisseurs des combats dans les Vosges. Et je me garde à la fin pour voir si j’en suis …

Je démarre avec Florian Hensel, qui m’a souvent donné de précieuses informations sur le Linge.

Bonne réponse sur Florian. Tous ses livres ne sont pas cités mais c’est un bon résumé. Le seul problème est que l’un des ouvrages n’a jamais été publié par lui !

J’essaie maintenant Yann Prouillet, le gérant d’Edhisto et surtout mon distributeur/éditeur.

Bon résultat encore un fois. J’apprends même que Yann est romancier, ce qui ne m’était pas connu. En fait, il indique à la lecture de l’article qu’il ne l’est pas. Quand on ne sait pas, on peut vite être égaré…

Je passe à Eric Mansuy, que les lecteurs de ce blog connaissent bien. Il est l’auteur d’un des articles les plus consultés sur le cadres du 5e BCP blessés ou tués. Voyons le résultat de la question :

Aie !!! ChatGPT s’emmêle les pinceaux et fusionne Eric avec un homonyme. On voit dans les sources que l’engin puise dans « jeune Afrique ». On voit à nouveau ici les dangers de croire un résultat.

Passons maintenant à moi même …

Résultat très simple qui reprend ma fiche sur Linked In. Aucune référence à mon blog. Manifestement, le robot préfère les épiciers aux lettrés. Dommage … je ne suis pas du sérail.

Ma conclusion sur ChatGPT

Quand il s’agit de traiter des questions précises sur des événements historiques localisées, il ne vaut mieux pas se fier aujourd’hui à l’outil. Une recherche personnelle de sources et un travail humain restent pour l’instant bien supérieur à ce que la machine a su produire. L’expérience est finalement ludique, mais peu convaincant. Et surtout, il montre que tout cela n’est fondé que sur ce qui est disponible sur le web, sans évaluer la qualité éventuelle. Il n’est pas difficile de voir comment on pourra influencer les réponses…