Kaa :linux: 🧶<p>Comme j'ai dû lire la note qui fait le buzz "La Fièvre parlementaire : ce monde où<br>l’on catche !" (<a href="https://www.cepremap.fr/depot/2025/01/2025-01-Fievre-Parlementaire.pdf" rel="nofollow noopener noreferrer" translate="no" target="_blank"><span class="invisible">https://www.</span><span class="ellipsis">cepremap.fr/depot/2025/01/2025</span><span class="invisible">-01-Fievre-Parlementaire.pdf</span></a>) pour en évaluer le sérieux scientifique et qu'au final ça ne servira pas, voici mes retours de taliste (n'hésitez-pas à ajouter vos propres remarques) : </p><p>- Ce ne sont ni des talistes, ni des linguistes, il y a donc des différences disciplinaires, à la fois sur le fond et sur la forme, ce n'est donc pas facile à lire</p><p>- Je vois 3 endroits où ils disent avoir utilisé des technos de TAL :<br> - 1 - pour le filtrage du début (classification binaire) : émotionnel / rationnel<br> - 2 - pour l'analyse de sentiments (émotions)<br> - 3 - pour l'indicateur de polarisation<br>Il est mentionné aussi un "degré de conflictualité des discours", mais je ne vois pas à quoi cela correspond je dois dire.</p><p>- Les technos utilisées ne sont pas claires : pour 1, on sait que c'est (Chat)GPT 4o mini, mais pour le reste, on ne sait pas exactement. </p><p>- Les paramètres des expés ne sont pas explicites : combien de fois ont-ils fait passer les prompts (sachant que ces technos ne sont pas déterministes, il faut faire tourner plusieurs fois et faire des moyennes, par ex) ? quelle température pour les expés (plus c bas, plus c déterministe, mais jamais totalement) ?</p><p>Si on part sur du ChatGPT 4o mini pour la tâche 2 (3 étant des embeddings, c'est forcément autre chose), alors la question se pose des performances sur la tâche (ici, analyse de sentiments). Si on regarde sur le site d'OpenAI (<a href="https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/" rel="nofollow noopener noreferrer" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">openai.com/index/gpt-4o-mini-a</span><span class="invisible">dvancing-cost-efficient-intelligence/</span></a>), on peut lire qu'il a été testé sur différents benchmarks et on y trouve les résultats. Disons qu'on les croit. <br>Quels sont ces benchmarks ? Eh bien on les retrouve ici un peu décrits : <a href="https://wielded.com/blog/gpt-4o-benchmark-detailed-comparison-with-claude-and-gemini" rel="nofollow noopener noreferrer" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">wielded.com/blog/gpt-4o-benchm</span><span class="invisible">ark-detailed-comparison-with-claude-and-gemini</span></a>.<br>Où l'on peut voir nulle part l'analyse de sentiments.<br>Encore moins en français.</p><p>Donc, l'**article présente toute une série d'expériences (sans les détailler suffisamment) réalisées à partir d'un outil dont on ne connaît pas les performances sur la tâche réalisée, encore moins pour la langue en question**. 1/n</p><p><a href="https://social.sciences.re/tags/tal" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>tal</span></a> <a href="https://social.sciences.re/tags/nlp" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>nlp</span></a> <a href="https://social.sciences.re/tags/politique" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>politique</span></a> <a href="https://social.sciences.re/tags/chatgpt" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>chatgpt</span></a> <br><span class="h-card" translate="no"><a href="https://mastodon.zaclys.com/@MarCandea" class="u-url mention" rel="nofollow noopener noreferrer" target="_blank">@<span>MarCandea</span></a></span> <span class="h-card" translate="no"><a href="https://social.sciences.re/@tract_linguistes" class="u-url mention" rel="nofollow noopener noreferrer" target="_blank">@<span>tract_linguistes</span></a></span> <span class="h-card" translate="no"><a href="https://wikis.world/@Poslovitch" class="u-url mention" rel="nofollow noopener noreferrer" target="_blank">@<span>Poslovitch</span></a></span> <span class="h-card" translate="no"><a href="https://mediapart.social/@mediapart" class="u-url mention" rel="nofollow noopener noreferrer" target="_blank">@<span>mediapart</span></a></span> <a href="https://social.sciences.re/tags/media" class="mention hashtag" rel="nofollow noopener noreferrer" target="_blank">#<span>media</span></a> (voir le pouet de <span class="h-card" translate="no"><a href="https://mastodon.zaclys.com/@MarCandea" class="u-url mention" rel="nofollow noopener noreferrer" target="_blank">@<span>MarCandea</span></a></span> ci-dessous)</p>