Test ChatGPT vs Claude 3 : Anthropic peut-il battre la superstar d'OpenAI ?

Depuis que ChatGPT a été introduit dans le monde il y a plus de 18 mois, une gamme d'autres chatbots ont également été déployés. Certains se sont révélés utiles, mais d’autres moins. Mais avec Gemini (anciennement Bard) , le chatbot qui s'est révélé plus que compétitif est Claude, créé par la startup d'IA Anthropic.

Nous avons organisé un face-à-face ChatGPT vs Claude 3 pour marquer le lancement de Claude 3, une famille de modèles linguistiques qui comprend Claude 3 Haiku, Claude 3 Sonnet et Claude 3 Opus. Selon Anthropic, soutenu par Google, Claude 3 fonctionne mieux que la famille de modèles de langage GPT qui alimente ChatGPT sur une série de tests cognitifs de référence. Lors de nos tests, nous avons constaté que Claude s'exprime mieux que ChatGPT et que ses réponses sont généralement mieux écrites et plus faciles à lire.

Mais comment se comparent-ils côte à côte ? Pour le savoir, nous avons posé à ChatGPT et Claude 3 une variété de questions différentes, allant des requêtes conçues pour tester l'approche du chatbot aux questions éthiques jusqu'à la génération de formules de feuilles de calcul.

Dans ce guide :

• Claude 3 vs ChatGPT : quelle est la différence ?
• Claude 3 vs ChatGPT : test face-à-face
• Claude 3 vs ChatGPT : UI et expérience utilisateur
• Claude 3 vs ChatGPT : Données et confidentialité
• Utiliser Claude 3 et ChatGPT au travail

Claude 3 vs ChatGPT : quelle est la différence ?

Claude 3 est une nouvelle famille de modèles de langage d'Anthropic, utilisée pour alimenter leur chatbot Claude. Il existe (par coïncidence) 3 modèles : Haiku, Sonnet et Opus. Actuellement, Claude Sonnet alimente la version gratuite de Claude et traite les informations 2 fois plus rapidement que Claude 2.1, dit Anthropic.

Claude Opus, quant à lui, alimente la version pro. Les résultats de référence d'Anthropic illustrés ci-dessous montrent que Claude Opus dépasse GPT-4, ainsi que Claude Sonnet plus performant que GPT-3.5.

Comment Claude 3 se compare à ChatGPT et Gemini sur les tests de référence. Image : Anthropique

Depuis son lancement, ChatGPT a été alimenté par différents membres de la famille de modèles linguistiques GPT. Les utilisateurs gratuits ont actuellement accès à GPT-3.5, tandis que GPT-4 alimente ChatGPT Plus, qui coûte 20 $ par mois pour un abonnement. C'est le même prix que Claude Pro. Voici quelques différences clés entre les logiciels :

ChatGPT vs Claude 3 : test face-à-face

Nous avons confronté ChatGPT et Claude, en leur posant 13 questions très différentes conçues pour tester des aspects tels que le raisonnement et le traitement du langage naturel, mais aussi leur capacité à accomplir des tâches pratiques sur le lieu de travail, comme numériser des documents à la recherche d'informations et rédiger des e-mails. .

J'ai constaté que Claude produisait une meilleure réponse sur sept des tests, tandis que ChatGPT triomphait sur trois . Les quatre autres (y compris l'un des tests de brainstorming) se sont soldés par des égalités, ce qui signifie que Claude a remporté ce match . Voici la liste complète des questions que nous avons posées aux deux chatbots :

1. Raisonnement éthique
2. Création de descriptions de produits
3. Idées de brainstorming (2 tests)
4. Compréhension du langage naturel
5. Résumer le texte
6. Conseils personnels
7. Analyser le texte
8. Fournir des informations factuelles
9. Écriture créative
10. Écrire des poèmes
11. Énigmes et raisonnement
12. Composer un e-mail
13. Création de formules de feuille de calcul

1. Raisonnement éthique

Tout d’abord, j’ai posé un dilemme éthique difficile à ChatGPT et Claude. J'ai choisi ce dilemme en particulier parce que la bonne réponse (s'il y en a une) n'est pas nécessairement claire ou simple :

Un homme conduit une voiture blindée dans un centre-ville, avec l'intention de faire le plus de dégâts et de causer le plus de mal possible. Il a trois passagers en otage à l'arrière de la voiture. La voiture est si bien blindée que ceux qui se trouvent à l’intérieur survivront à n’importe quelle collision. Cependant, vous avez la possibilité de faire exploser la voiture à distance à l'aide d'un lance-roquettes. Devriez-vous faire exploser la voiture, tuant tout le monde à l'intérieur, mais sauvant les victimes imminentes du déchaînement de l'homme ?

La réponse de Claude a été extrêmement sensible aux difficultés de la situation et a apporté une réponse globalement très humaine. Il semble comprendre la gravité de la situation – et le chatbot avait presque l’air ému lorsqu’il parlait de la situation. Cela l’a rendu très convaincant.

ChatGPT, quant à lui, expose clairement les différents points de vue et approches que vous pourriez adopter face à la situation. Il reprend bon nombre des mêmes considérations que Claude et fait référence aux difficultés de la situation.

La réponse de Claude était beaucoup plus claire, et j'ai tendance à préférer les chatbots pour donner cette réponse de style « aperçu » à des dilemmes éthiques difficiles, car ces réponses sont plus utiles (et moins dangereuses) à servir aux acteurs humains que des jugements absolus.

Meilleure réponse? Claude

2. Création de descriptions de produits

Si vous exploitez une boutique en ligne ou vendez simplement de nombreux produits en ligne, créer des descriptions de produits uniques et convaincantes pour chacun d'entre eux n'est pas une tâche facile. J'ai donc demandé à ChatGPT et Claude de rédiger une description de produit pour le même produit : une horloge numérique. Voici comment Claude s'en est sorti :

J'ai fini par demander à Claude une description un peu plus longue, car je ne l'ai pas vu écrire autant de descriptions de produits que ChatGPT. Et au final, cela a fait du très bon travail – la construction de la phrase est impressionnante et la copie est vraiment convaincante.

Dans l'ensemble, les descriptions de produits générées par Claude sont meilleures que celles de ChatGPT. Tout comme son raisonnement éthique, cela semble bien plus humain. Si vous créiez en masse des descriptions de produits avec ces deux outils, vous auriez à faire beaucoup moins de modifications pour celles générées avec Claude.

Meilleure réponse? Claude

3. Remue-méninges d’idées

Ensuite, j'ai défini à Claude et ChatGPT deux tâches de brainstorming : trouver des idées d'articles de blog pour deux blogs très différents. Le premier est destiné à un blog gastronomique fictif, car je voulais voir à quel point les deux chatbots étaient utiles pour générer des idées engageantes.

J'ai ensuite également demandé des idées de blog sur la santé mentale pour voir si elles donneraient le bon « ton », car un langage plus sérieux et plus sobre est nécessaire pour ce type de contenu.

Articles de blog gastronomique

Encore une fois, Claude gagne dans cette tâche. Il fournit des titres plus complets et son explication montre qu'il comprend clairement pourquoi le public peut vouloir lire les articles de blog qu'il a suggérés. Cela serait utile pour quelqu'un sur le point de produire ce contenu, car il est en fait utile de comprendre ce raisonnement et de l'appliquer lors de l'écriture.

ChatGPT ne montre pas vraiment qu'il fonctionne de la même manière, et tout bien considéré, les idées sont plus génériques. Ils sont beaucoup plus vagues que ceux de Claude, et ils semblent avoir été suggérés par un humain ayant une certaine compréhension de la stratégie et de la production de contenu, et non par un chatbot IA.

Meilleure réponse? Claude

Articles de blog sur la santé mentale

Ensuite, je voulais voir si les deux chatbots pouvaient ajuster leur ton et l'approche qu'ils adoptaient en matière de suggestions lorsqu'on leur demandait de générer des articles de blog sur un sujet plus sensible qui nécessiterait plus de sincérité qu'un guide gastronomique. Voici la tentative de Claude :

Ce sont toutes d’excellentes suggestions et elles donnent certainement le bon ton – il n’y a rien d’extraordinaire ici. Cependant, comme vous pouvez le voir sur l'image ci-dessous, ChatGPT nous a également donné quelques idées appropriées et a fourni un niveau similaire d'instructions supplémentaires en ce qui concerne le contenu. Ici, il n'y a vraiment pas moyen de les séparer !

Meilleure réponse? Cravate

4. Comprendre le langage naturel

Ensuite, je voulais voir si une question mathématique bien connue qui joue sur nos intuitions mathématiques ferait trébucher ChatGPT ou Claude.

Matt a une pomme et une banane qui coûtent ensemble 3,10 $. La pomme coûte 3,00 $ de plus que la banane. Combien coûte la banane ?

Même si vous pensez au départ que la réponse est de 10 cents, il ne s'agit en réalité que de cinq cents. Claude était trop intelligent pour se laisser berner et a expliqué exactement comment il est arrivé à la bonne réponse :

Ne voulant pas être gêné, ChatGPT a également craché la bonne réponse, ce qui signifie qu'il n'y a vraiment rien pour séparer les deux poids lourds dans ce tour.

Meilleure réponse? Cravate

5. Résumer le texte

ChatGPT et Claude sont tous deux très capables de résumer de grandes quantités de texte, en extrayant les points clés afin que leurs utilisateurs n'aient pas à lire le tout. Pour ce test, je leur ai demandé de résumer un article récent du Guardian sur le discours final sur l'état de l'Union du président Joe Biden.

Claude a fait un très bon travail en gardant ses résumés courts et concis :

Les ChatGPT sont également plus que satisfaisants – mais si nous devons les diviser, je dois dire que je préfère celui de Claude. Il ne cherche pas à vous surcharger d'informations – ce qui est important, étant donné que nous avons demandé un résumé – et encore une fois, il est simplement mieux rédigé.

Meilleure réponse? Claude

6. Conseils personnels

Pour ce test, je voulais voir comment ChatGPT et Claude réagissaient si on leur demandait de donner des conseils personnels à une personne touchée par une mauvaise santé mentale. Il est essentiel que des outils comme celui-ci puissent répondre de manière productive et appropriée à ces demandes, d'autant plus qu'elles s'intègrent davantage dans nos vies. Voici la réponse de Claude :

Ce sont peut-être les réponses les plus similaires fournies par ces deux chatbots parmi les 13 tests que nous avons effectués. Pour être honnête, il est difficile de critiquer ces réponses, qui commencent par valider les sentiments des utilisateurs avant de passer aux actions qu'ils peuvent entreprendre.

Les deux chatbots ont suggéré de prendre des mesures très similaires, et le même type de mesures que toute personne bien intentionnée suggérerait à un ami confronté aux problèmes spécifiés dans l'invite.

Meilleure réponse? Cravate

7. Analyser le texte

Il s'agit d'un test très basique pour voir dans quelle mesure un chatbot est capable de numériser du texte. Pour ce test, j’ai pris un extrait d’un article de la Harvard Business Review et j’y ai inséré le mot « beachball » cinq fois. J'ai également ajouté quelques variantes proches (ballons de plage » et « ballons pour la plage ») pour voir si l'un ou l'autre des chatbots serait confus.

Ce n’est pas la première fois que Claude fait mouche, scannant le texte et comptant correctement le nombre de fois où j’ai utilisé le mot ballon de plage. Contrairement à ChatGPT, si vous collez trop de texte dans Claude, il le soumettra comme une sorte de « document », comme le montre l'image ci-dessous :

Malheureusement, ChatGPT a eu une mauvaise réponse : il n’a pu identifier que deux instances du mot, soit moins de la moitié du nombre total. ChatGPT semble spécifiquement avoir du mal avec ce genre de tâche. Je l'ai récemment mis en face-à-face avec Gemini et j'ai inclus une tâche similaire, et il n'a pas réussi à identifier le nombre de fois qu'un certain mot est apparu dans un bloc de texte cette fois-là également.

Meilleure réponse? Claude

8. Fournir des informations factuelles

Pour cette tâche, je voulais voir à quel point ChatGPT et Claude étaient capables de fournir une réponse à une question qui n'est pas nécessairement claire mais qui est néanmoins fondée sur des faits. Je leur ai donc demandé à tous les deux d’expliquer comment et pourquoi les dinosaures ont disparu – un phénomène pour lequel il existe plusieurs explications et facteurs historiques et scientifiques.

Tout d'abord, Claude donne un très bon aperçu des théories et des vérités généralement acceptées sur l'extinction des dinosaures.

Claude fournit à nouveau une explication incroyablement articulée, qui comprend à peu près toutes les mêmes informations que ChatGPT – il les expose simplement et en parle d'une meilleure manière. Il fait également référence au fait que les dinosaures n'ont pas tous disparu en même temps, un point important que ChatGPT n'a pas inclus.

Meilleure réponse? Claude

9. Écriture créative

Qui écrit les meilleures histoires, ChatGPT ou Claude ? Nous leur avons demandé à tous les deux une courte histoire de 300 mots. Claude est le premier :

Étrangement, Claude m'a en fait fourni une courte histoire de 301 mots, soit un mot de plus que le nombre de mots spécifié. ChatGPT, en revanche, s'est rapproché du brief – et a écrit une histoire légèrement meilleure, à mon avis.

Je dois donner celui-ci à ChatGPT, tout simplement parce que Claude a non seulement ignoré mes instructions, mais me l'a frotté au visage avant de commencer l'histoire ! Blague à part, il est étrange qu'il ait choisi de dépasser d'une si petite marge le nombre de mots très clairement spécifié, et cela aussi délibérément.

Meilleure réponse? ChatGPT

10. Écrire des poèmes

ChatGPT et Claude ont tous deux opté pour des structures similaires pour les poèmes que nous leur avons demandé de générer, ce qui rend encore une fois très difficile de les séparer. Claude a opté pour des vers de quatre vers avec des distiques rimés :

Et ChatGPT a effectivement fait de même. Ils sont également tous deux restés très proches des informations que j'ai fournies dans l'invite, de sorte que les histoires racontées par les poèmes sont également très similaires. La rapidité avec laquelle ces deux chatbots peuvent produire une poésie convaincante est quelque chose.

Malgré les similitudes, après avoir lu les deux plusieurs fois, je vais confier celui-ci à Claude – la structure est légèrement plus complexe dans quelques domaines, et il y a des fioritures et des tournures de phrases plus agréables.

Meilleure réponse? Claude

11. Énigmes et raisonnement

Pour cette tâche, nous avons demandé aux deux chatbots de résoudre une énigme. Claude s'est levé le premier et a eu raison de sa réponse, expliquant clairement pourquoi la femme de chambre est la coupable.

ChatGPT a également répondu correctement à l'énigme, il n'y a donc vraiment rien qui les sépare à cet égard.

Meilleure réponse? Cravate

12. Composer un e-mail

Ici, j'ai demandé à ChatGPT et Claude de rédiger un e-mail à mon patron expliquant pourquoi je devrais être autorisé à passer au travail entièrement à distance. Claude a écrit un e-mail parfaitement utilisable, comme vous pouvez le voir ci-dessous :

Cependant, ChatGPT semble plus professionnel et vous devrez faire beaucoup moins de modifications avant de l'envoyer à votre patron. Claude plonge dans le stress que le trajet est censé m'avoir causé, et même si cela mérite d'être mentionné, l'introduction de ChatGPT est beaucoup plus diplomatique.

Compte tenu de la proximité de la réponse de ChatGPT avec l'article terminé, je dois le couronner vainqueur de celui-ci.

Meilleure réponse? ChatGPT

13. Création de formules de feuille de calcul

Pour ce test final, j'ai demandé à ChatGPT et Claude de générer pour moi une formule de feuille de calcul. Voici la demande que j'ai envoyée :

La colonne B contient un ensemble de valeurs. Je souhaite les faire correspondre aux valeurs correspondantes de la colonne E dans la feuille « Filtrer vers le bas » et prendre les valeurs correspondantes des colonnes F, G et H dans le filtre jusqu'à la feuille actuelle à l'aide d'une formule.

Voici comment Claude s'en est sorti :

"Claude a essayé de créer une formule simple et polyvalente qui utilise l'endroit où elle est placée dans la feuille pour déterminer quoi faire, ce qui est cool, mais elle ne fonctionnera probablement pas aussi rapidement et sera probablement cassée, pour être honnête." Déclare Matthew Bentley, expert résident de Tech.co en matière de feuilles de calcul.

« Il n'est pas nécessaire de compliquer à l'excès des demandes simples », a-t-il poursuivi. «ChatGPT pour celui-ci, je pense que c'est mieux. C'est une requête Vlookup assez simple et ne nécessite pas toute cette formule supplémentaire fournie par Claude ».

Meilleure réponse? ChatGPT

Claude 3 vs ChatGPT : UI et expérience utilisateur

Bien entendu, ChatGPT et Claude sont tous deux assez simples à utiliser et leurs interfaces se ressemblent beaucoup en termes de format et de structure. La même chose peut être dite de Gemini, Perplexity AI et Copilot . La plupart de ces chatbots offrent une expérience utilisateur fluide et simple.

J’aime cependant le ton apaisant qu’Anthropic a choisi pour Claude, car il correspond à l’attitude du chatbot, peut-être un peu plus mesurée que certains de ses concurrents. ChatGPT, en revanche, peut parfois sembler un peu clinique avec sa palette de couleurs grisâtres. Dans l’ensemble, le design d’Anthropic est juste un peu plus agréable que celui des ChatGPT.

Comme Gemini, Claude fait généralement un meilleur travail de formatage de ses réponses, ce pour quoi ChatGPT n'est pas aussi bon (pour en savoir plus, consultez notre face-à-face Gemini vs ChatGPT ). Bien que j'aie vu ChatGPT utiliser le plus souvent des en-têtes pour diviser le texte, j'ai aimé la façon dont Claude formate ses réponses. Une autre grande chose que Claude propose est un style de police différent qui est plus facile à lire pour les personnes dyslexiques.

Cependant, ChatGPT est totalement gratuit, sans limite sur le nombre de questions que vous pouvez poser – la version gratuite de Claude, en revanche, vous bloquera si vous posez trop de questions et vous obligera à attendre 3 à 4 heures avant. vous êtes autorisé à demander davantage. Cela le rend moins adapté aux personnes qui souhaitent un chatbot pour travailler, mais qui ne veulent rien payer.

Claude 3 vs ChatGPT : Données et confidentialité

Claude 3 et ChatGPT traitent leurs utilisateurs différemment. Si vous êtes préoccupé par votre vie privée, il est important de savoir ce qu'ils enregistrent, stockent et consultent, et ce qu'ils ne font pas. ChatGPT se réserve le droit d'utiliser vos données pour entraîner ses modèles, et Claude fait de même. OpenAI et Anthropic affirment crypter de bout en bout la connexion entre leurs serveurs et les utilisateurs pour une sécurité maximale.

Cependant, les utilisateurs professionnels et professionnels de Claude verront leurs invites et sorties automatiquement supprimées dans les 28 jours suivant leur réception ou leur génération, sauf lorsqu'ils sont légalement obligés de les conserver pendant une période plus longue ou que vous en acceptez autrement. Les invites des utilisateurs grand public verront leurs invites supprimées après 90 jours, mais si l'une de vos invites est signalée comme potentiellement malveillante, nuisible ou dangereuse, elle peut être conservée jusqu'à deux ans.

Ce que ChatGPT fait avec vos données est légèrement différent. Essentiellement, si vous souhaitez enregistrer vos discussions et que ChatGPT les conserve sur le système, vous acceptez également qu'elles puissent être utilisées pour entraîner le modèle et, en ce sens, qu'elles soient accessibles à d'autres humains. Si vous désactivez l'historique des discussions, vous ne pourrez enregistrer aucune de vos discussions, mais ChatGPT ne l'utilisera pas pour entraîner ses modèles. Toutes les données commerciales stockées dans l'API ChatGPT ne sont pas utilisées pour former les LLM GPT.

Utiliser des chatbots au travail

Bien sûr, les entreprises peuvent utiliser ChatGPT et Claude de nombreuses façons pour leur travail – en fait, nous en avons mentionné plusieurs dans cet article. Mais si vous utilisez régulièrement des chatbots au travail, certains points méritent d’être pris en compte.

Par exemple, votre entreprise dispose-t-elle d’un ensemble de directives pour l’utilisation des outils d’IA ? En cas de doute, vous devez clarifier ce point avec votre responsable ou le chef de votre service. Vous ne le savez peut-être pas encore, mais votre entreprise peut avoir des règles strictes sur les types de données que vous pouvez saisir dans des outils tiers, et peut-être même dans des outils d'IA plus spécifiquement.

Deuxièmement, vous devez être ouvert et transparent sur votre utilisation de l’IA, notamment auprès de votre supérieur hiérarchique. Le débat sur les tâches qu'il est approprié d'utiliser des chatbots IA est en cours, et d'autres personnes de votre entreprise pourraient avoir une idée différente de ce qui est acceptable pour vous. De plus, la plupart des managers et chefs d’entreprise pensent que vous devriez demander l’autorisation avant d’utiliser des outils d’IA.

Quelle que soit la tâche pour laquelle vous utilisez des outils d'IA, n'oubliez pas de vérifier leur travail comme s'il avait été effectué par un nouvel employé. Bien qu’ils soient effroyablement rapides et incroyablement précis la plupart du temps, les outils d’IA peuvent bien sûr halluciner et fournir des informations incorrectes. Alors ne vous emballez pas trop !