J’ai payé 200 $ pour ChatGPT Pro : dinguerie ou arnaque ?

La première mise à jour de l’offre d’abonnement de ChatGPT en 2024 est arrivée il y a quelques jours. ChatGPT Pro coûte 200 $ et vise les utilisateurs les plus avancés.

La grande question : est-ce que ça vaut vraiment le coup ?

Je suis là pour te donner la réponse.

Le détail de l’offre

Voici ce que propose GPT Pro :

• Messages illimités avec 4o, o1 et o1-mini.

• Accès infini au Mode Voix Avancé.

• Accès à GPT o1-Pro (limité à 50 messages par semaine).

• Toutes les versions bénéficient d’une fenêtre de contexte de 128k tokens (contre 32k avec l’abonnement standard).

... c’est tout.

GPT o1-Pro en test

GPT Pro inclut le modèle avancé o1-Pro, considéré comme l’état de l’art des modèles LLM par OpenAI.

Mais à quel point est-il performant ?

Test 1 : Conversion d'une application complète

J’ai demandé à o1-Pro de convertir une application Django en Flask. Là où GPT-4o et o1-preview ont échoué, o1-Pro a réussi en fournissant un guide étape par étape.

Test 2 : Lecture d'une horloge analogique

Alors que GPT-o1 échoue à lire une horloge analogique…

o1-Pro s’en approche, sans réussir complètement.

Test 3 : Décryptage d’un code chiffré

Enfin, j’ai créé un test de chiffrement pour évaluer la force logique pure de 4o, o1 et o1-Pro.

Il s’agit d’un simple chiffrement de César (alphabet décalé), mais pour compliquer un peu la tâche, j’ai supprimé certaines lettres du décalage (comme i, o et d'autres).

Cela signifie qu’un simple décalage de lettres ne fonctionne pas et nécessite des ajustements logiques pour explorer plusieurs solutions possibles.

Texte chiffré initial :

I am not so sure that this model can solve a cipher, because there simply isn't enough text here to actually get a meaningful answer. However, I could be wrong!

Texte après chiffrement :

I ar sox wo wyvj xmax xmiw rohjq gas woqbj a gitmjv, fjgaywj xmjvj wirtqe iws'x jsoylm xjdx mjvj xo agxyaqqe ljx a rjasislkyq aswcjv. Mocjbjv, I goyqh fj cvosl!

Résultats :

• GPT-4o a complètement échoué et n’a pas donné de réponse cohérente.

• GPT-o1 a bien réussi, avec une réponse décodée finale :
  I am not so sure that this model can solve a cipher, because there isn't enough text here to actually get a reasonable answer. However, I think it works!
  Il était proche, mais certaines parties étaient encore incorrectes.

• GPT-o1-Pro, étonnamment, a fait pire. Sa réponse finale :
  I am not so sure that this cipher can prove a theory, anyway there exists isn't enough sense here to adequately draw a reasonable conclusion. However, I think it works!

J’ai été un peu déçu. Même après plusieurs tentatives, il n’a pas réussi à surpasser o1.

Verdict Final

Devrais-tu passer à GPT-Pro ?

Non, sauf si :

• Tu utilises beaucoup le Mode Voix Avancé.

• Tu as besoin d’une fenêtre de contexte de 128k tokens.

• Tu atteins souvent la limite de 50 messages hebdomadaires de o1.

Sinon, reste à l’abonnement Plus. Pour la plupart des utilisateurs, les 200 $ ne valent franchement pas le coup…