Développement des grands modèles de langage et l’introduction du format Natural Program : une avancée majeure dans le domaine de l’intelligence artificielle

L’avancée la plus récente et la plus incroyable dans le domaine de l’intelligence artificielle est le développement de grands modèles de langage (LLM). Le très célèbre ChatGPT développé par OpenAI, qui est basé sur l’architecture GPT 3.5 et GPT 4, est d’une grande utilité et fait surtout la une des journaux pour générer du contenu et répondre aux questions comme le ferait un humain. Sa capacité à imiter les humains en générant un contenu créatif et précis lui permet de plonger dans la résolution de problèmes dans presque toutes les industries. Avec l’ajout de l’incitation à la chaîne de pensée (CoT), l’impact des LLM comme GPT 3.5 s’est amélioré, entraînant des changements importants dans l’industrie du traitement de l’information. CoT améliore les LLM et les aide à générer des processus de raisonnement plus complets et élaborés dans une série d’étapes intermédiaires.

Bien que CoT offre de nombreux avantages, l’accent mis sur les phases de raisonnement intermédiaires provoque parfois des hallucinations et des erreurs composées, ce qui rend difficile pour les modèles de générer des processus de raisonnement cohérents et précis. De nombreux efforts ont été déployés pour permettre aux LLM de faire un raisonnement déductif explicite et rigoureux en s’inspirant de la façon dont les humains s’engagent dans des procédures délibérées de raisonnement logique déductif pour résoudre des problèmes. Pour relever ces défis, une équipe de chercheurs a introduit le programme naturel, un format de raisonnement déductif basé sur le langage naturel qui utilise le pouvoir inhérent du langage naturel pour parvenir à un raisonnement déductif.

L’équipe a mentionné que cette approche décompose le processus de vérification du raisonnement en un certain nombre de sous-processus séquentiels. Seuls le contexte et les prémisses requis pour l’étape particulière sont fournis à chaque sous-processus, et la décomposition rend le processus de vérification plus accessible. Les auteurs ont utilisé des modèles accessibles au public comme le GPT-3.5-turbo (175B) d’OpenAI pour effectuer des essais sur des ensembles de données pour l’arithmétique et le bon sens afin de montrer l’efficacité de leur technique de vérification naturelle basée sur un programme. Les résultats ont démontré à quel point leur stratégie fonctionnait pour augmenter la fiabilité des processus de raisonnement produits par les grands modèles de langage.

Le format Natural Program permet aux modèles de langage de générer des étapes de raisonnement précises, garantissant que les étapes suivantes sont plus rigoureusement fondées sur les étapes précédentes. Les modèles de langage effectuent une auto-vérification du raisonnement de manière pas à pas en utilisant cette structure, et les étapes de raisonnement qui en résultent sont plus rigoureuses et fiables puisqu’une procédure de vérification est intégrée à chaque niveau de raisonnement déductif.

Certaines des contributions clés mentionnées par l’équipe sont –

1. Avec l’introduction du format Programme naturel, l’équipe a proposé un cadre de raisonnement déductif rigoureux, adapté à la vérification et pouvant être simplement produit par un apprentissage en contexte.

2. Il a été démontré que les longs processus de raisonnement déductif écrits dans le format proposé du programme naturel peuvent être auto-vérifiés de manière fiable en utilisant des sous-processus étape par étape qui ne couvrent que le contexte et les prémisses préalables.

3. Grâce à des expériences, l’équipe a montré à quel point le cadre améliore efficacement la précision, la fiabilité et l’interprétabilité des étapes et des solutions de raisonnement générées par LLM.

En conclusion, ce cadre semble prometteur pour améliorer les capacités de raisonnement déductif des modèles de langage.

Vérifiez Papier et GithubGenericName. N’oubliez pas de rejoindre notre sous-reddit 24k+ ML, Chaîne discorde, et Courriel, où nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore. Si vous avez des questions concernant l’article ci-dessus ou si nous avons manqué quelque chose, n’hésitez pas à nous envoyer un courriel à [email protected]

Outils en vedette Depuis Club des outils d’IA

???? Découvrez les outils d’intelligence artificielle de 100 dans AI Tools Club