Une méthode de compression des prompts pour réduire leur taille.

La méthode utilise de plus petit LLMs pour compresser un texte en ne conservant que les informations pertinentes pour un LLM.

La différence de performances avec le prompt compressé est minime mais on peut diviser la taille par 20!

Leur deuxième méthode est aussi de la compression de prompt mais dans le cadre d'un RAG. Le contenu du prompt est compressé et surtout ré-organisé lorsqu'il contient des documents afin d'améliorer le score de retrieval.

Ils affichent des performances de 17% supérieures sur NaturalQuestions avec 4x moins de tokens.

Bref, moins de tokens = plus rapide + moins cher, sans baisse de performances significatives voir de meilleures performances.

Des exemples sont disponibles et utilisable en ligne dans Google Collab https://github.com/microsoft/LLMLingua/tree/main/examples

Une étude détaillée entre GPT-3.5 Turbo, GPT-4 Turbo, Mixtral et Gemini Pro. Les benchmarks démontrent que pour l'instant la version Pro de Gemini est en deça de GPT 3.5 Turbo et que GPT-4 Turbo est encore loin devant.

Une étude démontre la puissance des techniques de prompting qui permettent d'obtenir de meilleurs résultats que les modèles fine tunés pour un domaine précis, ici la médecine.

Ce papier propose un framework à base d'agents pour générer des requêtes SQL à partir d'une simple demande. La question de l'utilisateur est envoyée a un agent qui sélectionne les tables et leur schéma associés pour les transmettre à un agent chargé de décomposer la demande utilisateur. Ce deuxième agent la découpe en requêtes, puis propose une requête finale. Enfin, un agent permet de rafiner la requête en l'éxécutant dans une base SQLite et en corrigeant d'éventuelles erreurs.