Mistral propose maintenant ses propres API d'inférence pour leurs modèles.

Outre les modèles de génération de texte, ils proposent aussi un modèle d'embeddings en 1024 dimensions qui offre des performances similaires à ada-2 de OpenAI sur le benchmark MTEB (56.32 vs 55.26 pour Mistral en retrieval)

Au niveau du prix, c'est la même chose que OpenAI, c-a-d 0.1$ pour 1 million de tokens.

Avec la sortie de Mixtral 8x7B (https://mistral.ai/news/mixtral-of-experts/), l'application des Mixture of Experts continue à être le sujet du moment.

Cet article de blog par Hugging Face décrit en détail le principe du Mixture of Experts et son application avec les Transformers et LLM.

Le nouveau modèle de Mistral a été release, c'est un modèle de type "Mixture of Experts" qui contient en réalité 8 modèles spécialisés dans des tâches en particulier.

Ils annoncent des performances meilleures que Llama 70B sur la plupart des benchmark tout en ayant une inférence 6x plus rapide!

Plus d'info sur Mixture of Experts

Cet article explore une nouvelle technique de prompt engineering qui permet d'explorer des ToT (Tree of Thoughts) pour acquérir un ensemble d'expériences de raisonnements, notamment en gardant les erreurs et en les analysant.

Le but est de créer un prompt final "boosté" avec l'ensemble des erreurs de raisonnement analysées pour obtenir une meilleure réponse.

LLMCompiler est une alternative à la méthode ReAct pour la planification et l'exécution de tâches.

2 composants:

• LLM Planer: découpe les tâches dans un Directed Acyclic Graph (DAG) pour une exécution en parallèle et un respect des dépendances
• Executor: un Agent qui exécute les différentes tâches avec les outils à sa disposition

Le LLM Planer est capable de recréer le DAG avec le résultat de chaque tâche pour une planification dynamique (e.g. embranchement if/else)

Concrètement ils ont mesuré des améliorations dans le processus de raisonnement sur certains benchmark comme HotspotQA mais c'est surtout la latence qui est réduite grâce à la parallélisation des tâches