Le guide d'OpenAI sur le Prompt Engineering. Simple, clair et efficace.

Une étude qui propose un aperçu global de l'évaluation des LLMs, en les classant en trois catégories principales : l'évaluation des connaissances et des capacités, de l'alignement et de la sécurité. Elle offre une revue détaillée des méthodes d'évaluation, établit une collection d'évaluations sur la performance des LLMs dans des domaines spécialisés et discute de la création de plateformes d'évaluation exhaustives.

Un benchmark de requêtage sur des vecteurs d'embeddings dans Postgres avec l'addon pgvector et dans le pure player Pinecone.

Sur un setup équivalent en coût chez Supabase, Postgres est 10x plus rapide avec la même précision.

Donc si on héberge sa propre base Postgres c'est encore moins cher!

A noter que Postgres est beaucoup plus qu'une base vectorielle et qu'on va pouvoir filtrer les résultats avec des WHERE, faire des jointures, etc

Les auteurs introduisent YaRN (Yet another RoPE extensioN method), une méthode pour étendre la fenêtre de contexte des LLM, nécessitant 10 fois moins de tokens et 2,5 fois moins d'étapes d'entraînement que les méthodes précédentes. Les modèles LLaMA fine-tunés avec YaRN ont une longueur de contexte de 128k (https://github.com/jquesnelle/yarn).