Il se passe tellement de choses avec l’intelligence artificielle grand public que c’est parfois difficile de suivre l’ensemble des actualités. Surtout que la plupart des nouvelles ne font pas les gros titres concernant l’open source et pourtant elles sont d’une grande importance. En préparant un autre article sur Llama CPP, j’ai alors remarqué qu’il y avait eu un changement important et je vais vous en parler ici.
En effet, dans cet article sur GPT4All je vous expliquai comment ajouter un modèle d’intelligence artificielle dans le format GGML pour faire de l’inférence dessus. D’ailleurs, si l’intelligence artificielle vous intéresse et que vous ne connaissez pas encore Llama CPP ou GPT4All qui est plus convivial, je vous conseille d’aller faire un tour sur cet article qui vous présente GPT4All. Avec un simple ordinateur qui dispose d’un processeur un minimum puissant, vous allez pouvoir utiliser très facilement l’intelligence artificielle. N’hésitez pas à tester, c’est bluffant.
Comme je vous le disais, les choses vont vraiment très vite et alors que l’on a maintenant l’habitude du format GGML, les choses ont récemment changé. Alors que le format GGML devrait continuer à être supporté encore quelque temps dans de nombreux logiciels d’inférence, il devrait cependant peu à peu disparaître au profit du GGUF. Lorsque l’on converti un modèle d’intelligence artificielle au format binaire, c’est maintenant le GGUF qui est utilisé à la place du GGML suite au merge par l’équipe de llama.cpp. Découvrons pourquoi avec la comparaison entre l’ancien GGML et le nouveau format GGUF. Si vous voulez en savoir plus vous avez toutes spécifications techniques sur le format GGUF ici.
Comparaison GGML vs GGUF
Les formats de fichiers GGML et GGUF sont utilisés pour stocker des modèles destinés à l’inférence, en particulier dans le contexte des modèles de langage comme GPT (Generative Pre-trained Transformer). Voyons les principales différences, avantages et inconvénients de chacun de ces formats.
GGML (GPT-Generated Model Language)
Les points forts :
- Pionnier : GGML a été l’une des premières tentatives de créer un format de fichier dédié au stockage des modèles GPT.
- Simplicité : Il permettait de partager des modèles en un seul fichier, simplifiant la vie des utilisateurs.
- Accessibilité : Les modèles GGML pouvaient être exécutés sur des CPU standard, ouvrant ainsi la porte à un public plus large.
Les points faibles :
- Manque de souplesse : GGML avait ses limites en termes d’ajout d’informations supplémentaires sur les modèles.
- Problèmes de compatibilité : L’introduction de nouvelles fonctionnalités pouvait rendre les anciens modèles incompatibles.
- Ajustements manuels : Les utilisateurs devaient souvent jongler avec des paramètres tels que « rope-freq-base » « rope-freq-scale » « gqa » et « rms-norm-eps » ce qui pouvait être fastidieux.
GGUF (GPT-Generated Unified Format)
Ce format a été dévoilé par l’équipe de Facebook comme une alternative à GGML le 21 août 2023. Découvrons ce qu’il a à offrir.
Avantages :
- L’héritier de GGML : GGUF a pour mission de corriger les limitations de GGML et d’améliorer l’expérience globale des utilisateurs.
- Extensibilité : Conçu pour être extensible, GGUF permet d’ajouter de nouvelles fonctionnalités sans casser la compatibilité avec les anciens modèles.
- Pas de chamboulements : GGUF vise à éliminer les changements majeurs, facilitant ainsi la transition vers les nouvelles versions.
- Polyvalence : GGUF n’est pas limité aux modèles de type « llama, » ce qui le rend plus versatile.
Inconvénients :
- Temps de conversion : Il pourrait s’écouler un certain temps avant que les modèles existants soient tous convertis au format GGUF.
- Adaptation nécessaire : Les utilisateurs et les développeurs devront s’adapter à ce nouveau format.
GGUF est positionné comme une évolution de GGML, offrant davantage de flexibilité, d’extensibilité et de compatibilité. Son objectif est de simplifier l’expérience utilisateur et de prendre en charge une variété de modèles au-delà de ceux de type « llama. » Bien que GGML ait été une itération précieuse dans le développement des formats de fichiers pour les modèles de langage, GGUF s’annonce comme une étape majeure vers l’efficacité accrue dans le partage et l’utilisation des modèles, bénéficiant ainsi à la communauté de l’intelligence artificielle. Alors, prêts à faire le grand saut vers GGUF ?
Je vais bien évidemment continuer ma série d’articles et tutoriels sur le sujet pour vous accompagner dans cette aventure et moi-même apprendre un maximum de nouvelles choses sur l’intelligence artificielle grand public !