Considerations about GPU support #3
Replies: 5 comments 19 replies
-
|
D'après mes souvenirs, il n'y a pas si longtemps, peut-être 2 commits auparavant, j'étais sous Ubuntu 20.04. J'avais spécifiquement opté pour la version v3.10.10 de Python. Avec la version v3.10.12, j'avais rencontré des soucis, que ce soit avec biniou ou CUDA, et je n'avais pas osé essayer la v3.10.11. Sous cette combinaison d'Ubuntu 20.04 et de Python forcé à v3.10.10, biniou fonctionnait sans rencontrer d'erreurs relatives à CUDA. Cependant, il y a 2 ou 3 commits de cela, après avoir mis à jour biniou sur cette machine sous Ubuntu 20.04, tout en conservant Python à la version v3.10.10, des problèmes sont survenus. Biniou refusait de se lancer, et j'ai soupçonné des complications liées à CUDA ou d'autres raisons que j'ai du mal à me remémorer. Suite à ma mise à jour vers Ubuntu 22.04, l'accès à CUDA m'est devenu impossible. Il semble que le principal obstacle soit que le pilote de ma vieille Quadro FX 1800 n'est plus supporté dans les dépôts officiels d'Ubuntu. Du coup, je n'ai plus accès à mon pilote NVIDIA. Enfin, je serais incapable de déterminer si, à l'époque, ma Quadro FX d'antan avait apporté une quelconque accélération. |
Beta Was this translation helpful? Give feedback.
-
|
Merci pour ces informations, très instructives. Biniou n'a jamais été testé (par mes soins en tout cas) sur une autre version que python 3.11.x. Je confirme, par ailleurs, que biniou ne fonctionne pas sur python 3.10.12 (version par défaut actuelle de Linux Mint 21, dont je n'ai pas pu valider la compatibilité). Si vous n'avez pas réalisé une manipulation similaire à celle indiquée ci-dessus, il est probable que CUDA n'était pas utilisé : la version installé par défaut de pytorch étant cpu-only. Toutefois, xformers, qui est installé seulement en tant que dépendance d'audiocraft, mais pas utilisé par biniou, renvoyait des warnings au démarrage sur l'absence de CUDA. Ceux-ci sont désormais masqués, ce qui explique leur disparition. Sans trop m'avancer, je ne pense pas que la Quadro FX 1800 soit encore prise en charge par PyTorch de toute façon. Encore merci pour ces informations. |
Beta Was this translation helpful? Give feedback.
-
|
J'ai abandonné la fx1800 et Je suis actuellement en train de tester biniou sur debian 12, xeon 4coeurs, avec 28go de ram et une NVIDIA Quadro K620 (2GB VRAM), | NVIDIA-SMI 525.125.06 Driver Version: 525.125.06 CUDA Version: 12.0 Voici mes observations initiales : Les modèles textuels semblent fonctionner correctement, mais les modèles d'images, en particulier mini-midjourney et LCM, rencontrent des problèmes d'insuffisance de mémoire CUDA. Sans webui.sh lancé, l'utilisation de la VRAM est d'environ 1MB, qui passe à 4MB avec webui.sh lancé, puis monte à environ 1990MB selon les modèles exécutés. Comme avec Pinokio, le lanceur de modèle full GPU/CUDA, si la VRAM est épuisée, cela provoque un crash. Je continue les tests et je fournirai davantage de détails dès que possible.
|
Beta Was this translation helpful? Give feedback.
-
|
Bonjour @koinkoin-project Merci beaucoup pour ce retour ! Concernant les modèles textuels, constatez-vous une amélioration des performances (il ne devrait pas y en avoir sur le module llamacpp -cad le chatbot-) ? Il me semble que le comportement que vous décrivez concernant les modules images est, hélas, tout à fait logique : peu de VRAM et pas de cpu_offloading -> saturation de la VRAM au chargement du modèle. Cdt, |
Beta Was this translation helpful? Give feedback.
-
Auparavant, avec ma carte graphique QuadroFX1800 et une RAM de 8Go, je ne pouvais pas vraiment utiliser les chatbots car le temps de réponse était extrêmement long, parfois plusieurs heures, même pour un simple 'bonjour'. Maintenant, avec une mise à niveau à 28 Go de RAM et une carte Quadro avec 2 Go, je remarque une différence considérable. Les réponses pour des prompts complexes ne prennent que quelques minutes au maximum, ce qui représente une nette amélioration par rapport à ma configuration précédente.
Le seule module image avec cuda (pour le moment ma config biniou est en mode cuda) le seul module image que je suis arrivé à utiliser est le module x2 de Real ESRGAN, là encore ca dépend des images que je lui donne en entrée pour agrandissement. |
Beta Was this translation helpful? Give feedback.
-
|
Merci pour ces précisions. |
Beta Was this translation helpful? Give feedback.
-
On me dit dans l'oreillette que j'avais fait n'importe quoi à l'époque, avec un ubuntu studio environnement de bureau lancé moultes processus actifs et 800Mo de ram utilisés... Désormais je suis passé à un debian12 et 150Mo de ram utilisés et quelques processus à peine |
Beta Was this translation helpful? Give feedback.
-
Je mélange peut être un peu les souvenirs mais pas le temps ; mes tous premiers tests biniou furent sur un serveur de vm tout pourri avec disque dur mécanique 5000/t/min, 4 coeurs xeon et des vms virtualbox en cours sur ce poste. Je lancais des générations des modeles text avant d'aller dormir et au réveil je n'avais pas ma réponse. C'était des tests à l'arrache. Depuis je fais un peu plus gffe à l'équipement minimal, qui doit ếtre optimisé et exclusivement dédié aux tâches biniou pour donner le maximum et faire des tests plus cohérents aussi. |
Beta Was this translation helpful? Give feedback.
-
|
biniou est extrêmement gourmand en RAM, je vous le confirme. Actuellement, il est préférable de ne pas lancer d'autres processus sur une configuration ne disposant que de 8GB de RAM : c'est vraiment la quantité minimale utile pour ne pas avoir d'erreurs OOM. |
Beta Was this translation helpful? Give feedback.
-
|
Je suis prêt à fournir une vidéo de mon écran pour vous aider, à condition de savoir exactement ce que vous cherchez à tester. J'effectue de nombreux tests rapidement sans prendre le temps de m'arrêter pour faire des captures d'écran, mais je suis disposé à assister si je comprends quel type d'informations vous recherchez, avec ou sans CUDA. Ma machine est un Xeon, comme mentionné précédemment, qui sera bientôt équipée de 64 Go de RAM et d'une NVIDIA avec 24 Go de VRAM. J'ai entamé les tests avec Biniou sur cette machine quand elle avait seulement 8 Go de RAM. J'apprécie vraiment Biniou, je suis prêt à remonter tous types d'infos cuda ou pas de ma bécane. |
Beta Was this translation helpful? Give feedback.
-
|
:)
Pas tout compris, vous voulez que je lance deux processus biniou et voir s'ils n'interfèrent pas l'un l'autre ? |
Beta Was this translation helpful? Give feedback.
-
|
Hello @Woolverine94 I'm available again for biniou, don't hesitate, I'm ready to refocus a bit. @ |
Beta Was this translation helpful? Give feedback.
-
|
Hello @koinkoin-project, Désolé, ma phrase n'était définitivement pas clair : je voulais juste m'assurer que les modifications apportées sur CUDA n'affectaient pas les utilisateurs disposant d'une carte graphique NVIDIA, mais utilisant le mode CPU. Ce qui ne devrait pas être le cas, mais je n'ai pas de moyen de le vérifier. La logique étant la suivante : |
Beta Was this translation helpful? Give feedback.
-
Je passe mon temps à switcher biniou entre le mode cuda et le mode cpu. Je ne vois pas de problème, bien sûr j'utilise le mode cpu car ma carte Nidia 2GB est pitoyable (je ne peux presque rien faire avec). |
Beta Was this translation helpful? Give feedback.
-
|
Merci à vous pour cette confirmation ! |
Beta Was this translation helpful? Give feedback.
-
J'appelle ca passer en mode cuda, ou en mode cpu. La prodédure pour switcher fonctionne parfaitement bien il me semble. |
Beta Was this translation helpful? Give feedback.
-
|
Merci à vous pour cette confirmation. |
Beta Was this translation helpful? Give feedback.
-
TLDR;
About GPU support (to say it another way : cuda support) :
I'd like to keep biniou required hardware as minimal as possible concerning the default installation (8GB / no GPU), but biniou may already be usable with cuda. I don't have access to recent Nvidia hardware to confirm it, but replacing torch, torchvision and torchaudio cpu-only version of biniou by the default one should enable cuda, as each module does an auto-detection of the device to use.
On Debian 12, it could be done with something like that :
Rollback if not working :
Main reason to use cpu-only version by default is saving RAM. In fact, the default torch version works as well as the cpu-only if you have enough RAM.
Please also take in consideration that CPU offloading is not supported yet, but will be in the future.
If anybody using biniou and having Nvidia hardware could confirm it is working, i will modify the installers to detect cuda and install the default torch version instead of the cpu-only one.
Edit : thanks to @koinkoin-project for confirming CUDA is usable following this procedure. Installer will be modified asap to detect which version of PyTorch to use at installation. See this wiki page for more information about CUDA support.
Beta Was this translation helpful? Give feedback.
All reactions