Je fais tourner un modèle Mistral AI sur un mini-ordi NVIDIA ! (Jetson Orin Nano + Ministral 8B)

Dans cette vidéo, je fais tourner Ministral 8B de ‪@MistralAIOfficial‬ en local sur un Jetson Orin Nano de ‪@NVIDIADeveloper‬ — une machine grande comme la main — et je l’intègre dans un vrai workflow IA agentique !

On parle optimisation de stack IA, quantization, Ollama, LiteLLM, PyTorch et Agents SDK… le tout, sans passer par le cloud.

🚀 Pour garder la chaine indépendante, n'oubliez pas de supporter la chaîne avec les Super Thanks ! Merci.

📚 Formation mentionnée : https://appliedai.gumroad.com/l/genai...
🔧 Setup Jetson Orin : https://github.com/AndreasKaratzas/orin

Site web du Jetson Orin Nano de NVidia: https://www.nvidia.com/fr-fr/autonomo...

Les logiciels open-source utilisés dans le projet:
🌅 Mistral AI (Ministral 8B): https://mistral.ai/
🦙ollama: https://ollama.com/
🚅 litellm: https://www.litellm.ai/
OpenAI Agents SDK : https://openai.github.io/openai-agent...
🤗 Bartowski Ministral 8B Quantization: https://huggingface.co/bartowski/Mini...
NVidia JetPack 6.2: https://developer.nvidia.com/embedded...
Pytorch: https://pytorch.org/
TensorFlow: https://www.tensorflow.org/?hl=fr
Siteweb dédié au Jetson: https://www.jetson-ai-lab.com/

Timestamp:
00:00 - Peut-on faire tourner un LLM sur un mini-GPU ?
01:14 - Pourquoi viser le Edge AI ?
01:59 - Inférence & GPU : les bases
03:26 - Le défi du Ministral 8B avec 8 Go de RAM
04:48 - Setup du Jetson Orin Nano
07:37 - Assistant IA avec filtrage embarqué
09:08 - 📚 Formation AI Engineer (pour aller plus loin)
10:46 - Démo en temps réel
11:45 - L’IA du futur ? Ce que ça ouvre (et les limites)