From FP32 to INT8: Post-Training Quantization Explained in PyTorch

Автор: MLWorks

Загружено: 2025-11-04

Просмотров: 254

Описание:

Shrink your models and speed up inference — all without retraining! 🚀

This video’ll explore step-by-step post-training quantization (PTQ) using PyTorch.

You’ll learn:
✅ What is PTQ
✅ How to apply PTQ in PyTorch with just a few lines of code
✅ Real model size comparison and performance gain demo

Perfect for developers and ML engineers looking to optimize deep learning models for edge devices or production deployment.

🔔 Subscribe for more PyTorch, Model Optimization, and MLOps tutorials!

#Quantization #PyTorch #ModelOptimization #DeepLearning #MLOps #PostTrainingQuantization

From FP32 to INT8: Post-Training Quantization Explained in PyTorch

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

⚡ Quantization : A Beginner's Guide to Model Optimization

⚡ Quantization : A Beginner's Guide to Model Optimization

Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория

Что такое Rest API (http)? Soap? GraphQL? Websockets? RPC (gRPC, tRPC). Клиент - сервер. Вся теория

Python - End Term PYQ

Python - End Term PYQ

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

Основы ПЛК: структурированный текст

Основы ПЛК: структурированный текст

An Intermediate Guide to Inference Using vLLM

An Intermediate Guide to Inference Using vLLM

Подробное объяснение тонкой настройки LoRA и QLoRA

Подробное объяснение тонкой настройки LoRA и QLoRA

Getting Started With Machine Learning - Tutorial - I

Getting Started With Machine Learning - Tutorial - I

Лучший Гайд по Kafka для Начинающих За 1 Час

Лучший Гайд по Kafka для Начинающих За 1 Час

How to statically quantize a PyTorch model (Eager mode)

How to statically quantize a PyTorch model (Eager mode)

GraphRAG: союз графов знаний и RAG: Эмиль Эйфрем

GraphRAG: союз графов знаний и RAG: Эмиль Эйфрем

Hands-On MLOps with Kubernetes | Minikube Setup Tutorial

Hands-On MLOps with Kubernetes | Minikube Setup Tutorial

🚀 Программирование Cuda, день 5: Нормализация слоёв | Нейронная сеть | Архитектура Transformer

🚀 Программирование Cuda, день 5: Нормализация слоёв | Нейронная сеть | Архитектура Transformer

AI-Powered Document Analysis | Visual Grounding with RAG Using Docling

AI-Powered Document Analysis | Visual Grounding with RAG Using Docling

КАК НЕЛЬЗЯ ХРАНИТЬ ПАРОЛИ (и как нужно) за 11 минут

КАК НЕЛЬЗЯ ХРАНИТЬ ПАРОЛИ (и как нужно) за 11 минут

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

🚀 Scaling ML Models with FastAPI, Docker, and Kubernetes: Practical Tutorial

🚀 Scaling ML Models with FastAPI, Docker, and Kubernetes: Practical Tutorial

Understanding int8 neural network quantization

Understanding int8 neural network quantization

🚀 Программирование CUDA, день 2: Сетка, блок и потоки | Параллельное сложение матриц

🚀 Программирование CUDA, день 2: Сетка, блок и потоки | Параллельное сложение матриц

Как подключить свои документы к LLM — полный разбор RAG

Как подключить свои документы к LLM — полный разбор RAG