DeepSpeed: All the tricks to scale to gigantic models

Автор: Mark Saroufim

Загружено: 17 апр. 2021 г.

Просмотров: 22 087 просмотров

Описание:

References
https://github.com/microsoft/DeepSpeed
https://github.com/NVIDIA/Megatron-LM
https://github.com/cybertronai/gradie...
https://github.com/msr-fiddle/pipedream
Zero: https://arxiv.org/abs/1910.02054

DeepSpeed: All the tricks to scale to gigantic models

Доступные форматы для скачивания:

Скачать видео mp4

Информация по загрузке:

Скачать аудио mp3

Похожие видео

Краткое объяснение больших языковых моделей

Краткое объяснение больших языковых моделей

Ultimate Guide To Scaling ML Models - Megatron-LM | ZeRO | DeepSpeed | Mixed Precision

Ultimate Guide To Scaling ML Models - Megatron-LM | ZeRO | DeepSpeed | Mixed Precision

Illustrated Guide to Transformers Neural Network: A step by step explanation

Illustrated Guide to Transformers Neural Network: A step by step explanation

Distributed Pytorch

Distributed Pytorch

Multi GPU Fine Tuning of LLM using DeepSpeed and Accelerate

Multi GPU Fine Tuning of LLM using DeepSpeed and Accelerate

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

1500 км в Москву на Москвиче простоявшем 15 лет в гараже.

1500 км в Москву на Москвиче простоявшем 15 лет в гараже.

Кухня | Сезон 3 | Серия 51 - 55

Кухня | Сезон 3 | Серия 51 - 55

Объяснение 12 законов Вселенной и их Применение в Жизни [ЧТОБЫ ЛЕГКО ПОЛУЧАТЬ ЖЕЛАЕМОЕ]

Объяснение 12 законов Вселенной и их Применение в Жизни [ЧТОБЫ ЛЕГКО ПОЛУЧАТЬ ЖЕЛАЕМОЕ]

Turing-NLG, DeepSpeed and the ZeRO optimizer

Turing-NLG, DeepSpeed and the ZeRO optimizer