Как ускорить нейросеть? TensorRT, TensorRT LLM, Triton server.
Инференс с NVIDIA GPU и TensorRT
Getting Started with NVIDIA Torch-TensorRT
NVIDIA объявляет о переносе технологии TensorRT на платформу GeForce RTX⚠️⚖️
推理引擎架构介绍!MNN、TensorFlow Lite、TensorRT通用架构介绍!【推理系统】系列05篇(上)
TensorRT for Beginners: A Tutorial on Deep Learning Inference Optimization
YOLOv7 with TensorRT on GeForce RTX 3060 Ti
Оптимизация вывода с помощью NVIDIA TensorRT
Оптимизация и запуск моделей TensorFlow с помощью TensorRT (Дмитрий Миронов)
INT8 Вывод обученных моделей с учетом квантования с использованием ONNX-TensorRT
Нейронные сети: быстрый инференс на GPU с помощью TensorRT / Дмитрий Коробченко (NVIDIA)
Артем Хорошев — Ускоряем синтез: от TensorRT до CUDA C++
Высокопроизводительный инференс глубоких сетей на GPU с помощью TensorRT / Максим Милаков (NVidia)
Дмитрий Коробченко - Ускорение инференса с помощью TensorRT (практическая часть) - DataStart.ru
Разгоняем нейронку на 1000 процентов! LCM, lms, ComfyUI, TensorRT
ComfyUI: nVidia TensorRT (Workflow Tutorial)
Как запустить в прод нейросеть: Triton Inference Server + TensorRT