Как ускорить нейросеть? TensorRT, TensorRT LLM, Triton server.
Инференс с NVIDIA GPU и TensorRT
Getting Started with NVIDIA Torch-TensorRT
NVIDIA объявляет о переносе технологии TensorRT на платформу GeForce RTX⚠️⚖️
TensorRT for Beginners: A Tutorial on Deep Learning Inference Optimization
YOLOv7 with TensorRT on GeForce RTX 3060 Ti
Оптимизация и запуск моделей TensorFlow с помощью TensorRT (Дмитрий Миронов)
Нейронные сети: быстрый инференс на GPU с помощью TensorRT / Дмитрий Коробченко (NVIDIA)
Высокопроизводительный инференс глубоких сетей на GPU с помощью TensorRT / Максим Милаков (NVidia)
Дмитрий Коробченко - Ускорение инференса с помощью TensorRT (практическая часть) - DataStart.ru
Разгоняем нейронку на 1000 процентов! LCM, lms, ComfyUI, TensorRT
Артем Хорошев — Ускоряем синтез: от TensorRT до CUDA C++
Как запустить в прод нейросеть: Triton Inference Server + TensorRT
HybridNets 384x512 ONNX + TensorRT Execution Provider Float16 (15ms/pred)
What is Pytorch, TF, TFLite, TensorRT, ONNX?
Beyond the Algorithm with NVIDIA: TensorRT-LLM Goes GitHub First
ComfyUI: nVidia TensorRT (Workflow Tutorial)