TensorRT-LLM für Windows und RTX-Karten: Generative AI beschleunigen und optimieren

[HWL News Bot]

Neben der Unterstützung für RTX Video Super Resolution auf Karten der GeForce-RTX-20-Serie präsentiert NVIDIA heute die Programmbibliothek TensorRT-LLM für Windows. TensorRT-LLM ist eine speziell auf Large Language Models angepasste Open-Source-Bibliothek, die für Datacenter-Beschleuniger bereits vorgestellt wurde und als Early Access zur Verfügung steht. Mit TensorRT-LLM zeigt sich einmal mehr, dass eine Weiterentwicklung und Optimierung der Software einen mindestens ebenso großen Effekt auf die Leistung solcher Modelle haben kann, wie neue Hardware.
... weiterlesen