Пробив в ефективността: Нова технология на NVIDIA намалява паметта на AI моделите с цели 20 пъти

NVIDIA е открила начин за радикално ускоряване на системите за изкуствен интелект с дълги диалози. Новата технология KVTC намалява латентността до осем пъти и намалява потреблението на памет до 20 пъти. Това решение е от решаващо значение за корпоративни сценарии като анализи, програмиране и системи, базирани на агенти, при които дългият контекст натоварва силно графичния […]

Прочети цялата публикация