Demo QVAC Tethera działającego na lokalnej inferencji na urządzeniu mobilnym z niesamowitą prędkością, za pomocą llama.cpp + LLAMA 3.2 1B parametrów. QVAC to zgeneralizowany czas wykonywania inferencji i dostrajania, który potrafi dostosować się do każdego urządzenia, od smartfonów, przez laptopy, po serwery. Już wspieranych jest wiele modeli. Więcej wkrótce. Brak ograniczeń. Nieskończona inteligencja. Już wkrótce.
35,12K