Jaki VPS do AI: API czy model uruchomiony na serwerze

Dwie potrzeby, dwa rozmiary serwera

Większość aplikacji, które „korzystają z AI” (asystenci, agenci, streszczenia, ekstrakcja danych, wyszukiwanie w dokumentach), wywołuje przez API model hostowany przez jego dostawcę. Obliczenia odbywają się u niego; Państwa serwer przygotowuje żądanie, czeka na odpowiedź i ją przetwarza. Dobiera się go więc jak każdą aplikację webową: według języka, bazy danych i liczby jednoczesnych użytkowników.

Drugi przypadek to model uruchomiony na samym serwerze, przez Ollamę, llama.cpp lub bibliotekę Pythona. Powody są znane: dane, które pozostają w Państwa infrastrukturze, stały koszt niezależnie od liczby żądań, przetwarzanie w tle dużych wolumenów, wyspecjalizowany model. Wtedy cały model musi zmieścić się w pamięci i to on wyznacza rozmiar.

Przez API: dobrać aplikację, a nie model

Żądanie do modelu przez API trwa od jednej do kilkudziesięciu sekund, zwłaszcza gdy odpowiedź jest przesyłana na bieżąco (streaming). W tym czasie Państwa serwer prawie nic nie oblicza: czeka. Liczy się jego zdolność do utrzymywania wielu oczekujących żądań bez blokowania pozostałych:

• Serwer asynchroniczny: Node.js, FastAPI z Uvicornem lub asynchroniczne workery Gunicorn. Synchroniczny worker, który czeka 20 sekund na odpowiedź, jest workerem zablokowanym dla wszystkich innych odwiedzających.
• Kolejka zadań dla długich operacji (streszczenie dokumentu, analiza partii danych): żądanie odwiedzającego od razu zwraca odpowiedź, a worker przetwarza zadanie w tle.
• Ustawione limity czasu na proxy: Nginx domyślnie przerywa odpowiedź, która milczy dłużej niż 60 sekund (proxy_read_timeout).

Potrzebna pamięć to pamięć aplikacji i jej bazy: 4 GB wystarczają na start dla aplikacji w Pythonie lub Node.js z PostgreSQL. Typowa konfiguracja, czyli interfejs Next.js, API FastAPI i baza PostgreSQL, które wywołują model przez API, mieści się w 6 do 8 GB, łącznie z kompilacją interfejsu.

Embeddingi i wyszukiwanie wektorowe: pamięć na wektory

Aplikacja, która przeszukuje Państwa dokumenty (RAG, retrieval-augmented generation), zamienia każdy fragment w wektor, a potem wyszukuje fragmenty najbliższe pytaniu. Do doboru są dwa elementy:

• Model embeddingów, jeśli działa u Państwa: popularne modele ważą od 100 MB do 1,5 GB i bez trudu liczą na procesorze. all-MiniLM-L6-v2 zajmuje na przykład mniej niż 100 MB.
• Wektory: w pgvector wektor zajmuje 4 bajty na wymiar, plus 8. Milion fragmentów po 1 536 wymiarów to około 6 GB danych, do których dochodzi indeks HNSW przyspieszający wyszukiwanie. Aby wyszukiwanie było szybkie, indeks i odpytywane wektory muszą mieścić się w pamięci.

Typ halfvec w pgvector zapisuje każdy wymiar na 2 bajtach zamiast 4: połowa pamięci przy jakości wyszukiwania, która pozostaje bardzo zbliżona.

Model na serwerze: najpierw pamięć

Model językowy to plik wag, w całości ładowany do pamięci, aby udzielać odpowiedzi. Jego rozmiar zależy od liczby parametrów i od kwantyzacji, czyli precyzji zapisu każdej wagi. Format GGUF, używany przez llama.cpp i Ollamę, oferuje kwantyzacje od 2 do 16 bitów; wariant Q4_K_M, około 4 bitów, to powszechny kompromis między rozmiarem a jakością.

Do tej wagi dochodzą dwa elementy:

• Kontekst (pamięć podręczna KV): każdy token bieżącej rozmowy zajmuje pamięć. Dla Llama 3.1 8B należy liczyć około 128 KB na token przy precyzji 16-bitowej, czyli 1 GB na kontekst 8 000 tokenów, i tyle samo na każdą rozmowę obsługiwaną równolegle.
• Reszta serwera: system, aplikacja, baza danych, jak w każdej aplikacji webowej.

Przykład. Llama 3.1 8B w 4 bitach, dwie jednoczesne rozmowy po 8 000 tokenów i mała aplikacja: 5 GB na model, 2 GB na kontekst, 2 GB na aplikację i system, razem 9 GB, a z 25 % zapasu około 12 GB.

Na procesorze: co wyznacza szybkość

Aby wygenerować każdy token, model odczytuje z pamięci wszystkie swoje wagi. Na procesorze szybkość generowania ogranicza więc bardziej przepustowość pamięci niż liczba rdzeni: model 5 GB na maszynie, która odczytuje 25 GB na sekundę, osiąga pułap około 5 tokenów na sekundę, zanim jeszcze uwzględni się obliczenia.

Wyróżnia się dwie fazy:

• Odczyt pytania (prompt processing) to intensywne obliczenia: więcej vCPU go przyspiesza, co ma znaczenie przy długich dokumentach.
• Generowanie odpowiedzi zależy głównie od przepustowości pamięci i rozmiaru modelu: model dwa razy mniejszy odpowiada mniej więcej dwa razy szybciej.

W praktyce na kilku vCPU model o 7 do 8 miliardach parametrów, skwantyzowany do 4 bitów, generuje kilka tokenów na sekundę. To wygodne tempo dla przetwarzania w tle (klasyfikacja wiadomości, wyodrębnianie pól z dokumentu, nocne streszczanie tego, co wpłynęło w ciągu dnia) i dla wewnętrznego asystenta. Zastosowania interaktywne na dużą skalę oraz modele o kilkudziesięciu miliardach parametrów uruchamia się na kartach graficznych (GPU).

Rozstrzyga pomiar: llama-bench, dostarczany z llama.cpp, podaje szybkość obu faz na Państwa serwerze, dla Państwa modelu.

llama-bench -m model-Q4_K_M.gguf -p 512 -n 128

Dysk: modele, ich wersje, wektory

Model zajmuje na dysku mniej więcej tyle, ile w pamięci: 5 GB dla modelu o 8 miliardach parametrów w 4 bitach. Należy przewidzieć miejsce na dwa lub trzy modele lub wersje, indeksy wektorowe, dokumenty źródłowe i bazę danych. SSD NVMe ładuje model w kilka sekund przy starcie usługi, co ma znaczenie przy każdym restarcie.

Rząd wielkości: 50 GB dla aplikacji, która wywołuje model przez API, od 80 do 120 GB, gdy model i jego dokumenty znajdują się na serwerze.

Bezpieczne wdrożenie

Z Ollamą uruchomienie sprowadza się do dwóch poleceń:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b

Ollama domyślnie nasłuchuje na 127.0.0.1:11434, czyli wyłącznie z samego serwera. Proszę zachować to ustawienie: jej API nie wymaga uwierzytelnienia, a instancja otwarta na internet obsługuje każdego, na Państwa zasobach. Państwa aplikacja, na tym samym serwerze, komunikuje się z nią lokalnie; jeśli ma ją odpytywać inny serwer, proszę użyć proxy, które uwierzytelnia żądania, lub sieci prywatnej.

Następnie proszę ustawić rozmiar kontekstu (num_ctx) na tyle, ile potrzebują Państwa żądania: to on powiększa zajmowaną pamięć, rozmowa po rozmowie.