Milline VPS tehisintellekti jaoks: API või mudel serveris

Kaks vajadust, kaks serveri suurust

Enamik rakendusi, mis «kasutavad tehisintellekti» (assistendid, agendid, kokkuvõtted, andmete eraldamine, dokumentidest otsimine), kutsuvad API kaudu mudelit, mida majutab selle väljaandja. Arvutus toimub tema juures; teie server valmistab päringu ette, ootab vastust ja töötleb seda. Server mõõdetakse siis nagu iga teine veebirakendus: keele, andmebaasi ja samaaegsete kasutajate arvu järgi.

Teine juhtum on mudel, mida käitatakse serveris endas, Ollama, llama.cpp või mõne Pythoni teegiga. Põhjused on teada: andmed, mis jäävad teie taristule, püsikulu päringute arvust sõltumata, suurte mahtude taustatöötlus, spetsialiseeritud mudel. Siis peab kogu mudel mahtuma mällu ja just tema määrab suuruse.

API kaudu: mõõtke rakendust, mitte mudelit

Päring mudelile API kaudu kestab ühest sekundist mitmekümne sekundini, eriti kui vastust edastatakse jooksvalt (streaming). Selle aja jooksul ei arvuta teie server peaaegu midagi: ta ootab. Oluline on tema võime hoida paljusid päringuid ootel, ilma et teised blokeeruksid:

• Asünkroonne server: Node.js, FastAPI koos Uvicorniga või asünkroonsed Gunicorni workerid. Sünkroonne worker, mis ootab 20-sekundilist vastust, on kõigi teiste külastajate jaoks blokeeritud.
• Tööjärjekord pikkade töötluste jaoks (dokumendi kokkuvõte, andmepartii analüüs): külastaja päring saab kohe vastuse, worker töötleb taustal.
• Seadistatud aegumisajad puhverserveris: Nginx katkestab vaikimisi vastuse, mis jääb vaikseks kauemaks kui 60 sekundit (proxy_read_timeout).

Planeeritav mälu on rakenduse ja selle andmebaasi oma: 4 GB katab käivitamisel Pythoni või Node.js-i rakenduse koos PostgreSQL-iga. Levinud konfiguratsioon, kus Next.js-liides, FastAPI API ja PostgreSQL-i andmebaas kutsuvad mudelit API kaudu, mahub 6 kuni 8 GB-sse, liidese kompileerimine kaasa arvatud.

Vektoresitused ja vektorotsing: vektorite mälu

Rakendus, mis otsib teie dokumentidest (RAG, retrieval-augmented generation), muudab iga lõigu vektoriks ja leiab seejärel küsimusele lähimad. Mõõta tuleb kahte osa:

• Vektoresituste mudel (embeddings), kui see töötab teie juures: levinud mudelid kaaluvad 100 MB kuni 1,5 GB ja arvutavad protsessoril probleemideta. Näiteks all-MiniLM-L6-v2 võtab alla 100 MB.
• Vektorid: pgvectoriga võtab vektor 4 baiti mõõtme kohta, pluss 8. Miljon lõiku 1 536 mõõtmes teeb umbes 6 GB andmeid, millele lisandub otsingut kiirendav HNSW-indeks. Kiirete otsingute jaoks peavad indeks ja loetavad vektorid mahtuma mällu.

pgvectori tüüp halfvec salvestab iga mõõtme 4 baidi asemel 2 baidile: pool mälust, otsingukvaliteediga, mis jääb väga lähedaseks.

Mudel serveris: kõigepealt mälu

Keelemudel on kaalude fail, mis laaditakse vastamiseks tervikuna mällu. Selle suurus sõltub parameetrite arvust ja kvantimisest, täpsusest, millega iga kaal salvestatakse. GGUF-vorming, mida kasutavad llama.cpp ja Ollama, pakub kvantimisi 2 kuni 16 bitti; variant Q4_K_M, umbes 4 bitti, on levinud kompromiss suuruse ja kvaliteedi vahel.

Mudeli kaalule lisanduvad kaks osa:

• Kontekst (KV-vahemälu): iga käimasoleva vestluse token võtab mälu. Llama 3.1 8B puhul arvestage 16-bitises täpsuses umbes 128 KB tokeni kohta, ehk 1 GB 8 000 tokeni pikkuse konteksti jaoks, ja sama palju iga paralleelselt töödeldava vestluse kohta.
• Ülejäänud server: süsteem, rakendus, andmebaas, nagu iga veebirakenduse puhul.

Näide. Llama 3.1 8B 4-bitisena, kaks samaaegset 8 000 tokeni pikkust vestlust ja väike rakendus: 5 GB mudelile, 2 GB kontekstile, 2 GB rakendusele ja süsteemile, kokku 9 GB, ning 25 % varuga umbes 12 GB.

Protsessoril: mis määrab kiiruse

Iga tokeni tootmiseks loeb mudel mälust uuesti läbi kõik oma kaalud. Protsessoril piirab genereerimiskiirust seega pigem mälu ribalaius kui tuumade arv: 5 GB mudel masinal, mis loeb 25 GB sekundis, jõuab umbes 5 tokenini sekundis, enne kui arvutust üldse arvestada.

Eristuvad kaks faasi:

• Küsimuse lugemine (prompt processing) on intensiivne arvutus: rohkem vCPU-sid teeb selle kiiremaks, mis on oluline pikkade dokumentide puhul.
• Vastuse genereerimine sõltub eelkõige mälu ribalaiusest ja mudeli suurusest: kaks korda väiksem mudel vastab umbes kaks korda kiiremini.

Praktikas toodab 4-bitiseks kvantitud 7 kuni 8 miljardi parameetriga mudel mõnel vCPU-l paar tokenit sekundis. Sellest piisab mugavalt taustatöötluseks (sõnumite klassifitseerimine, väljade eraldamine dokumendist, päeva jooksul saabunu kokkuvõtmine öösel) ja sisemiseks assistendiks. Suuremahulised interaktiivsed kasutused ja mitmekümne miljardi parameetriga mudelid käitatakse graafikakaardil (GPU).

Otsustab mõõtmine: llama-bench, mis tuleb koos llama.cpp-ga, annab mõlema faasi kiiruse teie serveris, teie mudeliga.

llama-bench -m mudel-Q4_K_M.gguf -p 512 -n 128

Ketas: mudelid, nende versioonid, vektorid

Mudel võtab kettal umbes sama palju ruumi kui mälus: 5 GB 8 miljardi parameetriga 4-bitisele mudelile. Arvestage ruumi kahe või kolme mudeli või versiooni, vektorindeksite, lähtedokumentide ja andmebaasi jaoks. NVMe SSD laadib mudeli teenuse käivitumisel mõne sekundiga, mis loeb iga taaskäivituse juures.

Suurusjärk: 50 GB rakendusele, mis kutsub mudelit API kaudu, 80 kuni 120 GB niipea, kui mudel ja selle dokumendid asuvad serveris.

Turvaline paigaldus

Ollamaga mahub käivitamine kahte käsku:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b

Ollama kuulab vaikimisi aadressil 127.0.0.1:11434, see tähendab ainult serverist endast. Jätke see seadistus alles: selle API ei nõua autentimist ja internetile avatud eksemplar teenindab kõiki, teie ressursside arvelt. Teie rakendus samas serveris suhtleb sellega kohalikult; kui seda peab pärima mõni teine server, kasutage päringuid autentivat puhverserverit või privaatvõrku.

Seadistage seejärel konteksti suurus (num_ctx) vastavalt sellele, mida teie päringud vajavad: just see kasvatab hõivatud mälu vestlus vestluse järel.