Ποιο VPS για να τρέξετε AI: API ή μοντέλο στον διακομιστή

Δύο ανάγκες, δύο μεγέθη διακομιστή

Οι περισσότερες εφαρμογές που «χρησιμοποιούν AI» (βοηθοί, agents, περιλήψεις, εξαγωγή δεδομένων, αναζήτηση σε έγγραφα) καλούν ένα μοντέλο που φιλοξενεί ο εκδότης του, μέσω API. Ο υπολογισμός γίνεται στους δικούς του διακομιστές. Ο δικός σας διακομιστής ετοιμάζει το αίτημα, περιμένει την απάντηση και την επεξεργάζεται. Διαστασιολογείται λοιπόν όπως κάθε εφαρμογή web: με βάση τη γλώσσα του, τη βάση δεδομένων του και τον αριθμό των ταυτόχρονων χρηστών.

Η άλλη περίπτωση είναι το μοντέλο που εκτελείται στον ίδιο τον διακομιστή, με το Ollama, το llama.cpp ή μια βιβλιοθήκη Python. Οι λόγοι είναι γνωστοί: δεδομένα που μένουν στη δική σας υποδομή, σταθερό κόστος όποιος κι αν είναι ο αριθμός των αιτημάτων, επεξεργασία μεγάλων όγκων στο παρασκήνιο, ένα εξειδικευμένο μοντέλο. Εδώ, ολόκληρο το μοντέλο πρέπει να χωρά στη μνήμη, και αυτό καθορίζει το μέγεθος.

Μέσω API: διαστασιολογήστε την εφαρμογή, όχι το μοντέλο

Ένα αίτημα σε μοντέλο μέσω API διαρκεί από ένα έως αρκετές δεκάδες δευτερόλεπτα, ιδίως όταν η απάντηση μεταδίδεται σταδιακά (streaming). Σε αυτό το διάστημα, ο διακομιστής σας δεν υπολογίζει σχεδόν τίποτα: περιμένει. Αυτό που μετράει είναι η ικανότητά του να κρατά πολλά αιτήματα σε αναμονή χωρίς να μπλοκάρει τα υπόλοιπα:

• Ένας ασύγχρονος διακομιστής: Node.js, FastAPI με Uvicorn, ή ασύγχρονοι workers του Gunicorn. Ένας σύγχρονος worker που περιμένει μια απάντηση 20 δευτερολέπτων είναι ένας worker μπλοκαρισμένος για όλους τους άλλους επισκέπτες.
• Μια ουρά εργασιών για τις μακροχρόνιες επεξεργασίες (περίληψη ενός εγγράφου, ανάλυση μιας παρτίδας): το αίτημα του επισκέπτη ολοκληρώνεται αμέσως, και ένας worker κάνει τη δουλειά στο παρασκήνιο.
• Ρυθμισμένοι χρόνοι λήξης στο proxy: ο Nginx διακόπτει εξ ορισμού μια απάντηση που μένει σιωπηλή πάνω από 60 δευτερόλεπτα (proxy_read_timeout).

Η μνήμη που χρειάζεται είναι αυτή της εφαρμογής και της βάσης της: 4 GB καλύπτουν μια εφαρμογή Python ή Node.js με PostgreSQL στην αρχή. Μια συνηθισμένη διάταξη, με ένα frontend σε Next.js, ένα API σε FastAPI και μια βάση PostgreSQL που καλούν ένα μοντέλο μέσω API, χωρά σε 6 έως 8 GB, μαζί με τη μεταγλώττιση του frontend.

Embeddings και διανυσματική αναζήτηση: η μνήμη των διανυσμάτων

Μια εφαρμογή που αναζητά στα έγγραφά σας (RAG, retrieval-augmented generation) μετατρέπει κάθε απόσπασμα σε διάνυσμα, και έπειτα βρίσκει τα πιο κοντινά σε μια ερώτηση. Δύο σημεία προς διαστασιολόγηση:

• Το μοντέλο embeddings, αν τρέχει στον δικό σας διακομιστή: τα συνηθισμένα μοντέλα ζυγίζουν από 100 MB έως 1,5 GB και υπολογίζουν σε επεξεργαστή χωρίς δυσκολία. Το all-MiniLM-L6-v2, για παράδειγμα, καταλαμβάνει λιγότερα από 100 MB.
• Τα διανύσματα: με το pgvector, ένα διάνυσμα καταλαμβάνει 4 byte ανά διάσταση, συν 8. Ένα εκατομμύριο αποσπάσματα σε 1.536 διαστάσεις αντιστοιχούν σε περίπου 6 GB δεδομένων, στα οποία προστίθεται το ευρετήριο HNSW που επιταχύνει την αναζήτηση. Για γρήγορες αναζητήσεις, το ευρετήριο και τα διανύσματα που αναζητούνται πρέπει να χωρούν στη μνήμη.

Ο τύπος halfvec του pgvector αποθηκεύει κάθε διάσταση σε 2 byte αντί για 4: η μισή μνήμη, με ποιότητα αναζήτησης που μένει πολύ κοντινή.

Ένα μοντέλο στον διακομιστή: πρώτα η μνήμη

Ένα γλωσσικό μοντέλο είναι ένα αρχείο βαρών, που φορτώνεται ολόκληρο στη μνήμη για να απαντήσει. Το μέγεθός του εξαρτάται από τον αριθμό των παραμέτρων και από την κβαντοποίηση (quantization), την ακρίβεια με την οποία αποθηκεύεται κάθε βάρος. Η μορφή GGUF, αυτή του llama.cpp και του Ollama, προσφέρει κβαντοποιήσεις από 2 έως 16 bit. Η παραλλαγή Q4_K_M, γύρω στα 4 bit, είναι ο συνηθισμένος συμβιβασμός ανάμεσα σε μέγεθος και ποιότητα.

Σε αυτό το βάρος προστίθενται δύο ακόμη στοιχεία:

• Το context (η cache KV): κάθε token της τρέχουσας συνομιλίας καταλαμβάνει μνήμη. Για το Llama 3.1 8B, υπολογίστε περίπου 128 KB ανά token σε ακρίβεια 16 bit, δηλαδή 1 GB για context 8.000 tokens, και άλλο τόσο για κάθε συνομιλία που επεξεργάζεται παράλληλα.
• Ο υπόλοιπος διακομιστής: σύστημα, εφαρμογή, βάση δεδομένων, όπως σε κάθε εφαρμογή web.

Παράδειγμα. Llama 3.1 8B σε 4 bit, δύο ταυτόχρονες συνομιλίες 8.000 tokens και μια μικρή εφαρμογή: 5 GB για το μοντέλο, 2 GB για το context, 2 GB για την εφαρμογή και το σύστημα, δηλαδή 9 GB, και περίπου 12 GB με 25 % περιθώριο.

Σε επεξεργαστή: τι καθορίζει την ταχύτητα

Για να παραγάγει κάθε token, το μοντέλο ξαναδιαβάζει όλα τα βάρη του από τη μνήμη. Σε επεξεργαστή, η ταχύτητα παραγωγής περιορίζεται λοιπόν από το εύρος ζώνης της μνήμης περισσότερο παρά από τον αριθμό των πυρήνων: ένα μοντέλο 5 GB, σε ένα μηχάνημα που διαβάζει 25 GB το δευτερόλεπτο, φτάνει στο ανώτατο όριό του γύρω στα 5 tokens το δευτερόλεπτο, πριν καν υπολογιστεί ο χρόνος των πράξεων.

Διακρίνονται δύο φάσεις:

• Η ανάγνωση της ερώτησης (prompt processing) είναι εντατικός υπολογισμός: περισσότερα vCPU την κάνουν πιο γρήγορη, κάτι που μετράει στα μεγάλα έγγραφα.
• Η παραγωγή της απάντησης εξαρτάται κυρίως από το εύρος ζώνης της μνήμης και το μέγεθος του μοντέλου: ένα μοντέλο δύο φορές μικρότερο απαντά περίπου δύο φορές πιο γρήγορα.

Στην πράξη, σε λίγα vCPU, ένα μοντέλο 7 έως 8 δισεκατομμυρίων παραμέτρων κβαντοποιημένο σε 4 bit παράγει λίγα tokens το δευτερόλεπτο. Αυτό είναι άνετο για επεξεργασίες στο παρασκήνιο (ταξινόμηση μηνυμάτων, εξαγωγή πεδίων από ένα έγγραφο, περίληψη τη νύχτα όσων έφτασαν μέσα στη μέρα) και για έναν εσωτερικό βοηθό. Οι διαδραστικές χρήσεις μεγάλης κλίμακας, και τα μοντέλα πολλών δεκάδων δισεκατομμυρίων παραμέτρων, εκτελούνται σε κάρτα γραφικών (GPU).

Η μέτρηση κρίνει: το llama-bench, που συνοδεύει το llama.cpp, δίνει την ταχύτητα των δύο φάσεων στον διακομιστή σας, για το μοντέλο σας.

llama-bench -m montelo-Q4_K_M.gguf -p 512 -n 128

Ο δίσκος: τα μοντέλα, οι εκδόσεις τους, τα διανύσματα

Ένα μοντέλο καταλαμβάνει στον δίσκο περίπου όσο και στη μνήμη: 5 GB για ένα μοντέλο 8 δισεκατομμυρίων παραμέτρων σε 4 bit. Προβλέψτε χώρο για δύο ή τρία μοντέλα ή εκδόσεις, τα διανυσματικά ευρετήρια, τα έγγραφα πηγής και τη βάση δεδομένων. Ένας NVMe SSD φορτώνει ένα μοντέλο σε λίγα δευτερόλεπτα κατά την εκκίνηση της υπηρεσίας, κάτι που μετράει σε κάθε επανεκκίνηση.

Τάξη μεγέθους: 50 GB για μια εφαρμογή που καλεί ένα μοντέλο μέσω API, 80 έως 120 GB μόλις ένα μοντέλο και τα έγγραφά του βρίσκονται στον διακομιστή.

Η εγκατάσταση, με ασφάλεια

Με το Ollama, η εκκίνηση χρειάζεται δύο εντολές:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.1:8b

Το Ollama ακούει εξ ορισμού στο 127.0.0.1:11434, δηλαδή μόνο από τον ίδιο τον διακομιστή. Κρατήστε αυτή τη ρύθμιση: το API του δεν ζητά καμία ταυτοποίηση, και μια εγκατάσταση ανοιχτή στο Internet εξυπηρετεί οποιονδήποτε, με τους δικούς σας πόρους. Η εφαρμογή σας, στον ίδιο διακομιστή, επικοινωνεί μαζί του τοπικά. Αν ένας άλλος διακομιστής πρέπει να του στέλνει αιτήματα, περάστε από ένα proxy που ταυτοποιεί τα αιτήματα ή από ένα ιδιωτικό δίκτυο.

Ρυθμίστε έπειτα το μέγεθος του context (num_ctx) σε ό,τι χρειάζονται τα αιτήματά σας: αυτό κάνει τη μνήμη να μεγαλώνει, συνομιλία προς συνομιλία.