Οικονομικές λύσεις Hardware για Local LLM - AI

[StavrosD]

Μέχρι τώρα όποιος ήθελε να τρέξει LLM έπρεπε να επενδύσει ένα σεβαστό κεφάλαιο σε Nvidia GPU. Πλέον υπάρχουν και εναλλακτικές, ας τις συγκεντρώσουμε εδώ.

1. Ως σημείο αναφοράς βάζω την Nvidia RTX 4500 Ada με 24GB, στο Skroutz κοστίζει περίπου 2300€, περίπου 96€/GB.

Υπάρχει δυνατότητα να συνδέσουμε παράλληλα πολλές κάρτες αλλά περιοριζόμαστε από το πλήθος PCI express θυρών στην μητρική.

 

2. Mac Silicon.

Τα Mac χρησιμοποιούν unified memory. Έχουν γρήγορο memory bandwidth και καθώς χρησιμοποιεί την μνήμη το NPU και η GPU μπορεί να τρέξουν LLM με αξιοπρεπείς επιδόσεις.

Το Mac Mini βγαίνει με έως 32GB, το MacBook Pro M4 Max με έως 128GB και το Mac Studio M3 Ultra με έως 512GB RAM.

Το M3 Ultra 512GB κοστίζει περίπου 12.000€, λιγότερα από 24€/GB.

Και εδώ υπάρχει η δυνατότητα σύνδεσης πολλών υπολογιστών παράλληλα, η σύνδεση σε cluster γίνεται μέσω thunderbolt. 

 

 

3. AMD Ryzen AI MAX

Πλέον κυκλοφορούν μηχανηματάκια με AMD Ryzen AI Max τα οποία έχουν καλό memory bandwidth, έχουν έως 128GB RAM και είναι διαθέσιμα σε λογική τιμή.

Για παράδειγμα αυτό κοστίζει περίπου $2.000 (πες 2.500€ στην Ελλάδα) με 128GB RAM

 https://www.gmktec.com/products/amd-ryzen™-ai-max-395-evo-x2-ai-mini-pc

Βγαίνει περίπου στα 20€/GB

4. NVIDIA Jetson AGX Orin 64GB Developer Kit

 

Κοστίζει λιγότερα από 2.000€, βγαίνει περίπου στα 32€/GB.

Προορίζεται κυρίως για edge inference και όχι για training, βγαίνει λίγο πιο ακριβό ανά GB αλλά έχει σχετικά μικρό μέγεθος και κατανάλωση. 

 

 

5. Nvidia DGX Station 

https://www.nvidia.com/en-eu/products/workstations/dgx-station/

Οι προδιαγραφές είναι αρκετά δελεαστικές, έως 288GB HBM3e 8TB/s + 496GB LPDDR5X 396GB/s, μένει να δούμε και την τιμή.

Θα ενημερώνω την λίστα με ότι καινούργιο βρω, συμπληρώστε την λίστα με ότι άλλο βρείτε ενδιαφέρον.

Επεξ/σία 14 Ιουνίου από StavrosD

[daemonix]

This mixed memory configuration of the this arm dgx is a bit weird. I have access to one and crashes quite easily, needs local compiles of libraries more that you would like

Its related to the way they "link" RAM and VRAM as one continues space (I think)

EDIT: BTW, 512GB Mac Ultra is epic, I have run both DeepSeek R1 and Qwen3 235B  

Επεξ/σία 22 Ιουνίου από daemonix