Πληροφοριές για τοπικά LLMs

[Luciddream]

Νομίζω χρειάζεται ένα τοπικ για LLMs που μπορούμε να τρέξουμε σε δικό μας hardware. Προσωπικά τα τρέχω σε Linux και llama.cpp μέσω lemonade server στην GPU μου (AMD 9070XT) είτε με ROCm είτε με Vulkan και παίζουν μια χαρά. Το ίδιο μπορείς να κάνεις και σε Windows. Μέσω huggingface επιλέγεις όποιο μοντέλο θέλεις και το φορτώνεις μέσα σε δευτερόλεπτα.

Επίσης με ComfyUI και custom nodes (GGUF) μπορώ και τρέχω το Qwen Image Edit σε δικές μου φωτογραφίες βάζοντας ότι prompt θέλω. Παίρνει περίπου 5-10 λεπτά για την κάθε φωτογραφία. Μπορώ να τρέξω και κάποια benchmarks αν ενδιαφέρεται κάποιος για νούμερα.

Σήμερα βγήκε και το DeepSeek V3.1 και λέω να το δοκιμάσω το βράδυ που θα είμαι σπίτι να δούμε τι ψάρια πιάνει. 😀

[Luciddream]

Λοιπόν για να έχουμε και παραδείγματα που να φαίνονται είπα να βάλω και δυο φωτογραφίες που έφτιαξα με το Qwen Image Edit. Στην πρώτη έχω βάλει σαν εικόνα δικιά μου φώτο και στην δεύτερη μιας φίλης μου. Τα prompts είναι πάνω κάτω ότι φαίνεται 😛 

1)

Spoiler

 2)

Spoiler

 

[zazoum]

On 21/08/2025 at 20:51, Luciddream said:

Λοιπόν για να έχουμε και παραδείγματα που να φαίνονται είπα να βάλω και δυο φωτογραφίες που έφτιαξα με το Qwen Image Edit. Στην πρώτη έχω βάλει σαν εικόνα δικιά μου φώτο και στην δεύτερη μιας φίλης μου. Τα prompts είναι πάνω κάτω ότι φαίνεται 😛 

1)

  Hide contents

 2)

πφφ...σφιχτη

[Luciddream]

4 hours ago, zazoum said:

πφφ...σφιχτη

χαχα έτσι θα είμαι το επόμενο καλοκαίρι. Προς το παρόν μόνο τα μαλλιά, τα αυτιά, και τα μάτια έχει πάρει από εμένα 😛 

Σήμερα δοκίμασα και το WAN2.2 από εδώ αλλά δεν δούλεψε πολύ καλά έβγαλε κάποια artifacts. Ζορίζεται και η κάρτα πολύ είναι ακόμα νωρις για τέτοια νομίζω. Θέλει πιο δυνατή GPU σίγουρα για βίντεο.

Παρόλα αυτά μπορεί να κάνω και κάτι λάθος. Γιατί βλέπω στο ιντερνετ γίνεται χαμός όλοι φτιάχνουν ωραία πράγματα. π.χ Κάρτες Pokemon Animated, κ.α

[Luciddream]

Για εικόνες πάντως το WAN2.2 είναι πανεύκολο, ας πούμε αυτήν την εικόνα την έφτιαξα σε 280 δευτερόλεπτα με text prompt.

Και αυτήν εδώ σε 140 δευτερόλεπτα

Spoiler

 

[Sheogorath]

Ωραίος! Απο windows έχεις εμπειρία/διαβάσει κάτι;

[Luciddream]

7 minutes ago, Sheogorath said:

Ωραίος! Απο windows έχεις εμπειρία/διαβάσει κάτι;

Αν λες για AMD και Stable Diffusion, νομίζω με Zluda παίζουν κάποιοι γιατί νομίζω το ROCm δεν παίζει ακόμα. Τα υπόλοιπα, π.χ ο lemonade-server για text-generation δουλεύει κανονικά με Vulkan σε Windows, το έχω βάλει στο λάπτοπ. Για Nvidia λογικά θα παίζουν όλα σε Windows κανονικά. 

Το θέμα είναι ότι τα παραπάνω τα βγάζει μια GPU 16GB των ~600 ευρώ, φανταστείτε σε λίγα χρόνια τι έχει να γίνει  

[Sheogorath]

19 λεπτά πριν, Luciddream είπε

Αν λες για AMD και Stable Diffusion, νομίζω με Zluda παίζουν κάποιοι γιατί νομίζω το ROCm δεν παίζει ακόμα. Τα υπόλοιπα, π.χ ο lemonade-server για text-generation δουλεύει κανονικά με Vulkan σε Windows, το έχω βάλει στο λάπτοπ. Για Nvidia λογικά θα παίζουν όλα σε Windows κανονικά. 

Το θέμα είναι ότι τα παραπάνω τα βγάζει μια GPU 16GB των ~600 ευρώ, φανταστείτε σε λίγα χρόνια τι έχει να γίνει  

Για Nvidia καρτα σε AMD σύστημα (αν έχει σημασία).

[Luciddream]

13 minutes ago, Sheogorath said:

Για Nvidia καρτα σε AMD σύστημα (αν έχει σημασία).

Νομίζω θα παίζει κανονικά. Έχουν κάνει πολύ δουλειά γενικά, και με τις παραμέτρους που δέχονται όλα τα προγράμματα(π.χ ComfyUI, llama.cpp) μπορείς να βάλεις να στέλνει κάποια layers στην RAM ή ακόμα και στον δίσκο (π.χ NVME) οπότε θεωρητικά μπορείς να τρέχεις και πολύ μεγαλύτερα μοντέλα. Κάπου είχα διαβάσει ότι με 128GB RAM μπορείς να τρέχεις 240GB μοντέλα αλλά δεν έχω φτάσει ακόμα εκεί, καμιά βδομάδα ασχολούμαι γενικότερα. Τώρα δοκιμάζω ένα άλλο μοντέλο και θα ανεβάσω σε λίγο τα αποτελέσματα αν είναι καλά 😄

[Sheogorath]

Μόλις τώρα, Luciddream είπε

Νομίζω θα παίζει κανονικά. Έχουν κάνει πολύ δουλειά γενικά, και με τις παραμέτρους που δέχονται όλα τα προγράμματα(π.χ ComfyUI, llama.cpp) μπορείς να βάλεις να στέλνει κάποια layers στην RAM ή ακόμα και στον δίσκο (π.χ NVME) οπότε θεωρητικά μπορείς να τρέχεις και πολύ μεγαλύτερα μοντέλα. Κάπου είχα διαβάσει ότι με 128GB RAM μπορείς να τρέχεις 240GB μοντέλα αλλά δεν έχω φτάσει ακόμα εκεί, καμιά βδομάδα ασχολούμαι γενικότερα. Τώρα δοκιμάζω ένα άλλο μοντέλο και θα ανεβάσω σε λίγο τα αποτελέσματα αν είναι καλά 😄

Ακολουθείς κάποιον οδηγό συγκεκριμένα;

[Luciddream]

34 minutes ago, Sheogorath said:

Ακολουθείς κάποιον οδηγό συγκεκριμένα;

Όχι αλλά σιγά σιγά μαθαίνω, κάποια πράγματα δεν τα καταλαβαίνω ακόμα. Προσπαθώ να βρίσκω GGUF μοντέλα που είναι quantized και τρέχουν εύκολα σε Consumer GPUs. Αν μπεις στο huggingface με φίλτρο GGUF μπορείς να δεις ποια μοντέλα χωράνε στην GPU σου. Πιο συγκεκριμένα μπορείς να σετάρεις την GPU σου στα settings και ότι είναι μεγαλύτερο θα στο βγάζει με κόκκινο. Παρόλα αυτά νομίζω και τα μεγαλύτερα τρέχουν με κάποιες ρυθμίσεις.

Για το ComfyUI, έχει δικά του workflows όταν το κατεβάσεις. Η διαφορά είναι ότι, έχω εγκαταστήσει και το ComfyUI Manager και χρησιμοποιώ τα nodes από τον city96. Οπότε μόλις βγάλουν GGUF έκδοση για κάποιο μοντέλο μπορείς να το χρησιμοποιήσεις. Επειδή αυτοί που τα δουλεύουν στο civitai είναι μεγάλα μαστόρια, καλύτερα να τα κατεβάζεις από εκεί.

Για text-generation local, όπως το ChatGPT, έχει άπειρα εργαλεία, εγώ έχω τον lemonade-server που είναι της AMD και τρέχει ουσιαστικά το llama.cpp στο ROCm με δικό του frontend. Στο λάπτοπ μου που έχει Nvidia GPU παίζει κανονικά ο lemonade-server. Αν δεν σε καλύπτει μπορείς να βάλεις σαν frontend το WebUI και να συνδέεσαι από τον browser ή ακόμα και από άλλο PC στο δίκτυο.

Τώρα θέλω να δοκιμάσω και να συνδέσω το llama.cpp με MCP server για να μετατρέψω κάποια αρχεία figma σε HTML / CSS. Αυτό το χρειάζομαι για την δουλειά κυρίως, αλλά όταν και αν βρω χρόνο θέλω να φτιάξω και δικό μου MCP server με το C# SDK.

Το αστείο είναι ότι πριν 20 μέρες απέφευγα ότι είχε να κάνει με Α.Ι και τώρα έχω βρει καινούριο hobby  

Επεξ/σία πριν από 3 ώρες από Luciddream