LM Studio ή PrivateGPT;

[Gexadas]

Καλημέρα, θέλω να πειραματιστώ λίγο με τοπικό ΑΙ στο Pc. Κατάφερα και έβαλα το LM αλλά το βλέπω λίγο αργό και ήθελα να δοκιμάσω και το PrivateGPT αλλά δεν μου φορτώνει το .env και δεν βλέπει το .gguf (με τη βοήθεια του chatgpt). Τα έχει δοκιμάσει κανείς, αξίζουν ή πολύ φασαρία για το τίποτα; Η κεντρική μου ιδέα ήταν να έχω βοηθό όταν αναζητώ κάποια λεπτομέρεια από doc, pdf να μου τη βρίσκει εύκολα ή για σύνοψη κλπ Περισσότερο από περιέργεια και πειραματισμό. 

[angmar]

Δε θα δεις και μεγάλη διαφορά με την αλλαγή του interface. Πόσα tokens/s σου δείχνει το LM Studio; Πιθανότατα το πρόβλημα είναι η διαθέσιμη υπολογιστική ισχύς. Με τι επεξεργαστή/κάργα γραφικών το τρέχεις;

Μπορείς να δεις και το GPT4All της NomicAI που έχει το LocalDocs feature με κάποιο μικρό μοντέλο, αλλά το indexing μπορεί να πάρει πολύ χρόνο ανάλογα με το μέγεθος και τον αριθμό των docs.

Επεξ/σία 16 Απριλίου από angmar

[Sheogorath]

Γιατί δεν κατεβάζεις AnythingLLM και να τρέξεις τοπικά κάποιο μοντέλο LLM απο hugging face?

[DrFreeman]

8 hours ago, Sheogorath said:

Γιατί δεν κατεβάζεις AnythingLLM και να τρέξεις τοπικά κάποιο μοντέλο LLM απο hugging face?

Εχεις ξεχωρίσει κάποια από εκεί;

[Sheogorath]

12 ώρες πριν, DrFreeman είπε

Εχεις ξεχωρίσει κάποια από εκεί;

Ανάλογα την κάρτα γραφικών σου. Μπορείς ollama, deepseek r1 κτλ 

[Gexadas]

Στις 17/4/2025 στις 12:39 ΜΜ, Sheogorath είπε

Ανάλογα την κάρτα γραφικών σου. Μπορείς ollama, deepseek r1 κτλ 

Σας ευχαριστώ όλους για τις απαντήσεις. Τι κάρτα γραφικών θα πρότεινες vfm; 

[Sheogorath]

Εντωμεταξύ τώρα το σκεφτηκα να κάνουμε ένα θέμα όλοι εμείς που θελουμε να τρέξουμε locally μοντέλα; Με οδηγίες, σκέψεις, builds κτλ;

Μόλις τώρα, Gexadas είπε

Σας ευχαριστώ όλους για τις απαντήσεις. Τι κάρτα γραφικών θα πρότεινες vfm; 

Πιστεύω αφού γίνεται scale σε πολλές, πας σε RTX 3050 8gb ή Rtx 3060. Και βάζεις 3-4

Εγώ αυτό έχω ξεκινήσει να κάνω με 8700, Ζ370 και RTX 3050

Διαφορετικά αν βρεις φθηνή 4060ti 16, ή Rtx 5060ti 16

[Gexadas]

Κατέβασα το AnythingLLM με mistral 7b. Είναι η πρώτη φορά που ασχολούμαι, θέλω να πειραματιστώ. Τις τλευεταίες ημέρες χρησιμοποιώ αρκετά το chatgpt. Βλέπω ότι έχουν μεγάλη διαφορά ταχύτητας.  

[daemonix]

If you have any LLM (and 'local' LLM) questions just hit me up. I can read greek but I cant really write (I hope its ok with you). I just replied as much as I can in a couple of threads I saw the last couple of days.

I have fooled around on a number of systems (low-power to supercomputers) and with most well know models.

1) dont pay anything for new hardware before you know if and what you need! (maybe check my latest posts as I explain a bit more regarding memory size and context window)

2) I found this "χω βοηθό όταν αναζητώ κάποια λεπτομέρεια από doc, pdf να μου τη βρίσκει εύκολα ή για σύνοψη κλπ" this means that you want the model to include the content of one full text file including you question. This is a loooot of context window = way more memory than just the size of the q4 (4bit quantisation of a model, smaller size).

3) What is your PC currently? Start with a small Gemma3 and Phi4 model? Work with just ollama or lmstudio and dont look at pure performance. Be careful that most 'llm software' start with default 2000 context window! lets say a text of 1500 word, including your question to the LLM. 

4) dowload a simple free/open tool that counts token for text files. Im not a windows user so I only know terminal tools.

VRAM gigabyte add up quickly...  You hardly get things done without 24Gb cards. Especially if you need the llm to know YOUR data, not just a 'wikipedia'-bot.