Η Yandex παρουσιάζει τη μέθοδο HIGGS για ταχεία συμπίεση γλωσσικών μοντέλων τεχνητής νοημοσύνης

[polaki]

Μπορεί κάποιος με απλά λόγια να εξηγήσει τί θα πει συμπίεση και τι ποσοτικοποίηση ενός LLM?

Στο δια ταύτα, το αποτέλεσμα ποιό θα είναι; 

[Dimitris_1981]

8 ώρες πριν, JcD είπε

Η μενδωνη το πήρε χαμπάρι? Γιατί με δική της εντολή είχε ακυρωθεί η λίμνη των κύκνων 😅

Οι κύκνοι έπιναν βότκα και έτρωγαν πιροσκί με παστή ρέγκα. Επίσης, μπορεί και να έχασε στην πρώτη πίστα του Tetris.

Πάω να βάψω ένα σπίτι χωρίς στέγη…

[MikeKata]

13 hours ago, polaki said:

Μπορεί κάποιος με απλά λόγια να εξηγήσει τί θα πει συμπίεση και τι ποσοτικοποίηση ενός LLM?

Στο δια ταύτα, το αποτέλεσμα ποιό θα είναι; 

Το "quantization" εννοούν. Είναι η διαδικασία του να "αντικαθιστας" ένα σετ συνεχών ή υψηλής ακρίβειας τιμών (π.χ fp32 κλπ) με διακριτούς αριθμούς (π.χ int8).

Μειώνει δραματικά την επεξεργαστική ισχύ και τη μνήμη που χρειάζεται, αυξάνει την ταχύτητα, αλλά μειώνει την ακρίβεια του μοντέλου.