Το νέο μικρού μεγέθους μοντέλο Mu της Microsoft ενισχύει τις λειτουργίες των Windows 11

Ενώ τα μεγάλα γλωσσικά μοντέλα (LLMs) κυριαρχούν στις συζητήσεις για την τεχνητή νοημοσύνη, τα μικρότερα γλωσσικά μοντέλα έχουν επίσης σημαντικό ρόλο, ιδιαίτερα σε συσκευές με περιορισμένη ισχύ όπως τα κινητά τηλέφωνα και οι φορητοί υπολογιστές.

Η Microsoft χρησιμοποιεί ήδη ένα μικρό γλωσσικό μοντέλο με την ονομασία Phi Silica στα Windows 11, επιτρέποντας στις λειτουργίες Copilot+ PC να λειτουργούν χωρίς καθυστερήσεις σε επεξεργαστές όπως o Snapdragon X Plus. Δημοφιλή chatbots τεχνητής νοημοσύνης όπως το ChatGPT, το Copilot και το Gemini χρησιμοποιούν πιο προηγμένα LLMs που απαιτούν ισχυρές GPU, αλλά μικρότερα μοντέλα όπως το Phi Silica και το Mu μπορούν να επιτύχουν παρόμοια αποτελέσματα με ένα κλάσμα της υπολογιστικής ισχύος, με αντάλλαγμα τη μικρότερη ευελιξία.

Το Mu είναι ένα "μικρού μεγέθους, εξειδικευμένο για συγκεκριμένες εργασίες γλωσσικό μοντέλο" σχεδιασμένο να λειτουργεί αποδοτικά σε μια Μονάδα Επεξεργασίας Νευρωνικών Δικτύων (NPU), όπως αυτές που βρίσκονται στους πρόσφατους υπολογιστές Copilot+ PC, αναφέρει η Microsoft. Η εταιρεία χρησιμοποίησε διάφορες τεχνικές βελτιστοποίησης για να επιτύχει υψηλή απόδοση με περιορισμένη ισχύ, συμπεριλαμβανομένης μιας αρχιτεκτονικής transformer encoder–decoder, κοινής χρήσης βαρών σε ορισμένα στοιχεία για τη μείωση του συνολικού αριθμού παραμέτρων και χρήσης μόνο επιταχυνόμενων λειτουργιών από το hardware.

Σύμφωνα με τη Microsoft, το Mu μπορεί να "τρέξει" με ταχύτητα άνω των 200 tokens ανά δευτερόλεπτο σε ένα Surface Laptop 7, κάτι που αποτελεί ταχύτερη απόκριση από αυτή που θα λαμβάνατε συνήθως από τις δωρεάν εκδόσεις του ChatGPT ή του Gemini σε έναν browser.

Το μοντέλο Mu χρησιμοποιείται πρώτα για τη γραμμή αναζήτησης στην εφαρμογή ρυθμίσεων των Windows 11, η οποία κυκλοφόρησε πρόσφατα στους Windows Insiders με υπολογιστές που ενσωματώνουν επεξεργαστή Snapdragon. Μπορεί να κατανοεί εντολές όπως "πώς να ελέγχω τον υπολογιστή μου με τη φωνή μου" ή "ο δείκτης του ποντικιού μου είναι πολύ μικρός" και να εντοπίζει τη σωστή ρύθμιση. Για την ώρα δεν είναι σαφές αν το Mu θα χρησιμοποιηθεί για άλλες λειτουργίες του Copilot+ PC.

Όπως αναφέρεται σε blog post της Microsoft, "Η διαχείριση του εκτεταμένου φάσματος ρυθμίσεων των Windows έθεσε τις δικές της προκλήσεις, ιδιαίτερα με αλληλοεπικαλυπτόμενες λειτουργίες. Για παράδειγμα, ακόμη και ένα απλό ερώτημα όπως 'Αύξηση φωτεινότητας' θα μπορούσε να αναφέρεται σε πολλαπλές αλλαγές ρυθμίσεων – αν ένας χρήστης έχει διπλές οθόνες, αυτό σημαίνει αύξηση της φωτεινότητας στην κύρια οθόνη ή σε μια δευτερεύουσα οθόνη; Για την αντιμετώπιση αυτού, βελτιώσαμε τα δεδομένα εκπαίδευσής μας ώστε να δίνουν προτεραιότητα στις πιο δημοφιλείς ρυθμίσεις καθώς συνεχίζουμε να βελτιώνουμε την εμπειρία για πιο περίπλοκες εργασίες."

Τα "ελαφριά" γλωσσικά μοντέλα που εκτελούνται τοπικά αποτελούν μερικές από τις καλύτερες χρήσεις για την παραγωγική τεχνητή νοημοσύνη, καθώς η ταχύτητα απόκρισης και το απόρρητο των δεδομένων είναι πολύ ευκολότερο να διασφαλιστούν όταν δεν εμπλέκονται διακομιστές στο cloud. Αυτό βέβαια δεν εμπόδισε το Recall από το να φτάσει κοντά στο να αποτελέσει μια καταστροφή σε θέματα ασφαλείας.

• microsoft
• Copilot Plus PC