Προς το περιεχόμενο

Η Κινέζικη multi-modal AI, Wu Dao 2.0 έχει 10 φορές το μέγεθος του μοντέλου GPT-3 της Open AI


polemikos

Προτεινόμενες αναρτήσεις

Όταν το μοντέλο GPT-3 της κοινοπραξίας Open AI έκανε το ντεμπούτο του τον Μάϊο του 2020 ήταν κυριολεκτικά η τελευταία λέξη της τεχνολογίας.

Ικανό να παράγει κείμενο σχεδόν χωρίς καμία διαφορά από το ανθρώπινο, το μοντέλο GPT-3 αποτέλεσε το νέο στάνταρντ στη βαθιά εκμάθηση. Όμως από ότι φαίνεται, τουλάχιστον στον τομέα της βαθιάς εκμάθησης και της τεχνητής νοημοσύνης ένας χρόνος μπορεί να κάνει τη διαφορά. Ερευνητές λοιπόν από την Ακαδημία Τεχνητής Νοημοσύνης στο Πεκίνο ανακοίνωσαν πρόσφατα τη διάθεση του δικού τους generative μοντέλου βαθιάς εκμάθησης, του Wu Dao.

Πρόκειται για τεχνητή νοημοσύνη που είναι ικανή να κάνει όλα όσα και το GPT-3 και ακόμα περισσότερα. Αρχικά, να αναφέρουμε ότι το μοντέλο Wu Dao είναι τεράστιο, και έχει εκπαιδευτεί σε 1,75 τρισεκατομμύρια παραμέτρους που είναι 10 φορές περισσότερες από αυτές που έχει εκπαιδευτεί το μοντέλο GPT-3 της Open AI και κατά 150 δισεκατομμύρια παραμέτρους «μεγαλύτερο» από το Switch Transformers της Google.

Για να καταφέρουν να εκπαιδεύσουν το μοντέλο σε τόσες πολλές παραμέτρους και να γίνει σε σύντομο χρονικό διάστημα -το Wu Dao 2.0 έφτασε μόλις τρεις μήνες μετά την 1.0 έκδοση του μοντέλου- οι Κινέζοι ερευνητές ανέπτυξαν πρώτα ένα σύστημα εκπαίδευσης ανοικτού λογισμικού, το οποίο μοιάζει με το Mixture of Experts της Google και έχει την ονομασία FastMoE. Το σύστημα, το οποίο λειτουργεί σε PyTorch, κατέστησε δυνατή την εκπαίδευση του μοντέλου τόσο σε clusters υπερυπολογιστών όσο και σε συμβατικές GPUs. Από μόνη της αυτή η δυνατότητα έκανε το FastMoE σημαντικά πιο ευέλικτο από το σύστημα της Google καθώς δεν απαιτεί εξειδικευμένο hardware όπως συμβαίνει στην περίπτωση των  TPUs της Google.

Σε αντίθεση με άλλα μοντέλα βαθιάς εκμάθησης που μπορούν να εκτελέσουν μία εργασία – παραγωγή deep fakes, αναγνώριση προσώπων, συγγραφή κειμένων κ.ά.- το Wu Dao είναι multi-modal, δηλαδή θεωρητικά παρόμοια με την τεχνητή νοημοσύνη αναγνώρισης ρητορικής μίσους του Facebook ή το MUM της Google. Επομένως μπορεί να πραγματοποιεί πολλά διαφορετικά πράγματα όπως να εκτελεί λειτουργίες φυσικής γλώσσας, παραγωγή κειμένου, να αναγνωρίζει εικόνες ή να παράγει εικόνες κ.ά. Το μοντέλο μάλιστα δεν έχει μόνο εκπαιδευτεί στην συγγραφή ποιημάτων ή διηγημάτων στα Κινέζικα, αλλά μπορεί να παράγει φωτορεαλιστικές εικόνες με βάση περιγραφές σε φυσική γλώσσα και άλλα πολλά (π.χ. να εκτιμά την τρισδιάστατη δομή πρωτεϊνών κ.ά.).

«Ο δρόμος για την γενική τεχνητή νοημοσύνη είναι τα μεγάλα μοντέλα και οι μεγάλοι υπολογιστές» δήλωσε ο Dr. Zhang Hongjiang, Πρόεδρος της Ακαδημίας Τεχνητής Νοημοσύνης του Πεκίνου. «Αυτό που φτιάχνουμε είναι ένα εργοστάσιο ενέργειας για το μέλλον της τεχνητής νοημοσύνης… με μεγάλα δεδομένα, μεγάλη επεξεργαστική ισχύ και μεγάλα μοντέλα, μπορούμε να μεταμορφώσουμε τα δεδομένα για να τροφοδοτήσουμε τις εφαρμογές τεχνητής νοημοσύνης του μέλλοντος».


Διαβάστε ολόκληρο το άρθρο

Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

4 λεπτά πριν, KilliK είπε

ωραια, μενουν οι Ρωσοι να ανακοινωσουν και αυτοι το δικο τους μεγαλο ΑΙ. να τα βαλουν και τα 3 μαζι να συζητησουν. και στο τελος:

 

Έχω καλύτερο...ας βάλουν τις τωρινές ΑΙ να εκπαιδεύσουν τις επόμενες.

Κάποια από τα "παιδιά" θα καταρρεύσουν πολύ πολύ γρήγορα, κάποια θα κινηθούν στη μετριότητα, κάποια θα κάνουν προόδους/άλματα, κάποιο θα κάνει το μπαμ.

Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Ποιος θα μπορούσε με εύκολο λόγο σαν να ομιλεί σε παιδί να μου πει τι κάνουν αυτα τα τσιπακια ; Οσα έχω διαβάσει κινούνται στο παραπάνω στυλ κ επειδή ισως , μπορεί κ μάλλον , είμαι χαζός !!!

  • Thanks 2
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Μου θυμίζει trancendence. Την γνωστή ταινία με τον Τζονυ Ντεπ. Βασικά αν βάλουμε και τον Έλον στο σενάριο με την τεχνολογία Neuralink και εξελιχθεί στο να διαβάσει τον κώδικα που ρέει στον εγκέφαλο του καθένα μας ίσως μελλοντικά να μην είναι επιστημονική φαντασία η αντιγραφή ενός εγκεφάλου σε ένα τσιπ/υπολογιστή στην συγκεκριμένη περίπτωση. Και για να πάμε παρακάτω πολύ μελλοντικά και με λίγη φαντασία όταν αυτά ολοκληρωθούν και χωρέσουν σε μερικά κυβικά εκατοστά σε συνδυασμό με ένα τέλειο ανθρωποειδές ρομπότ να έχουμε αντίγραφο πλήρες οποιουδήποτε ανθρώπου. 

Τρομερά πράγματα... 

  • Like 1
  • Sad 1
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Δημοσ. (επεξεργασμένο)

Ως Κινεζικη AI που σέβεται τον εαυτό της έχει ήδη αρχίσει να κοπιάρει πατέντες της Apple,Samsung,LG,Nokia κλπ ...

Επεξ/σία από kostas106gti
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Ακόμα μια απόδειξη πως οι ΗΠΑ δεν έχουν πολύ χρόνο. Εάν οι Κινέζοι αποκτήσουν πρώτοι την κβαντική υπεροχή στους υπολογιστές το παιχνίδι για τις ΗΠΑ, (και για όλο τον δυτικό κόσμο) θα έχει χαθεί. Κι όποιος κατάλαβε, κατάλαβε.

  • Like 1
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

1 ώρα πριν, KilliK είπε

ωραια, μενουν οι Ρωσοι να ανακοινωσουν και αυτοι το δικο τους μεγαλο ΑΙ. να τα βαλουν και τα 3 μαζι να συζητησουν. και στο τελος:

 

Παιχνιδάρα!

  • Like 2
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Δημοσ. (επεξεργασμένο)

Θελω να κανω μια ερωτηση που με ταλανιζει χρονια σαν φαινομενο και το βλεπω μονο στον ελλαδικο χωρο. Προς τι αυτο το παθος να αλλαζει η ορολογια στα ελληνικα? Πχ γιατι μεταφραζετε τους ορους machine learning, deep learning, κτλ? Θεωρειτε οτι ειναι ποο χρησιμο στον αναγνωστη? Απο την αλλη γιατι δεν μεταφράστηκε και το "deep fakes" κατα τον ιδιο τροπο? 

Επεξ/σία από zarrok
  • Like 3
  • Sad 1
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Δημοσ. (επεξεργασμένο)
2 ώρες πριν, zarrok είπε

Θελω να κανω μια ερωτηση που με ταλανιζει χρονια σαν φαινομενο και το βλεπω μονο στον ελλαδικο χωρο. Προς τι αυτο το παθος να αλλαζει η ορολογια στα ελληνικα? Πχ γιατι μεταφραζετε τους ορους machine learning, deep learning, κτλ? Θεωρειτε οτι ειναι ποο χρησιμο στον αναγνωστη? Απο την αλλη γιατι δεν μεταφράστηκε και το "deep fakes" κατα τον ιδιο τροπο? 

 

Επεξ/σία από markos9
Συνδέστε για να σχολιάσετε
Κοινοποίηση σε άλλες σελίδες

Δημιουργήστε ένα λογαριασμό ή συνδεθείτε για να σχολιάσετε

Πρέπει να είστε μέλος για να αφήσετε σχόλιο

Δημιουργία λογαριασμού

Εγγραφείτε με νέο λογαριασμό στην κοινότητα μας. Είναι πανεύκολο!

Δημιουργία νέου λογαριασμού

Σύνδεση

Έχετε ήδη λογαριασμό; Συνδεθείτε εδώ.

Συνδεθείτε τώρα
  • Δημιουργία νέου...