Το νέο AI cluster της Huawei ξεπερνά το NVIDIA GB200 σε απόδοση, αλλά με τριπλάσιο κόστος

[vagosd]

Το όλο επίτευγμα θεωρείται επίτευγμα μόνο από κουμμουνιστικές χώρες που τους ενδιαφέρει το γόητρο από τον τίτλο της είδησης περισσότερο από την ουσία. 

Για τις προηγμένες τεχνολογικά χώρες δεν αποτελεί επίτευγμα να φτάσεις μια Χ απόδοση με 4πλάσια κόστη.

Άλλωστε το βλέπουμε και στα κινητά που ακόμα παράγει τις high end σειρές στα 7nm όταν όλοι οι υπόλοιποι είναι ήδη στα 3nm. 

[bazzil]

όταν έχεις λεφτά και πληρώνεις όσο όσο. Το ενεργειακό θα λυθεί. Δεν είναι εκεί το πρόβλημα. Αυτή τη στιγμή huawei είναι τόσο ψηλά που δεν την φτάνει κανείς. Και συνεχίζει...

[Dr_Pepper]

6 ώρες πριν, Cleas77 είπε

Κίνα,τεράστιος πληθυσμός, άφθονες πρώτες ύλες, δουλεύουν σαν μυρμήγκια και ισχυρή οικονομία. Δεν είναι τυχαίο ότι το 70% των προϊόντων, παγκοσμίως, φτιάχνεται εκεί (δεν σχολιάζω ποιότητα).

Ασταμάτητοι...

Αν υπήρχε βούληση απο τους ανθρώπους που κρατάνε το τιμόνι θα μπορούσαμε να είμαστε η κίνα της Ευρώπης γιατί έχουμε παρόμοιους μισθούς αλλά κατα μέσο όρο καλύτερη εκπαίδευση και γνώση ευρωπαϊκών γλωσσών 
Τέλος δουλεύουμε τις ίδιες ώρες περίπου τον ανα χρόνο 2184 εμείς και οι κινέζοι 2300 κάτι... αλλά τα δικά μας νούμερα δεν έχουν τις μαύρες απλήρωτες υπερωρίες που δουλεύουν οι περισσότεροι ειδικά σεζόν... 

+ είμαστε πολυ κοντά και εντός ΕΕ οπότε σε κάποια πράγματα συμφέρει πολύ απο θέμα logistics να τα παράγεις Ελλάδα και να στέλνεις Ευρώπη παρά να στέλνεις απο κίνα στην Ευρώπη .

[DrFreeman]

20 hours ago, m3ltd0wn said:

Με την εξέλιξη της ΤΝ στα 2 βασικά της συστατικά (hardware και software) αισθάνομαι πως προσπαθούμε να ανοίξουμε μια κλειδωμένη πόρτα και αυτή την στιγμή απλά θεωρούμε πως θα κερδίσει αυτός που θα κατασκευάσει τον μεγαλύτερο πολιορκητικό κριό και θα την βαρέσει με περισσότερη δύναμη.

Κανείς δεν προσπαθεί να την ξεκλειδώσει.

Τι εννοώ, οι εταιρείες τροφοδοτούν με όλο και πιο δυνατό hardware, το οποίο να μπορεί να λύσει προβλήματα μέσω υφιστάμενων μοντέλων και αλγορίθμων ΤΝ, οι οποίοι δεν είναι αποδοτικοί αλλά συνέχεια απαιτούν περισσότερες μεταβλητές και στρώματα κλπ. Δεν βλέπω κάποιον να προσπαθεί κάποια διαφορετική προσέγγιση, ενδεχομένως πιο "έξυπνη" ή καινοτόμο με λιγότερες απαιτήσεις.

Ακόμα και διαφορετική. Έχουμε όλοι ανέβει στο ίδιο τρένο και πάμε ποιος ξέρει που... (ΟΚ, η επιστήμη χτίζεται βήμα βήμα σε υπάρχουσες λύσεις, αλλά...)

Σήμερα, η εξέλιξη της ΤΝ βασίζεται σε δυο κυρίαρχες φιλοσοφίες: τη μηχανική αύξηση του υπολογιστικού πόρου και την κλιμάκωση των βαθιών νευρωνικών δικτύων.

Γιατί συμβαίνει αυτό; Επειδή τα μεγάλα δίκτυα προσφέρουν αυξημένη εκφραστικότητα και απλούστερη ροή σήματος για gradient descent, ενώ το hardware επιτρέπει την επεξεργασία τεράστιων συνόλων δεδομένων, οδηγώντας σε αξιόπιστα και μετρήσιμα αποτελέσματα, σε αντίθεση με εναλλακτικές, περισσότερο «έξυπνες» (όπως λες κι εσύ) ή συμβολικές προσεγγίσεις που απαιτούν πολύπλοκη ενσωμάτωση ανθρώπινης γνώσης, ειδικούς πόρους, μεγάλο ρίσκο και που δεν κλιμακώνονται εύκολα σε πραγματικά μεγέθη δεδομένων, οπότε, μέχρι να αναδειχθεί μια ριζικά νέα μεθοδολογία με αποδεδειγμένη υπεροχή, προτιμάται «να σπρώχνουμε» όλο και πιο ισχυρό hardware παρά να ψάχνουμε να «ξεκλειδώσουμε» την πόρτα με κάποιο μυστικό κλειδί.

Eίναι μια brute force προσεγγιση που όμως έρχεται μετά από εξειδίκευση δεκαετιών σε ένα μοντέλο που ξαφνικά, με μερικά tweaks ("Attention Is All You Need", 2017) και επαρκή ισχύ διαθέσιμη, άρχισε να λειτουργεί εντυπωσιακά καλά.

Επεξ/σία Τρίτη στις 08:12 πμ από DrFreeman

[transparent]

21 hours ago, Thessgr said:

Η Κίνα εξακολουθεί να μην ενδιαφέρεται τόσο πολύ για το περιβαλλοντικό αποτύπωμα των κατασκευών της παρά μόνο για τις επιδόσεις και απλώς να παράγει. Τα καταφέρνει καλά, όπως φαίνεται, ενώ οι υπόλοιποι του "δυτικού κόσμου" σπαταλούν πολλούς πόρους στο R&D προκειμένου να κάνουν τις συσκευές τους φιλικές προς το περιβάλλον. Ούτε το πρώτο είναι σωστό αλλά ούτε η προσήλωση των τελευταίων ετών στο δεύτερο είναι σωστό. Πιστεύω πως κάπου στη μέση είναι η λύση.

Σωστά, γιατί η κλιματική αλλαγή δεν υπάρχει άλλωστε. Oh, wait

[m3ltd0wn]

35 λεπτά πριν, DrFreeman είπε

Σήμερα, η εξέλιξη της ΤΝ βασίζεται σε δυο κυρίαρχες φιλοσοφίες: τη μηχανική αύξηση του υπολογιστικού πόρου και την κλιμάκωση των βαθιών νευρωνικών δικτύων.

Γιατί συμβαίνει αυτό; Επειδή τα μεγάλα δίκτυα προσφέρουν αυξημένη εκφραστικότητα και απλούστερη ροή σήματος για gradient descent, ενώ το hardware επιτρέπει την επεξεργασία τεράστιων συνόλων δεδομένων, οδηγώντας σε αξιόπιστα και μετρήσιμα αποτελέσματα, σε αντίθεση με εναλλακτικές, περισσότερο «έξυπνες» (όπως λες κι εσύ) ή συμβολικές προσεγγίσεις που απαιτούν πολύπλοκη ενσωμάτωση ανθρώπινης γνώσης, ειδικούς πόρους, μεγάλο ρίσκο και που δεν κλιμακώνονται εύκολα σε πραγματικά μεγέθη δεδομένων, οπότε, μέχρι να αναδειχθεί μια ριζικά νέα μεθοδολογία με αποδεδειγμένη υπεροχή, προτιμάται «να σπρώχνουμε» όλο και πιο ισχυρό hardware παρά να ψάχνουμε να «ξεκλειδώσουμε» την πόρτα με κάποιο μυστικό κλειδί.

Eίναι μια brute force προσεγγιση που όμως έρχεται μετά από εξειδίκευση δεκαετιών σε ένα μοντέλο που ξαφνικά, με μερικά tweaks ("Attention Is All You Need", 2017) και επαρκή ισχύ διαθέσιμη, άρχισε να λειτουργεί εντυπωσιακά καλά.

Παρακολουθώ τους 2 τομείς πολλά χρόνια τώρα.

Τους υπερυπολογιστές από χόμπι πιο πολύ από την εποχή που το top500 το κοιτούσαν 100 άνθρωποι (χάριν λόγου) σε όλο τον κόσμο και περίμεναν την εξαμηνιαία αναφορά

Την ΤΝ ερευνητικά και μάλιστα ήμουν ΠΟΛΥ τυχερός να βγάλω ερευνητικές εργασίες και μοντέλα ακριβώς στην απαρχή του έκρηξης και του hype (οπότε και η μέθοδος έχει χρησιμοποιηθεί).

Θεωρώ πως η πλειοψηφία της ερευνητικής δύναμης έχει στραφεί σε αυτή την "brute force" προσέγγιση γιατί εκεί υπάρχει το χρήμα αλλά όχι η δόξα (δηλαδή η καινοτομία). Κάποτε προσπαθούσαμε να πετύχουμε ένα +10% (και πολύ λέω) στα bechmarks και πλέον ο στόχος είναι να φορτωθούν περισσότερα δεδομένα (καλώς) και να τρέξουν οι ίδιοι και οι ίδιοι αλγόριθμοι ξανά και ξανά χωρίς ουσιαστική προώθηση της έρευνας (και της απόδοσης η οποία έχει πιάσει peak). Υπάρχουν όντως λίγες τεχνικές που επιχειρούν με τεχνάσματα να βελτιώσουν την κατάσταση, είτε όπως ανέφερες με την χρήση μηχανισμών προσοχής είτε με μείωση του διανυσματικού χώρου. κλπ. Ωστόσο έχουμε κολλήσει σε tasks που δεν δημιουργούν επαγωγική σκέψη, απλά παπαγαλίζουν όση γνώση έχουν μασήσει και γυρνάμε στα ίδια κυρίως γιατί όπου μπαίνει η λέξη AI ανοίγουν τα μάτια και πέφτει το χρήμα.

Η ένσταση μου είναι πως αυτός ο δρόμος έχει ένα τέλος αν δεν βγει κάτι ριζοσπαστικό (όπως έκανε τότε ο Alex Krizhevsky και τα ξεκίνησε όλα αυτά) και οι χρηματοδοτήσεις θα σταματήσουν κάποια στιγμή οδηγώντας αν όχι σε χειμώνα, τουλάχιστον σε Φθινόπωρο.

[DrFreeman]

13 minutes ago, m3ltd0wn said:

Παρακολουθώ τους 2 τομείς πολλά χρόνια τώρα.

Τους υπερυπολογιστές από χόμπι πιο πολύ από την εποχή που το top500 το κοιτούσαν 100 άνθρωποι (χάριν λόγου) σε όλο τον κόσμο και περίμεναν την εξαμηνιαία αναφορά

Την ΤΝ ερευνητικά και μάλιστα ήμουν ΠΟΛΥ τυχερός να βγάλω ερευνητικές εργασίες και μοντέλα ακριβώς στην απαρχή του έκρηξης και του hype (οπότε και η μέθοδος έχει χρησιμοποιηθεί).

Θεωρώ πως η πλειοψηφία της ερευνητικής δύναμης έχει στραφεί σε αυτή την "brute force" προσέγγιση γιατί εκεί υπάρχει το χρήμα αλλά όχι η δόξα (δηλαδή η καινοτομία). Κάποτε προσπαθούσαμε να πετύχουμε ένα +10% (και πολύ λέω) στα bechmarks και πλέον ο στόχος είναι να φορτωθούν περισσότερα δεδομένα (καλώς) και να τρέξουν οι ίδιοι και οι ίδιοι αλγόριθμοι ξανά και ξανά χωρίς ουσιαστική προώθηση της έρευνας (και της απόδοσης η οποία έχει πιάσει peak). Υπάρχουν όντως λίγες τεχνικές που επιχειρούν με τεχνάσματα να βελτιώσουν την κατάσταση, είτε όπως ανέφερες με την χρήση μηχανισμών προσοχής είτε με μείωση του διανυσματικού χώρου. κλπ. Ωστόσο έχουμε κολλήσει σε tasks που δεν δημιουργούν επαγωγική σκέψη, απλά παπαγαλίζουν όση γνώση έχουν μασήσει και γυρνάμε στα ίδια κυρίως γιατί όπου μπαίνει η λέξη AI ανοίγουν τα μάτια και πέφτει το χρήμα.

Η ένσταση μου είναι πως αυτός ο δρόμος έχει ένα τέλος αν δεν βγει κάτι ριζοσπαστικό (όπως έκανε τότε ο Alex Krizhevsky και τα ξεκίνησε όλα αυτά) και οι χρηματοδοτήσεις θα σταματήσουν κάποια στιγμή οδηγώντας αν όχι σε χειμώνα, τουλάχιστον σε Φθινόπωρο.

Συμφωνώ σε γενικές γραμμές. Ακόμα κι αν έρθει νέο AI winter, θα μας βρει εξοπλισμένους με παραγωγικά υπερεργαλεία. Η "brute force" φάση αγγίζει το ταβάνι της, αλλά στο μεταξύ προέκυψαν Claude για coding, Gemini Canvas, Copilot, Code Interpreter, κ.ά., που ήδη αναμορφώνουν workflows ριζικά κι αυτό θα επηρεάσει την επόμενη γενιά εργαλείων που θα προκύψει από τα αποτελέσματα αυτής της γενιάς.

Επομένως, ακόμα και αν "παγώσει" η καινοτομία, το legacy αυτής της περιόδου θα συνεχίσει να προσφέρει τεράστια αξία σε μηχανικούς, data scientists και devs. Το productivity boost είναι εδώ για να μείνει και νομίζω πως δεν έχουν ακόμη αξιοποιηθεί όσο θα έπρεπε (πολύ λιγότερο μάλλον) τα εργαλεία που ήδη υπάρχουν διαθέσιμα με ελάχιστο κόστος.

Προσωπικά θεωρώ πως δεν θα πάμε σε σημαντική επιβράδυνση, αλλά θα προκύψουν καινοτομίες, κυρίως λόγω των διαθέσιμων εργαλείων (τα οποία δεν υπήρχαν σε άλλες εποχές πριν την έλευση του AI winter).