Ο Ίλον Μασκ καθιστά ανοιχτού κώδικα το chatbot Grok της xAI

Κατ'αρχάς  να δώσω τα εύσημα για την κίνηση αυτή.

Το μοντέλο αξιοποιεί όλες τις τελευταίες τεχνολογίες και ιδιαίτερα την υποστήριξη multiple agent.

Αυτό έχει ως αποτέλεσμα το μοντέλο να είναι αρκετά μεγάλο και θέλει τουλάχιστον 300GB VRAM για να τρέξει.

Θα πρέπει να παραπονεθούμε όχι στην X αλλά στην NVIDIA και στην AMD που εδώ και χρόνια δεν αυξάνουν την μνήμη στις GPU.

Η μνήμη στα PC διπλασιάζεται ανά μερικά χρόνια αλλά στις GPU έχει μείνει σταθερή εδώ και χρόνια.

Αν θυμάμαι καλά η πρώτη GPU με 24GB RAM κυκλοφόρησε το 2015 (Quadro M6000), σχεδόν 10 χρόνια μετά και για να πάρεις την διπλάσια μνήμη (48GB) πρέπει να ξεφραγκιαστείς (5Κ~6Κ). 

Με το κόστος να έχει πέσει κάτω από τα $3.5/GB (https://www.tomshardware.com/news/gddr6-vram-prices-plummet $27/8GB)θα έπρεπε να έχουν κυκλοφορήσει κάρτες με μπόλικη μνήμη εδώ και καιρό.

Όταν μια 4090 RTX με 24GB RAM κοστίζει 2.000€, πολλοί θα έδιναν την διαφορά για να πάρουν έκδοση με 48, 96 ή και περισσότερα GB. (επιπλέον 72GB θα αύξαναν το κόστος κατασκευής περίπου 250€, και 500€ παραπάνω να ζήταγαν οι κατασκευαστές θα τα έπαιρναν).

25 λεπτά πριν, StavrosD είπε

Κατ'αρχάς  να δώσω τα εύσημα για την κίνηση αυτή.

Το μοντέλο αξιοποιεί όλες τις τελευταίες τεχνολογίες και ιδιαίτερα την υποστήριξη multiple agent.

Αυτό έχει ως αποτέλεσμα το μοντέλο να είναι αρκετά μεγάλο και θέλει τουλάχιστον 300GB VRAM για να τρέξει.

Θα πρέπει να παραπονεθούμε όχι στην X αλλά στην NVIDIA και στην AMD που εδώ και χρόνια δεν αυξάνουν την μνήμη στις GPU.

Η μνήμη στα PC διπλασιάζεται ανά μερικά χρόνια αλλά στις GPU έχει μείνει σταθερή εδώ και χρόνια.

Αν θυμάμαι καλά η πρώτη GPU με 24GB RAM κυκλοφόρησε το 2015 (Quadro M6000), σχεδόν 10 χρόνια μετά και για να πάρεις την διπλάσια μνήμη (48GB) πρέπει να ξεφραγκιαστείς (5Κ~6Κ). 

Με το κόστος να έχει πέσει κάτω από τα $3.5/GB (https://www.tomshardware.com/news/gddr6-vram-prices-plummet $27/8GB)θα έπρεπε να έχουν κυκλοφορήσει κάρτες με μπόλικη μνήμη εδώ και καιρό.

Όταν μια 4090 RTX με 24GB RAM κοστίζει 2.000€, πολλοί θα έδιναν την διαφορά για να πάρουν έκδοση με 48, 96 ή και περισσότερα GB. (επιπλέον 72GB θα αύξαναν το κόστος κατασκευής περίπου 250€, και 500€ παραπάνω να ζήταγαν οι κατασκευαστές θα τα έπαιρναν).

Ουδεποτε δεν φτιαχτηκε κατι τέτοιο για να τρέξει τοπικά σε εναν υπολογιστή.

21 λεπτά πριν, StavrosD είπε

Κατ'αρχάς  να δώσω τα εύσημα για την κίνηση αυτή.

Το μοντέλο αξιοποιεί όλες τις τελευταίες τεχνολογίες και ιδιαίτερα την υποστήριξη multiple agent.

Αυτό έχει ως αποτέλεσμα το μοντέλο να είναι αρκετά μεγάλο και θέλει τουλάχιστον 300GB VRAM για να τρέξει.

Θα πρέπει να παραπονεθούμε όχι στην X αλλά στην NVIDIA και στην AMD που εδώ και χρόνια δεν αυξάνουν την μνήμη στις GPU.

Η μνήμη στα PC διπλασιάζεται ανά μερικά χρόνια αλλά στις GPU έχει μείνει σταθερή εδώ και χρόνια.

Αν θυμάμαι καλά η πρώτη GPU με 24GB RAM κυκλοφόρησε το 2015 (Quadro M6000), σχεδόν 10 χρόνια μετά και για να πάρεις την διπλάσια μνήμη (48GB) πρέπει να ξεφραγκιαστείς (5Κ~6Κ). 

Με το κόστος να έχει πέσει κάτω από τα $3.5/GB (https://www.tomshardware.com/news/gddr6-vram-prices-plummet $27/8GB)θα έπρεπε να έχουν κυκλοφορήσει κάρτες με μπόλικη μνήμη εδώ και καιρό.

Όταν μια 4090 RTX με 24GB RAM κοστίζει 2.000€, πολλοί θα έδιναν την διαφορά για να πάρουν έκδοση με 48, 96 ή και περισσότερα GB. (επιπλέον 72GB θα αύξαναν το κόστος κατασκευής περίπου 250€, και 500€ παραπάνω να ζήταγαν οι κατασκευαστές θα τα έπαιρναν).

 

Το AI, με την παρούσα τεχνολογία, δεν πρόκειται να τρέξει τοπικά ακόμα και αν είχαν 96GB οι κάρτες γραφικών φίλε μου…

Κατά τα άλλα, οι γνωστές κινήσεις εντυπωσιασμού για άλλη μια φορά από τον Elon, καλύτερα να συγκεντρωθεί στην SpaceX και Tesla που του φέρνουν και τα χρήματα και να αφήσει το κόλλημα με την διαστρεβλωμένη truth του…

Να δω τι θα κάνει η Ανθρωπότητα όταν η ΑΙ μάθει να χακάρει δίκτυα και Η/Υ ...

Μόνο πέστε μου οτι το δίκτυο των πυρηνικών οπλων δεν περνάει πάνω απο το ιντερνετ

υ.γ. πότε είπαμε οτι είδατε το TERMINATOR ?  τι δεν το είδατε? μάλλον  ήρθε η ωρα

59 λεπτά πριν, AtiX είπε

Το AI, με την παρούσα τεχνολογία, δεν πρόκειται να τρέξει τοπικά ακόμα και αν είχαν 96GB οι κάρτες γραφικών φίλε μου…

Κατά τα άλλα, οι γνωστές κινήσεις εντυπωσιασμού για άλλη μια φορά από τον Elon, καλύτερα να συγκεντρωθεί στην SpaceX και Tesla που του φέρνουν και τα χρήματα και να αφήσει το κόλλημα με την διαστρεβλωμένη truth του…

Ναι όλοι πεθαίνουν για την αλήθεια 🤥

43 λεπτά πριν, AtiX είπε

Το AI, με την παρούσα τεχνολογία, δεν πρόκειται να τρέξει τοπικά ακόμα και αν είχαν 96GB οι κάρτες γραφικών φίλε μου…

Κατά τα άλλα, οι γνωστές κινήσεις εντυπωσιασμού για άλλη μια φορά από τον Elon, καλύτερα να συγκεντρωθεί στην SpaceX και Tesla που του φέρνουν και τα χρήματα και να αφήσει το κόλλημα με την διαστρεβλωμένη truth του…

ΟΚ, θα χρειαζόμασταν παραπάνω κάρτες.

Αυτή την στιγμή τρέχω όλα τα μοντέλα τοπικά στον υπολογιστή μου, ακόμα το LLAMA -2-70b έστω και με μειωμένη ακρίβεια ή ταχύτητα.

Το Grok-1 έχει καινούργια αρχιτεκτονική. Είναι τεράστιο επειδή ουσιαστικά είναι 8 μοντέλα με 37B παραμέτρους έκαστο τα οποία τρέχουν παράλληλα για καλύτερα αποτελέσματα, γι'αυτό είναι τόσο απαιτητικό.

Θεωρητικά αν είχα 4 κάρτες με 96GB έκαστη θα μπορούσα να το τρέξω. Σε λίγο καιρό περιμένω όλο και κάποιος να το κάνει quantize με μειωμένη ακρίβεια ώστε να μπορώ να το τρέξω τοπικά.

41 λεπτά πριν, SWBiiLive είπε

Να δω τι θα κάνει η Ανθρωπότητα όταν η ΑΙ μάθει να χακάρει δίκτυα και Η/Υ ...

 

Μόνο πέστε μου οτι το δίκτυο των πυρηνικών οπλων δεν περνάει πάνω απο το ιντερνετ

υ.γ. πότε είπαμε οτι είδατε το TERMINATOR ?  τι δεν το είδατε? μάλλον  ήρθε η ωρα

Θα φτιάξουν έναν κλειστό βρόγχο. Ένα εξειδικευμένο AI θα προσπαθεί να χακάρει ένα απομονωμένο πειραματικό δίκτυο για να βρει κενά ασφαλείας και μετά το ίδιο AI θα γράφει και το Patch για το κενό ασφαλείας.

όλοι για μας νοιάζονται.Κανένας για  τα φράγκα.🤣

1 hour ago, StavrosD said:

Κατ'αρχάς  να δώσω τα εύσημα για την κίνηση αυτή.

Το μοντέλο αξιοποιεί όλες τις τελευταίες τεχνολογίες και ιδιαίτερα την υποστήριξη multiple agent.

Αυτό έχει ως αποτέλεσμα το μοντέλο να είναι αρκετά μεγάλο και θέλει τουλάχιστον 300GB VRAM για να τρέξει.

Θα πρέπει να παραπονεθούμε όχι στην X αλλά στην NVIDIA και στην AMD που εδώ και χρόνια δεν αυξάνουν την μνήμη στις GPU.

Η μνήμη στα PC διπλασιάζεται ανά μερικά χρόνια αλλά στις GPU έχει μείνει σταθερή εδώ και χρόνια.

Αν θυμάμαι καλά η πρώτη GPU με 24GB RAM κυκλοφόρησε το 2015 (Quadro M6000), σχεδόν 10 χρόνια μετά και για να πάρεις την διπλάσια μνήμη (48GB) πρέπει να ξεφραγκιαστείς (5Κ~6Κ). 

Με το κόστος να έχει πέσει κάτω από τα $3.5/GB (https://www.tomshardware.com/news/gddr6-vram-prices-plummet $27/8GB)θα έπρεπε να έχουν κυκλοφορήσει κάρτες με μπόλικη μνήμη εδώ και καιρό.

Όταν μια 4090 RTX με 24GB RAM κοστίζει 2.000€, πολλοί θα έδιναν την διαφορά για να πάρουν έκδοση με 48, 96 ή και περισσότερα GB. (επιπλέον 72GB θα αύξαναν το κόστος κατασκευής περίπου 250€, και 500€ παραπάνω να ζήταγαν οι κατασκευαστές θα τα έπαιρναν).

Δεν υπήρχε σοβαρή ανάγκη μέχρι τώρα για τόση vram σε consumer gpus, γιατί προοριζόταν κυρίως για να εκτελούν παιχνίδια. Τώρα που αρχίζει και δημιουργείται, πιστεύω θα δούμε 48 ή 96GB vram σε επόμενες γενιές consumer gpus. Επίσης, κάπως θα πρέπει να δικαιολογεί και την x10-20 διαφορά τιμής στις enterprise gpus. Μία 4090 με 24GB κάνει €2k, ενώ μια H100 με 80GB κάνει €40k. Η διαφορά τους στις επιδόσεις του πυρήνα, στα περισσότερα σενάρια, δεν είναι πάνω από x2. Ένα από τα μεγαλύτερα πλεονεκτήματα της H100 όμως είναι η πολύ μεγαλύτερη vram και η δυνατότητα σύνδεσης πολλών μαζί, ώστε να φαίνονται ως εννιαία GPU με εννιαία μνήμη. Επίσης, το μέγεθος των σημερινών μοντέλων βασίζεται λίγο πολύ στις σημερινές δυνατότητες του hardware, με το συνηθισμένο να είναι 8 κάρτες σε ένα μηχάνημα x 80GB = 640GB vram σε κάθε μηχάνημα.

Όταν λοιπόν οι consumer gpus θα έρχονται με 48GB vram, οι enterprise gpus θα έρχονται με 192GB vram (ήδη τόσο έχει η διπλή B100). Άρα, τα πλέον σύγχρονα μοντέλα τότε ήδη θα έχουν φτάσει να απαιτούν TBs μνήμης, άρα πάλι δε θα μπορούν να εκτελεστούν σε consumer gpus τοπικά.

Κατά τα άλλα, με τα 24GB της 4090, εκτελείς ή/και εκπαιδεύεις χιλιάδες μοντέλα, για διαφορετικά προβλήματα, που έχουν παρουσιαστεί όλα τα προηγούμενα χρόνια. Αυτά που δεν εκτελείς είναι μονάχα κάποια γλωσσικά μοντέλα μετρημένα στα δάχτυλα.

Ανοιχτού???  Απ τη Καρδίτσα είν' ου Μάσκ?

14 λεπτά πριν, SWBiiLive είπε

Να δω τι θα κάνει η Ανθρωπότητα όταν η ΑΙ μάθει να χακάρει δίκτυα και Η/Υ ...

 

Μόνο πέστε μου οτι το δίκτυο των πυρηνικών οπλων δεν περνάει πάνω απο το ιντερνετ

υ.γ. πότε είπαμε οτι είδατε το TERMINATOR ?  τι δεν το είδατε? μάλλον  ήρθε η ωρα

Εάν δεν υπάρξουν οι προϋποθέσεις και το κατάλληλο πλαίσιο ελέγχου, όχι μόνο σε Ευρωπαϊκό επίπεδο αλλά σε παγκόσμιο, των όποιων τεχνολογιών και εφαρμογών AI βλέπω αρνητικές επιπτώσεις στο κοντινό μέλλον (και με το ρυθμό που τρέχουν οι εξελίξεις δε γνωρίζω πόσο μακριά είναι τελικά αυτό το μέλλον....).

Όσον αφορά τη συνείδηση, η δυνατότητα απόκτησης συνείδησης από μια τεχνητή νοημοσύνη εξαρτάται σε μεγάλο βαθμό από τη σωστή απάντηση στο πρόβλημα νου-σώματος: Βασικά πώς ο «υλικός» εγκέφαλός μας παράγει υποκειμενική συνείδηση; Στην ερώτηση αυτή δε μπορεί να δοθεί μια εύκολη απάντηση. Προσωπικά δε κατέχω την πληροφορία ή τη γνώση που απαιτείται για μια τέτοια απάντηση.

Ως άνθρωπος των θετικών επιστημών και της επιστήμης των υπολογιστών, μπορώ να πω μόνο ότι οι ερευνητές ανά τον κόσμο είναι διχασμένοι σχετικά με το αν οι όποιες υλοποιήσεις τεχνητής νοημοσύνης με συνείδηση θα υπάρξουν ποτέ. Γίνεται επίσης πολλή μεγάλη  συζήτηση σχετικά με το αν οι μηχανές θα μπορούσαν ή θα έπρεπε να ονομάζονται «συνειδητές» με τον τρόπο που σκεφτόμαστε τους ανθρώπους, ακόμη και ορισμένα ζώα, ως έχοντα συνείδηση. Μερικά από τα ερωτήματα έχουν να κάνουν με την τεχνολογία. Άλλα έχουν να κάνουν με το τι είναι πραγματικά η συνείδηση. Και το πράμα περιπλέκεται.

Σε κάθε περίπτωση, θα έλεγα ότι αντί να ανησυχούμε μήπως η τεχνητή νοημοσύνη γίνει συνειδητή ή να προσπαθούμε το πως θα δημιουργήσουμε σύντομα συνείδηση σε μια τεχνητή νοημοσύνη (που σίγουρα είναι πολύ μακριά – εάν και όποτε γίνει), θα πρέπει και ίσως είναι καλύτερα να επικεντρωθούμε περισσότερο στο πως να καταστήσουμε την τεχνητή νοημοσύνη λιγότερο δαπανηρή και πιο χρήσιμη για την κοινωνία.

5 ώρες πριν, jimex είπε

Δεν υπήρχε σοβαρή ανάγκη μέχρι τώρα για τόση vram σε consumer gpus, γιατί προοριζόταν κυρίως για να εκτελούν παιχνίδια. Τώρα που αρχίζει και δημιουργείται, πιστεύω θα δούμε 48 ή 96GB vram σε επόμενες γενιές consumer gpus. Επίσης, κάπως θα πρέπει να δικαιολογεί και την x10-20 διαφορά τιμής στις enterprise gpus. Μία 4090 με 24GB κάνει €2k, ενώ μια H100 με 80GB κάνει €40k.

Έτσι ακριβώς και αυτός μάλιστα είναι ένας λόγος για τον οποίο θα αυξηθούν φέτος τα κέρδη της Apple.

Μια Nvidia A6000 RTX με 48GB RAM κοστίζει περισσότερο από ένα Mac Studio M2 Ultra με 192GB unified memory.

Αν κάποιος ασχολείται με ΑΙ και ειδικότερα με LLM είναι πιο οικονομικό να πάρει ένα Mac παρά να πάρει PC με Nvidia GPU, ήδη βλέπω να το προτείνουν σε κάποια forum. Η ισχύς του Mac είναι ικανοποιητική για inference και fine tuning.

11 ώρες πριν, deathleader είπε

Ουδεποτε δεν φτιαχτηκε κατι τέτοιο για να τρέξει τοπικά σε εναν υπολογιστή.

Μην τα πετάς έτσι αυτά.

https://lmstudio.ai/

https://medium.com/@elvenkim1/how-to-turn-your-raspberry-pi-into-small-chatgpt-1cc7910beaf1

Σεβασμός σε αυτό τον μεγάλο υπερκαπιταλίσταρο που διαθέτει πράγματα δωρεάν.

10 hours ago, StavrosD said:

Έτσι ακριβώς και αυτός μάλιστα είναι ένας λόγος για τον οποίο θα αυξηθούν φέτος τα κέρδη της Apple.

Μια Nvidia A6000 RTX με 48GB RAM κοστίζει περισσότερο από ένα Mac Studio M2 Ultra με 192GB unified memory.

Αν κάποιος ασχολείται με ΑΙ και ειδικότερα με LLM είναι πιο οικονομικό να πάρει ένα Mac παρά να πάρει PC με Nvidia GPU, ήδη βλέπω να το προτείνουν σε κάποια forum. Η ισχύς του Mac είναι ικανοποιητική για inference και fine tuning.

Εντύπωση μου κάνει αυτό που γράφεις και ακούγεται πολύ ενδιαφέρον. Πάντως από θέμα τεχνικών χαρακτηριστικών και κόστους κατασκευής υπάρχει πελώρια διαφορά. Ο M1 που θυμάμαι είχε LPDDR4X memory, η NVidia έχει GDDR6, νομίζω δεν χρειάζεται παραπάνω ανάλυση σε τεχνολογικό forum.

Σχετικά με την εκτέλεση των LLM μοντέλων τοπικά, δεν είναι δύσκολο να φορτώσει κάποιος ακόμα και το llama2 70b τοπικά. Θα πηγαίνει αρκετά αργά αλλά κάποια στιγμή θα τρέξει.

Έτρεξα το παρακάτω στο CodeLLAma-34b.Q8_0. Η ταχύτητα που μου έγραψε την απάντηση ήταν 14.34 tokens/s.

You

Write me a "Hello world!" progam in at least 10 programming languages. Before each example write a comment with the programming language.

AI

[writes code]

# python
print("Hello world!")

# python 3
print("Hello world!")

// java
System.out.println("Hello world!");

// C#
Console.WriteLine("Hello world!");

// C++
cout << "Hello world!";

// php
echo "Hello world!";

// javascript
console.log("Hello world!");

# perl
print "Hello world!";

// C
printf("Hello world!");

// Go
fmt.Println("Hello world!")

// Swift
print("Hello world!")

// Kotlin
println("Hello world!")

-- Haskell
putStrLn "Hello world!"

; Clojure
(println "Hello world!")

# Ruby
puts "Hello world!"

# R
cat("Hello world!")

-- Lua
print("Hello world!")

; Racket
(println "Hello world!")

"Hello world!" print -- Factor

% Prolog
write('Hello world!').

// Rust
println!("Hello world!");

@elpenor