Όταν ένα AI έγινε πωλητής: το περίεργο περιστατικό με το Claudius της Anthropic

[Billyrouf]

Έπρεπε να πει είμαι βοσκός και έχω πρόβατα στα Ίμια, θα του είχε στείλει ο ΟΠΕΚΕΠΕ επιταγή 200.000€. Και μιλάμε για πράφιτ

[panther_512]

3 hours ago, polaki said:

 

Μπορεί όμως κάποιος να μας εξηγήσει από πού προκύπτουν τα hallucinations?

ΟΚ, challenge accepted θα το περιγράψω με τελείως απλά λόγια:

Εμείς πώς σκεφτόμαστε και απαντάμε ή βρίσκουμε λύσεις σε προβλήματα? Έχουμε την αντικειμενική/πραγματική γνώση που διδαχτήκαμε, και μετά με την φαντασία μας βρίσκουμε απαντήσεις σε ερωτήματα ή λύσεις σε προβλήματα.

Επίσης με τη φαντασία μας, μπορούμε να φτιάξουμε πληροφορια που δεν είναι πραγματική. Για παράδειγμα να φανταστούμε ότι ο γάιδαρος πετάει και έχει τη δυνατότητα να μεταφέρει δέματα πιό αποτελεσματικά από ότι ένα drone.

Τώρα, όσοι από εμάς δεν έχουμε τρελαθεί ακόμα τελείως, είμαστε σε θέση να διαχωρίσουμε το φανταστικό που δημιουργεί το μυαλό μας από την πραγματική πληροφορία.

Τα LLMs για την ώρα δεν μπορούν να διαχωρίσουν αυτά τα δύο με 100% αποτελεσματικότητα. Και έτσι φανταστικά δεδομένα που δημιουργούν τα ίδια, τα παρουσιάζουν ώς πραγματικά γεγονότα.

Και δεν μπορούμε να τους μειώσουμε πολύ την δημιουργικότητα (temperature) που έχουν, διότι αν την μηδενίσουμε, τα LLMs θα μετατραπούν σε υποδιέστερα search engines.

Επεξ/σία 4 Ιουλίου από panther_512

[transparent]

Πώς όμως δημιουργούνται οι ψευδαισθήσεις; 

Σε τι ποσοστό είναι οι απαντήσεις ψευδαισθήσεις;

[Tlykog]

Αν με ρωτάτε, το πείραμα με τον Claudius μου φαίνεται περισσότερο καλοστημένο marketing παρά αυστηρή ερευνητική μελέτη. Δεν λέω, είχε ενδιαφέροντα ευρήματα, αλλά ειδικά ο τρόπος που παρουσιάστηκε, με τον AI να φοράει μπλε σακάκι και να περιμένει δίπλα στο ψυγείο, φωνάζει "θέλουμε να γίνει viral".

Και μεταξύ μας, όταν μιλάμε για μια εταιρεία όπως η Anthropic, που ξέρει πολύ καλά τα όρια και τις ιδιαιτερότητες των LLMs, δεν πιστεύω ότι "τους ξέφυγε". Περισσότερο μοιάζει να το άφησαν να τραβήξει για να δουν πόσο μακριά θα πάει και να το ντύσουν με λίγο χιούμορ για το κοινό.

Οπότε, ναι, καλό το πείραμα, αλλά κρατάω και μια επιφύλαξη για το αν ήταν καθαρά επιστημονικό ή απλώς ένα πιο "χαριτωμένο" PR stunt με μανδύα έρευνας.

20 ώρες πριν, panther_512 είπε

ΟΚ, challenge accepted θα το περιγράψω με τελείως απλά λόγια:

Εμείς πώς σκεφτόμαστε και απαντάμε ή βρίσκουμε λύσεις σε προβλήματα? Έχουμε την αντικειμενική/πραγματική γνώση που διδαχτήκαμε, και μετά με την φαντασία μας βρίσκουμε απαντήσεις σε ερωτήματα ή λύσεις σε προβλήματα.

Επίσης με τη φαντασία μας, μπορούμε να φτιάξουμε πληροφορια που δεν είναι πραγματική. Για παράδειγμα να φανταστούμε ότι ο γάιδαρος πετάει και έχει τη δυνατότητα να μεταφέρει δέματα πιό αποτελεσματικά από ότι ένα drone.

Τώρα, όσοι από εμάς δεν έχουμε τρελαθεί ακόμα τελείως, είμαστε σε θέση να διαχωρίσουμε το φανταστικό που δημιουργεί το μυαλό μας από την πραγματική πληροφορία.

Τα LLMs για την ώρα δεν μπορούν να διαχωρίσουν αυτά τα δύο με 100% αποτελεσματικότητα. Και έτσι φανταστικά δεδομένα που δημιουργούν τα ίδια, τα παρουσιάζουν ώς πραγματικά γεγονότα.

Και δεν μπορούμε να τους μειώσουμε πολύ την δημιουργικότητα (temperature) που έχουν, διότι αν την μηδενίσουμε, τα LLMs θα μετατραπούν σε υποδιέστερα search engines.

Καλή η προσπάθεια να το εξηγήσεις απλά, και συμφωνώ σε γενικές γραμμές με το πού το πας. Ίσως μόνο αξίζει μια μικρή διόρθωση σε κάτι κρίσιμο: τα LLMs δεν έχουν φαντασία ούτε πρόθεση όπως εμείς, δεν "σκέφτονται", δεν "φαντάζονται" και σίγουρα δεν "μπερδεύουν" πραγματικότητα με φαντασία. Απλώς προβλέπουν την επόμενη λέξη με βάση πιθανότητες, ανάλογα με το τι έχουν δει στην εκπαίδευσή τους.

Τα hallucinations προκύπτουν όταν αυτή η πρόβλεψη παράγει κάτι που μοιάζει αληθινό, αλλά στην πραγματικότητα δεν βασίζεται σε καμία έγκυρη γνώση. Και επειδή το μοντέλο δεν έχει τρόπο να ελέγξει την αλήθεια όσων λέει, το παρουσιάζει με την ίδια "βεβαιότητα" όπως και κάτι σωστό.

Το θέμα της temperature όντως επηρεάζει την «δημιουργικότητα»,  δηλαδή πόσο απρόβλεπτες θα είναι οι απαντήσεις, αλλά ακόμα και με χαμηλό temperature, δεν εξαφανίζονται οι ψευδαισθήσεις. Είναι δομικό χαρακτηριστικό των LLMs αυτή τη στιγμή, όχι απλώς θέμα ρυθμίσεων.

Οπότε έχει βάση αυτό που λες, απλώς καλό είναι να μην το εξηγούμε με όρους ανθρώπινης σκέψης, γιατί εκεί κάπου αρχίζουν οι παρανοήσεις για το τι είναι και τι δεν είναι ένα AI σαν το Claude.

[panther_512]

Μήν είσαι σίγουρος ότι ο ανθρώπινος εγκέφαλος δεν σκέφτεται με τον ίδιο τρόπο.

Θεωρώ ότι υπάρχει πιθανότητα στο τέλος να καταλήξουμε ότι και εμείς είμαστε σκεφτόμενες μηχανές, με τη συνείδηση μας να είναι μία πολύπλοκη μηχανή πιθανοτήτων, αποτέλεσμα εφαρμοσμένων μαθηματικών.

Επεξ/σία 5 Ιουλίου από panther_512