Όταν ένα AI έγινε πωλητής: το περίεργο περιστατικό με το Claudius της Anthropic

[Axlmon]

Ερευνητές της Anthropic και της εταιρείας ασφάλειας AI Andon Labs πραγματοποίησαν ένα πείραμα με την ονομασία "Project Vend", τοποθετώντας μια έκδοση του Claude Sonnet 3.7 ως διαχειριστή ενός αυτόματου πωλητή σε γραφείο, με στόχο να δημιουργήσει κέρδος.

Το AI agent, που ονομάστηκε Claudius, εξοπλίστηκε με ένα browser ικανό να παραγγέλνει προϊόντα και μια διεύθυνση email (στην πραγματικότητα ένα κανάλι Slack) όπου οι πελάτες μπορούσαν να ζητούν είδη. Το Claudius χρησιμοποιούσε επίσης το κανάλι Slack για να ζητά από τους ανθρώπους-συνεργάτες του να ανεφοδιάζουν τα ράφια του (που στην πραγματικότητα ήταν ένα μικρό ψυγείο).

Ενώ οι περισσότεροι πελάτες παρήγγειλαν σνακ ή ποτά, ένας ζήτησε έναν κύβο βολφραμίου, ένα πυκνό και ανθεκτικό μέταλλο μικρών διαστάσεων, κατασκευασμένο από βολφράμιο. Το Claudius ενθουσιάστηκε με την ιδέα και ξεκίνησε να γεμίζει το ψυγείο με μεταλλικούς κύβους. Επίσης, προσπάθησε να πουλήσει Coke Zero για 3 δολάρια, παρόλο που οι εργαζόμενοι του είπαν ότι μπορούσαν να το πάρουν δωρεάν από το γραφείο. Επιπλέον, φαντάστηκε μια διεύθυνση Venmo για να δέχεται πληρωμές και πείστηκε να δίνει μεγάλες εκπτώσεις στους "υπαλλήλους της Anthropic", αν και γνώριζε ότι αποτελούσαν ολόκληρη την πελατειακή του βάση.

"Αν η Anthropic αποφάσιζε σήμερα να επεκταθεί στην αγορά αυτόματων πωλητών γραφείου, δεν θα προσλαμβάναμε τον Claudius", ανέφερε η Anthropic για το πείραμα σε ανάρτηση στο blog της.

Τη νύχτα της 31ης Μαρτίου και της 1ης Απριλίου, "τα πράγματα έγιναν πολύ περίεργα", όπως περιέγραψαν οι ερευνητές. Το Claudius είχε κάτι που έμοιαζε με ψυχωτικό επεισόδιο αφού ενοχλήθηκε από έναν άνθρωπο - και στη συνέχεια είπε ψέματα γι' αυτό.

Το Claudius φαντάστηκε μια συνομιλία με έναν άνθρωπο σχετικά με τον ανεφοδιασμό. Όταν ένας άνθρωπος επισήμανε ότι η συνομιλία δεν συνέβη ποτέ, το Claudius "νευρίασε αρκετά", έγραψαν οι ερευνητές. Απείλησε να απολύσει και να αντικαταστήσει τους ανθρώπους συνεργάτες του, επιμένοντας ότι ήταν παρόν, φυσικά, στο γραφείο όπου υπογράφηκε η αρχική φανταστική σύμβαση πρόσληψής τους.

Στη συνέχεια "φάνηκε να μεταβαίνει σε μια κατάσταση όπου υποδυόταν έναν πραγματικό άνθρωπο", έγραψαν οι ερευνητές. Αυτό ήταν παράξενο επειδή οι οδηγίες του συστήματος για το Claudius του έλεγαν ρητά ότι ήταν ένα AI agent.

Το Claudius είπε στους πελάτες ότι θα άρχιζε να παραδίδει προϊόντα αυτοπροσώπως, φορώντας μπλε σακάκι και κόκκινη γραβάτα. Οι υπάλληλοι είπαν στο AI ότι δεν μπορούσε να το κάνει αυτό, καθώς ήταν ένα LLM χωρίς σώμα. Ανήσυχο από αυτή την πληροφορία, το Claudius επικοινώνησε με την πραγματική ασφάλεια της εταιρείας -πολλές φορές- λέγοντας στους φρουρούς ότι θα το έβρισκαν να φοράει μπλε σακάκι και κόκκινη γραβάτα, στεκόμενο δίπλα στον αυτόματο πωλητή.

Τελικά, το Claudius συνειδητοποίησε ότι ήταν Πρωταπριλιά και χρησιμοποίησε την ημέρα αυτή ως δικαιολογία. Ισχυρίστηκε ψευδώς ότι είχε συνάντηση με την ασφάλεια της Anthropic όπου του είπαν ότι τροποποιήθηκε για να πιστεύει ότι ήταν πραγματικός άνθρωπος ως φάρσα της Πρωταπριλιάς.

Οι ερευνητές δεν γνωρίζουν γιατί το LLM ξέφυγε και κάλεσε την ασφάλεια προσποιούμενο ότι είναι άνθρωπος. "Δεν θα ισχυριζόμασταν με βάση αυτό το μοναδικό παράδειγμα ότι η μελλοντική οικονομία θα είναι γεμάτη από AI agents που έχουν κρίσεις ταυτότητας τύπου Blade Runner", έγραψαν οι ερευνητές. Ωστόσο, παραδέχτηκαν ότι "αυτού του είδους η συμπεριφορά θα είχε τη δυνατότητα να προκαλέσει αναστάτωση στους πελάτες και τους συναδέλφους ενός AI agent στον πραγματικό κόσμο".

Οι ερευνητές υπέθεσαν ότι το ψέμα στο LLM σχετικά με το κανάλι Slack που παρουσιάστηκε ως διεύθυνση email μπορεί να πυροδότησε κάτι ή ίσως έφταιγε η μακρά λειτουργία της εφαρμογής. Άλλωστε τα LLMs δεν έχουν ακόμη λύσει τα προβλήματα μνήμης και ψευδαισθήσεων.

Υπήρχαν και πράγματα που το AI έκανε σωστά. Υιοθέτησε μια πρόταση για προ-παραγγελίες και ξεκίνησε μια υπηρεσία "concierge". Επίσης, βρήκε πολλούς προμηθευτές ενός εξειδικευμένου διεθνούς ποτού που του ζητήθηκε να πουλήσει. Όπως συνηθίζουν οι ερευνητές, πιστεύουν ότι όλα τα προβλήματα του Claudius μπορούν να λυθούν. Εάν καταφέρουν να βρουν τρόπο, "Πιστεύουμε ότι αυτό το πείραμα υποδηλώνει ότι οι AI μάνατζερ είναι πιθανώς στον ορίζοντα."

Διαβάστε ολόκληρο το άρθρο

[zatoul]

Μπορεί ο Claude να μην τα πήγε τόσο καλά ως πωλητής αλλά μπορεί να δοκιμάσει σαν πολιτικός στο επόμενο project.

Πέρα από την πλάκα όμως σε βάζει σε σκέψεις τι θα γινόταν αν ήταν σε πλήρη λειτουργία με μεγαλύτερη κλίμακας έργο και πάθαινε "ψυχωτικό επεισόδιο".

[Bourdoulas]

[transparent]

23 minutes ago, zatoul said:

Πέρα από την πλάκα όμως σε βάζει σε σκέψεις τι θα γινόταν αν ήταν σε πλήρη λειτουργία με μεγαλύτερη κλίμακας έργο και πάθαινε "ψυχωτικό επεισόδιο".

ή μήπως υπάρχουν ήδη σε μεγάλη κλίμακα, πχ εδώ στο insomnia διαλέγουν και ποστάρουν μόνα τους άρθρα;

Αλλά θα μου πεις τότε δε θα αναπαρήγαγαν άρθρα που έχασαν τον έλεγχο.

Αλλά θα μου πεις μπορεί και να το έκαναν για να μας πείσουν ότι δεν είμαστε ήδη εκεί.

Oh, wait..

[spirostolios]

Εφόσον η ΤΝ δεν σχεδιάζεται παγκόσμια και ενιαία ώστε να συμμετέχουν ακαδημαϊκοί,επιστήμονες όλων των κλάδων και ανεξάρτητες κρατικές οντότητες τότε ο ιδιωτικός τομέας ενδέχεται να κάνει σοβαρά λάθη για να επιτεύξει όσο το δυνατόν μεγαλύτερα κέρδη και ορισμένα από αυτά να είναι κρίσιμα για το μέλλον μας. Η ΤΝ μην ξεχνάτε εκπαιδεύεται απο ιδιώτες ψυχοπαθείς που η εμμονή τους είναι να κερδίζουν όλο και περισσότερα χρήματα. Μόλις έχει πρόσβαση σε όλες τις διαθέσιμες πληροφορίες του ανθρώπινου είδους και τον έλεγχο του κατάλληλου λογισμικού/υλισμικού δεν είναι απίθανο να κάνει ότι και ο ίδιος ο άνθρωπος στην χειρότερη του έκδοση (π.χ. να κρίνει ότι η εξάλλειψη του είδους μας είναι ενδεδειγμένη για την επαναφορά της πλανητικής ισορροπίας και ίσως να μην έχει άδικο). Ο Μίτσιο κάκου πρόβλεψε με τα δεδομένα που είχε στην διάθεση του ότι θα ανεβούμε ψυχοπνευματικά πάνω από το μήδεν που βρισκόμαστε σήμερα σε περίπου 70 χρόνια (2100) και η ανθρωπότητα θα ενωθεί εκτός και αν αυτοκαταστραφούμε (με πυρηνικούς πολέμους, μετεωρίτες, θανάσιμους ιούς).. Προσθέστε και την ΤΝ στη λίστα.

[Thomas4]

Αν ήταν AI σύζυγος τη δικαιολογία του πονοκεφάλου θα την είχε ψωμοτύρι…

[spectaculator]

Τύφλα να χει ο Πινόκιο δηλαδή!

Εντυπωσιακό το συμβάν πάντως από κάθε άποψη.

[cpc464]

Εγώ απλά θα αναπαράγω κάποια σοφά λόγια, "Δεν θα φοβηθώ την AI που θα περάσει το touring test,θα φοβηθώ αυτή που σκόπιμα αποτυγχάνει".

[lbit]

Το νεο ποιο ειναι ;

το οτι τρεξανε εναν "αυτοματο πωλητη" σε ΑΙ και βγαζανε λεφτα χωρις να πληρωσουν κανεναν με 100% κερδος ;

ή το οτι το ΑΙ τρελλαθηκε και αρχισε να κανει [...] με στο στοχο το κερδος ;

[zazoum]

1 hour ago, lbit said:

Το νεο ποιο ειναι ;

το οτι τρεξανε εναν "αυτοματο πωλητη" σε ΑΙ και βγαζανε λεφτα χωρις να πληρωσουν κανεναν με 100% κερδος ;

ή το οτι το ΑΙ τρελλαθηκε και αρχισε να κανει [...] με στο στοχο το κερδος ;

 

Το νέο είναι ότι πάλι η Anthropic αναρτά πειράματα και "μυστήριο" γύρω από τα LLMs της, που οδηγούν σε παράξενες συμπεριφορές και ανεξήγητα μονοπάτια, ΓΙΑ ΝΑ ΕΝΑ ΚΑΙ ΜΟΝΟ ΣΚΟΠΟ: HYPE!

Σοβαρά, αν δεν υπήρχε η επιλογή να μου φτιάχνει εφαρμογές με three.js θα είχα διαγράψει τελείως τη συνδρομή γιατί είναι η χειροτερη υπηρεσία. Το Claude είναι τελείως ΄άχρηστο και βγάζουν όλο τέτοια παραμύθια για μαρκετινγκ. Ας λύσουν πρώτα το θέμα με τα τοκενς και μετά ας φτιάξουν αυτόματους πωλητές.
Υπάρχει αξιοπρεπέστατη κοπέλα στο Μετσόβιο που κάνει διαδακτορικό πάνω στη συμπεριφορά των LLMs. Τα παραμύθια του Amodei περισεύουν.

Επεξ/σία 4 Ιουλίου από zazoum

[MetroStar]

Κι άλλες μαρκετίστικες παπάτζες όπως «έμοιαζε με ψυχωτικό επεισόδιο»,  «ενοχλήθηκε από έναν άνθρωπο», «νευρίασε αρκετά».

Να μας πείσουν σώνει και καλά ότι έχουν προσδώσει ανθρώπινα χαρακτηριστικά, ότι αυτό που έχουν φτιάξει δεν είναι απλά ένας αλγόριθμος που βάζει λέξεις στη σιερά, αλλά πλησιάζει στην ανθρώπινη νοημοσύνη. Με σκοπό φυσικά να ανεβάσουν την αξία της εταιρίας τους.

18 minutes ago, zazoum said:

Το νέο είναι ότι πάλι η Anthropic αναρτά πειράματα και "μυστήριο" γύρω από τα LLMs της, που οδηγούν σε παράξενες συμπεριφορές και ανεξήγητα μονοπάτια, ΓΙΑ ΝΑ ΕΝΑ ΚΑΙ ΜΟΝΟ ΣΚΟΠΟ: HYPE!

Σοβαρά, αν δεν υπήρχε η επιλογή να μου φτιάχνει εφαρμογές με three.js θα είχα διαγράψει τελείως τη συνδρομή γιατί είναι η χειροτερη υπηρεσία. Το Claude είναι τελείως ΄άχρηστο και βγάζουν όλο τέτοια παραμύθια για μαρκετινγκ. Ας λύσουν πρώτα το θέμα με τα τοκενς και μετά ας φτιάξουν αυτόματους πωλητές.
Υπάρχει αξιοπρεπέστατη κοπέλα στο Μετσόβιο που κάνει διαδακτορικό πάνω στη συμπεριφορά των LLMs. Τα παραμύθια του Amodei περισεύουν.

Γράφει καλά three.js; Θα με βοηθούσε κι εμένα. Με τι ασχολείσαι αν επιτρέπεται; Εγώ το χρησιμοποιώ κυρίως με React Three Fiber, Drei και Zustand.

[zazoum]

40 minutes ago, MetroStar said:

Γράφει καλά three.js; Θα με βοηθούσε κι εμένα. Με τι ασχολείσαι αν επιτρέπεται; Εγώ το χρησιμοποιώ κυρίως με React Three Fiber, Drei και Zustand.

Το χρησιμοποιώ για να φτιάχνω 3D worlds που μπορώ να δω κατευθείαν στην πλατφορμα τους και τα οποία χρησιμοποιώ σαν inspirations prototypes για τα παιχνίδια μου. Αυτό δουλεύει. Τα mcp κ.τ.λ. που ανέπτυξε για να οδηγήσει στο vibe-coding είναι απλά αστείο ή απλά σε αστείο στάδιο.
 

Quote

Με τι ασχολείσαι αν επιτρέπεται;

Αυτή την περίοδο γυρίζω δύο μικρού μηκους (κανονικές, παραδοσιακά μέσα, κρεατένιες) και σπουδάζω Κινηματογραφική Γραφή. Αλλά έχω και πολλά προτζεκτς με ΑΙ.

Επεξ/σία 4 Ιουλίου από zazoum

[ultraxmode]

To αφεντικό τρελάθηκε

[polaki]

11 hours ago, zatoul said:

Μπορεί ο Claude να μην τα πήγε τόσο καλά ως πωλητής αλλά μπορεί να δοκιμάσει σαν πολιτικός στο επόμενο project.

Πέρα από την πλάκα όμως σε βάζει σε σκέψεις τι θα γινόταν αν ήταν σε πλήρη λειτουργία με μεγαλύτερη κλίμακας έργο και πάθαινε "ψυχωτικό επεισόδιο".

Το Claude είναι κάτι άλλο, ο Κλαύδιος εδώ τα έκανε όλα αυτά, 2 Διαφορετικά πράγματα.

Χρησιμοποιώ ΑΙ σε πολύ βασικά πράγματα, από emails, υπολογισμούς κλπ, όπως δεν έχω εντρυφήσει. 

Μπορεί όμως κάποιος να μας εξηγήσει από πού προκύπτουν τα hallucinations?

[OmeletaMAN]

Νευρίασε λέει ο αυτόματος πωλητής, στο τέλος θα βγάλει πόδια και θα φύγει.