Apple: Τα μοντέλα τεχνητής νοημοσύνης αδυνατούν να αντιμετωπίσουν την αυξανόμενη πολυπλοκότητα

[Axlmon]

Ερευνητές της Apple διαπίστωσαν ότι τα προηγμένα μοντέλα τεχνητής νοημοσύνης με ικανότητες συλλογισμού (LRMs) αποτυγχάνουν πλήρως σε περίπλοκα προβλήματα, παρά την αρχική υπεροχή τους έναντι των τυπικών μοντέλων μεγάλης γλώσσας (LLMs).

Η έρευνα, που πραγματοποιήθηκε από την Apple, μια εταιρεία που δεν βρίσκεται στην πρώτη γραμμή της ανάπτυξης τεχνητής νοημοσύνης, υποδεικνύει ότι τα σημερινά LRMs και LLMs έχουν θεμελιώδεις περιορισμούς στην ικανότητά τους να γενικεύουν τον συλλογισμό με τρόπο παρόμοιο με τον ανθρώπινο.

Οι ερευνητές δοκίμασαν δύο προηγμένα μοντέλα AI - το Claude 3.7 Sonnet Thinking και το DeepSeek-R1 LRMs - σε ελεγχόμενα περιβάλλοντα γρίφων, όπως ο Πύργος του Ανόι και η Διάσχιση Ποταμού. Σκοπός τους ήταν να αξιολογήσουν όχι μόνο τις τελικές απαντήσεις αλλά και τις εσωτερικές διαδικασίες συλλογισμού αυτών των μοντέλων, συγκρίνοντάς τα με τυπικά μεγάλα μοντέλα γλώσσας υπό ίσες υπολογιστικές συνθήκες.

Σύμφωνα με τα ευρήματα, η απόδοση των LRMs διαφέρει ανάλογα με την πολυπλοκότητα του προβλήματος. Σε απλές εργασίες, τα τυπικά LLMs, χωρίς ρητούς μηχανισμούς συλλογισμού, ήταν πιο ακριβή και αποδοτικά, παρέχοντας καλύτερα αποτελέσματα με λιγότερους υπολογιστικούς πόρους.

Ωστόσο, καθώς η πολυπλοκότητα των προβλημάτων αυξανόταν σε μέτριο επίπεδο, τα μοντέλα με δομημένο συλλογισμό, όπως αυτά που χρησιμοποιούν την τεχνική Chain-of-Thought, απέκτησαν πλεονέκτημα και ξεπέρασαν σε απόδοση τα μη-συλλογιστικά αντίστοιχά τους.

Όπως αναφέρεται στην έρευνα, όταν η πολυπλοκότητα αυξήθηκε περαιτέρω, και οι δύο τύποι μοντέλων απέτυχαν εντελώς: η ακρίβειά τους έπεσε στο μηδέν ανεξάρτητα από τους διαθέσιμους υπολογιστικούς πόρους. Αξίζει να σημειωθεί ότι τα Claude 3.7 Sonnet Thinking και DeepSeek-R1 LRMs έχουν περιορισμούς όσον αφορά την εκπαίδευσή τους.

Μια βαθύτερη ανάλυση των διαδικασιών συλλογισμού αποκάλυψε ανεπάρκειες και απροσδόκητες συμπεριφορές. Αρχικά, τα μοντέλα συλλογισμού χρησιμοποιούσαν μεγαλύτερες ακολουθίες σκέψης καθώς τα προβλήματα γίνονταν δυσκολότερα, αλλά κοντά στο σημείο αποτυχίας, μείωναν απροσδόκητα την προσπάθεια συλλογισμού τους ακόμη και όταν διέθεταν επαρκή υπολογιστική ικανότητα.

Επιπλέον, ακόμη και όταν τους παρέχονταν ρητά οι σωστοί αλγόριθμοι, τα μοντέλα αποτύγχαναν να εκτελέσουν αξιόπιστα τις οδηγίες βήμα προς βήμα σε περίπλοκες εργασίες, αποκαλύπτοντας αδυναμίες στον λογικό υπολογισμό.

Η μελέτη διαπίστωσε επίσης ότι η απόδοση των μοντέλων διέφερε σημαντικά μεταξύ οικείων και λιγότερο συνηθισμένων γρίφων, υποδηλώνοντας ότι η επιτυχία συχνά εξαρτιόταν από την εξοικείωση με τα δεδομένα εκπαίδευσης παρά από πραγματικές γενικεύσιμες δεξιότητες συλλογισμού.

Διαβάστε ολόκληρο το άρθρο

[Innersense]

Χμμμμ... έχω μείνει πίσω στον αγώνα της Τεχνητής Νοημοσύνης... Τι να κάνω, τι να κάνω... α, το βρήκα, θα ασχοληθώ με τις ατέλειες των αντιπάλων!

Επεξ/σία 11 Ιουνίου από Innersense

[billdanos]

14 λεπτά πριν, Innersense είπε

Χμμμμ... έχω μείνει πίσω στον αγώνα της Τεχνιτής Νοημοσύνης.... Τι να κάνω, τι να κάνω... α, το βρήκα, θα ασχοληθώ με τις ατέλιες των αντιπάλων!

Μπορείς και καλύτερα! 

[atypicalcoder]

Το αυτονόητο είπαν. Καλά όλα τα στημένα demos/παρουσιάσεις αλλά όποιος έχει χρησιμοποιήσει ΑΙ ξέρει ότι στην καλύτερη να σου γράψει κώδικα όσο ένας μέτριος junior προγραμματιστής. Και προφανώς για απλές μεθόδους όχι τώρα να σου σχεδιάσει ολόκληρο κύκλωμα.

Επεξ/σία 10 Ιουνίου από atypicalcoder

[dumakos]

Με λίγα λόγια.....

Όσα δεν πιάνει η αλεπού ......Siri συμπλήρωσε την παροιμία 

Siri:όσο θέλεις βρόντα!!!!!!

[ethereum]

πολύ σωστή έρευνα και πολύ σωστά τα συμπεράσματα , τα  μοντέλα τεχνητής νοημοσύνης συμπεριφέρονται καλύτερα όταν τους βάζεις θέματα απο το training data τους , σε αυτά δηλαδή που έχουν προπονηθεί και δοκιμαστεί , σε γενικεύσιμες δεξιότητες συλλογισμού που πλησιάζουν αυτές του ανθρώπου αποτυγχάνουν παρόλο που έχουν αρκετή υπολογιστική ισχύ.

Ειλικρινά δεν βλέπω το λόγο γιατί να γίνεται τόσο μεγάλο θέμα και βιασύνη για το Apple Intelligence , η Apple είναι μια πλατφόρμα που όλες οι εταιρίες ΑΙ θα χρυσοπληρώσουν να μπούν , όταν δουν ότι θα είναι έτοιμοι θα το παρουσιάσουν , το ότι προετοίμασαν το κοινό ότι έρχεται σύντομα είναι μια στρατηγική για να δείξουν ότι είναι κοντά και καλά έκαναν , άλλωστε όλες οι εταιρίες ΑΙ υπερβάλλουν για να μην πω ότι λένε και ψέματα για τις δυνατότητές τους.

[parlapipas25]

42 λεπτά πριν, atypicalcoder είπε

Το αυτονόητο είπαν. Καλά όλα τα στημένα demos/παρουσιάσεις αλλά όποιος έχει χρησιμοποιήσει ΑΙ ξέρει ότι στην καλύτερη να σου γράψει κώδικα όσο ένας μέτριος junior προγραμματιστής. Και προφανώς για απλές μεθόδους όχι τώρα να σου σχεδιάσει ολόκληρο κύκλωμα.

Τα λέμε πάλι σε κανα δυο χρονάκια..

[dimlevi]

[Marcos_Aurilius]

Αυτονόητο. Όλα αυτά τα μοντέλα βασίζονται στο training dataset τους, όσο πολύπλοκα κι αν είναι. Δεν είναι νοημοσύνη - αναπαράγουν με πειστικό τρόπο πράγματα που έχουν ξαναδεί.

[Just_travel_everywhere]

Κοινώς για άλλη μία φορά οι εταιρείες μας πουλάνε φύκια για μεταξωτές κορδέλες

[SabotazNic]

4 ώρες πριν, billdanos είπε

Μπορείς και καλύτερα! 

Η apple σιγουρα οχι ->

 

[Jmanol000]

7 ώρες πριν, atypicalcoder είπε

Το αυτονόητο είπαν. Καλά όλα τα στημένα demos/παρουσιάσεις αλλά όποιος έχει χρησιμοποιήσει ΑΙ ξέρει ότι στην καλύτερη να σου γράψει κώδικα όσο ένας μέτριος junior προγραμματιστής. Και προφανώς για απλές μεθόδους όχι τώρα να σου σχεδιάσει ολόκληρο κύκλωμα.

αλήθεια ε ? είμαι εκτός του χώρου και γενικά άκουγα πολλά θετικά σχόλια σχετικά με τη χρήση και ενσωμάτωση του ai στον χωρο των προγραματιστων 

[atypicalcoder]

1 ώρα πριν, Jmanol000 είπε

αλήθεια ε ? είμαι εκτός του χώρου και γενικά άκουγα πολλά θετικά σχόλια σχετικά με τη χρήση και ενσωμάτωση του ai στον χωρο των προγραματιστων 

για boilerplate είναι μόνο και ο κώδικας που παράγει θέλει πάντα διορθώσεις. είναι ανάλογα τι θέλεις. αν δεν σε ενδιαφέρει η ποιότητα και θες απλά να την βγάζεις με low seniorities (όχι μόνο juniors) τότε βοηθάει αυτούς τους ανθρώπους να φέρουν εις πέραν τα τασκς τους αλλά στο σύντομο μέλλον θα έχουν σχεδιάσει ένα "φρανκεσταιν" πράγμα.

Επεξ/σία 11 Ιουνίου από atypicalcoder

[mike15]

καλα κανει..εχει γινει πολυ hype  με το AI.εαν ειχε μπει θα την κατηγορουσατε οτι ανακαλυψε τον τροχο.δεν μπαινει γιατι δεν το θεωρει ακομα ετοιμο,την κατηγορειτε..

[MetroStar]

Στην ουσία ο ίδιος ο όρος "τεχνητή νοημοσύνη" όπως χρησιμοποιείται σήμερα δεν είναι παρά ένας μαρκετίστικος όρος. Δεν είναι τίποτα παραπάνω από "plagiarism machines". Απομνημονεύει κλεμμένα ως επί το πλείστον δεδομένα από διάφορες πηγές, τα ανασυνθέτει, και σου τα προσφέρει. Και ακόμα μεγαλύτερος μαρκετίστικος όρος και παπάτζα είναι ο όρος AGI.

Επεξ/σία 11 Ιουνίου από MetroStar