Νέα έρευνα δείχνει ότι τα εργαλεία κώδικα τεχνητής νοημοσύνης επιβραδύνουν τους προγραμματιστές

[Axlmon]

Νέα έρευνα από το METR αμφισβητεί τους ισχυρισμούς ότι τα εργαλεία κώδικα με τεχνητή νοημοσύνη αυξάνουν την παραγωγικότητα των προγραμματιστών.

Μια νέα μελέτη που δημοσιεύτηκε την Πέμπτη από τον μη κερδοσκοπικό ερευνητικό οργανισμό τεχνητής νοημοσύνης METR θέτει υπό αμφισβήτηση το κατά πόσο τα σημερινά εργαλεία κώδικα με τεχνητή νοημοσύνη πραγματικά βελτιώνουν την παραγωγικότητα των έμπειρων προγραμματιστών.

Τα τελευταία χρόνια, εργαλεία όπως το Cursor και το GitHub Copilot έχουν μεταμορφώσει τον τρόπο εργασίας των προγραμματιστών, υποσχόμενα αυξημένη παραγωγικότητα μέσω αυτόματης συγγραφής κώδικα, διόρθωσης σφαλμάτων και ελέγχου αλλαγών. Τα εργαλεία αυτά τροφοδοτούνται από μοντέλα τεχνητής νοημοσύνης από εταιρείες όπως η OpenAI, η Google DeepMind, η Anthropic και η xAI.

Η METR διεξήγαγε μια τυχαία ελεγχόμενη δοκιμή, στρατολογώντας 16 έμπειρους προγραμματιστές ανοιχτού κώδικα και αναθέτοντάς τους 246 πραγματικές εργασίες σε μεγάλα αποθετήρια κώδικα στα οποία συνεισφέρουν τακτικά. Οι ερευνητές χαρακτήρισαν τυχαία περίπου τις μισές από αυτές τις εργασίες ως "επιτρεπόμενες με τεχνητή νοημοσύνη", δίνοντας στους προγραμματιστές την άδεια να χρησιμοποιούν προηγμένα εργαλεία κώδικα τεχνητής νοημοσύνης όπως το Cursor Pro, ενώ το άλλο μισό των εργασιών απαγόρευε τη χρήση εργαλείων τεχνητής νοημοσύνης.

Πριν από την ολοκλήρωση των εργασιών τους, οι προγραμματιστές προέβλεψαν ότι η χρήση εργαλείων κώδικα τεχνητής νοημοσύνης θα μείωνε τον χρόνο ολοκλήρωσης κατά 24%. Ωστόσο, αυτό δεν συνέβη.

"Εκπληκτικά, διαπιστώνουμε ότι η επιτρεπόμενη χρήση τεχνητής νοημοσύνης στην πραγματικότητα αυξάνει τον χρόνο ολοκλήρωσης κατά 19% - οι προγραμματιστές είναι πιο αργοί όταν χρησιμοποιούν εργαλεία τεχνητής νοημοσύνης", ανέφεραν οι ερευνητές.

Αξιοσημείωτο είναι ότι μόνο το 56% των προγραμματιστών στη μελέτη είχαν εμπειρία με το Cursor, το κύριο εργαλείο τεχνητής νοημοσύνης που προσφέρθηκε στη μελέτη. Ενώ σχεδόν όλοι οι προγραμματιστές (94%) είχαν εμπειρία χρήσης κάποιων διαδικτυακών LLMs στο workflow τους, η μελέτη αυτή ήταν η αφορμή που ορισμένοι για πρώτη φορά χρησιμοποίησαν συγκεκριμένα το Cursor. Οι ερευνητές σημειώνουν ότι οι προγραμματιστές εκπαιδεύτηκαν στη χρήση του Cursor σε προετοιμασία για τη μελέτη.

Οι ερευνητές της METR επισημαίνουν μερικούς πιθανούς λόγους για τους οποίους η τεχνητή νοημοσύνη καθυστέρησε τους προγραμματιστές αντί να επιταχύνει τη δουλειά τους. Πρώτον, οι προγραμματιστές ξοδεύουν πολύ περισσότερο χρόνο στην καθοδήγηση της τεχνητής νοημοσύνης και στην αναμονή για απάντηση παρά στον πραγματικό προγραμματισμό. Επιπλέον, η τεχνητή νοημοσύνη τείνει να δυσκολεύεται σε μεγάλες, περίπλοκες βάσεις κώδικα, όπως αυτές που χρησιμοποιήθηκαν σε αυτή τη δοκιμή.

Οι συγγραφείς της μελέτης είναι προσεκτικοί στο να μην εξάγουν ισχυρά συμπεράσματα από αυτά τα ευρήματα, σημειώνοντας ρητά ότι δεν πιστεύουν πως τα σημερινά συστήματα τεχνητής νοημοσύνης αποτυγχάνουν να επιταχύνουν πολλούς ή τους περισσότερους προγραμματιστές λογισμικού. Άλλες μελέτες μεγάλης κλίμακας έχουν δείξει ότι τα εργαλεία κώδικα τεχνητής νοημοσύνης επιταχύνουν την παραγωγικότητα των προγραμματιστών.

Επίσης, οι συγγραφείς επισημαίνουν ότι η πρόοδος της τεχνητής νοημοσύνης τα τελευταία χρόνια είναι σημαντική και ότι δεν θα περίμεναν τα ίδια αποτελέσματα ακόμη και τρεις μήνες από τώρα. Η METR έχει επίσης διαπιστώσει ότι τα εργαλεία προγραμματισμού με τεχνητή νοημοσύνη έχουν βελτιώσει σημαντικά την ικανότητά τους να ολοκληρώνουν περίπλοκες εργασίες μακροπρόθεσμου ορίζοντα τα τελευταία χρόνια.

Ωστόσο, η έρευνα προσφέρει έναν ακόμη λόγο για να είμαστε σκεπτικοί απέναντι στα υποσχόμενα οφέλη των σχετικών εργαλείων προγραμματισμού. Άλλες μελέτες έχουν δείξει ότι τα σημερινά εργαλεία μπορούν να εισαγάγουν λάθη και, σε ορισμένες περιπτώσεις, σημαντικές ευπάθειες ασφαλείας.

Διαβάστε ολόκληρο το άρθρο

[Retromaniac]

Εμένα με βοηθάει πολύ στο ξεκίνημα, στο πιο βαρετό. Τα εργαλεία που θα χρησιμοποιησω, τα apis, το στήσιμο κτλ

[fylatos]

Meanwhile ο Sundar Pichai δήλωσε ότι έχουν αυξήσει το production output τους κατά 10% σαν alphabet και έχουν αυξήσει και τις θέσεις εργασίας τους. 

[MetroStar]

To μόνο στο οποίο είναι καλο το ΑΙ στον προγραμματισμό είναι να σου κάνει κάτι επαναλαμβανόμενο και βαρετό, το οποίο θα μπορούσες να κάνεις κι εσύ αν δε βαριόσουν με κάποιο script. Για όλα τα άλλα είναι ναυάγιο.

Αν βασιστείς μόνο στο ΑΙ, θα καταλήξεις άπειρες ώρες στο καθαρτήριο (Purgatorium) του να προσπαθείς να βάλεις το ίδιο το ΑΙ να κάνει debugging τα δικά του bugs. Καλή αιωνιότητα.

Επεξ/σία πριν από 15 ώρες από MetroStar

[cr77]

34 λεπτά πριν, fylatos είπε

Meanwhile ο Sundar Pichai δήλωσε ότι έχουν αυξήσει το production output τους κατά 10% σαν alphabet και έχουν αυξήσει και τις θέσεις εργασίας τους. 

Και τα bugs κατά 200%

[panther_512]

Οπότε μας λένε ότι με την ΑΙ ολοκλήρωναν το project, αλλά με 19% καθυστέρηση. 

Ολοκλήρωναν το project. 

Δεν έμεναν στη μέση. Δεν τα παρατούσαν λόγω προβλήμάτων από την ΑΙ.

Ολοκλήρωναν το project.

Με εργαλεία Ιανουαρίου 2025, όταν κάθε μήνας που περνάει είναι λές και πάμε fast forward ένα εξάμηνο στην πρόοδο αυτών των εργαλείων.

Άρα με εργαλεία ΑΙ, Ιανουάριο 2026 τί θα γίνεται? Ιανουάριο 2027?

Επεξ/σία πριν από 19 ώρες από panther_512

[magicnumbers]

Τοχω πάθει με κομπιουτεράκι κ ξαναγύρισα στο μολύβι κ χαρτί -νοτ

[compuholic]

Εμείς 2 φορές τον χρόνο κανουμε μια δοκιμή του AI στο Frontend development που είναι ο τομέας μας σας ομάδα. Μέχρι στιγμής ποιο πολύ μας καθυστερεί, οπότε ακόμα δεν το χρησιμοποιούμε καθημερινά. Στο back end και σε devops τα πάει πολύ καλύτερα, αλλά στο front που τα μισά frameworks έχουν αλλαγές πχ next.js κάθε χρόνο και υπάρχει και τεράστια ποικιλία δεν μπορει να μας βοηθήσει, δίνει πολύ κακές απαντήσεις και auto complete. Ένα άλλο να πω είναι ότι αν έχεις οργανώσει καλά τον κώδικα σου επαναχρησιμοποιημο, με το intellisense και κάποιες βιβλιοθήκες κάνεις ταχύτατα την δουλειά σου, το υπόλοιπο που φτιάχνεις είναι το business logic το οποίο, τι να το περιγράψεις, τι να το πατήσεις σε κώδικα ποιο εύκολο μας είναι. Αυτά από εμπειρία στην πράξη 

[nepomuk]

2 ώρες πριν, MetroStar είπε

To μόνο στο οποίο είναι καλο το ΑΙ στον προγραμματισμό είναι να σου κάνει κάτι επαναλαμβανόμενο και βαρετό, το οποίο θα μπορούσε να κάνεις κι εσύ αν δε βαριόσουν με κάποιο script. Για όλα τα άλλα είναι ναυάγιο.

Αν βασιστείς μόνο στο ΑΙ, θα καταλήξεις άπειρες ώρες στο καθαρτήριο (Purgatorium) του να προσπαθείς να βάλεις το ίδιο το ΑΙ να κάνει debugging τα δικά του bugs. Καλή αιωνιότητα.

Ειναι θεμα χρονου , μεχρι το τελος της δεκαετιας  η Τ.Ν να υπερβει  τον συνηθη  , στανταρ  προγραμματιστη  και μεχρι το 2035 να τον καταργησει απο τις πλειστες θεσεις εργασιας . 

[tolstoy]

Τότε λοιπόν γιατί επενδύουν τόσα δις στην τεχνητή νοημοσύνη; 

Και την διαφημίζουν τόσο πολύ; 

Αυτοί δεν δίνουν μισό σεντ χωρίς λόγο. 

Επεξ/σία πριν από 11 ώρες από tolstoy

[atypicalcoder]

2 ώρες πριν, tolstoy είπε

Τότε λοιπόν γιατί επενδύουν τόσα δις στην τεχνητή νοημοσύνη; 

Και την διαφημίζουν τόσο πολύ; 

Αυτοί δεν δίνουν μισό σεντ χωρίς λόγο. 

Γιατί προσπαθούν να δημιουργήσουν με το ζόρι μια ανάγκη. Πόσες φορές αγόρασες κάτι άχρηστο γιατί το marketing δημιούργησε μια ψεύτικη ανάγκη; άπειρες.

Οπότε αυτοί ποντάρουν στην δύναμη που έχουν για να σου δημιουργήσουν μια τέτοια ανάγκη και αύριο μεθαύριο να σου πλασάρουν υπηρεσίες. Τα λεφτά αυτά θα τα πάρουν πίσω σε βάθος χρόνου.

[mezzanine]

Σε unit tests και όταν του ζητάς να σου γράψει μια απλή μέθοδο με πολύ συγκεκριμένα requirements δουλεύει μια χαρά. Επίσης κάνει πολύ καλή ανάλυση σε configurations, api κτλπ 

Είναι λάθος να το βλέπουμε σαν μια μηχανή που θα αντικαταστήσει τον προγραμματιστή, είναι εργαλείο που βελτιώνει την παραγωγικότητα.
 
Τώρα αν ο άλλος είναι κανένας junior και ξέρει 5 πράγματα στον προγραμματισμό εντάξει θα είναι ναυάγιο το αποτέλεσμα αν περιμένει το AI να του γράψει ολόκληρη εφαρμογή.

Επεξ/σία πριν από 7 ώρες από mezzanine

[zazoum]

Καλά όχι για τους junior αλλά για τους τελείως άσχετους όπως εγώ, μην βάλω τώρα βιντεο σε τί σημείο και τί επίπεδο έχει φτάσει το παιχνίδι μου. Σε 1 ωρα μου φτιάχνει το Grok 4 πολύπλοκα mechanics για 1 character kai NPC Ability  και Skill. Εγώ αφιερώνω 1 μέρα ανά ability να τεστάρω την άισθηση που έχει, δηλαδή τεστάρω την ουσία του πράγματος. Δεν θα καθόμαστε να ασχολούμαστε τώρα και με τον αλγόριθμο! Άλλαξαν οι εποχές.

Επεξ/σία πριν από 6 ώρες από zazoum

[tolstoy]

2 ώρες πριν, atypicalcoder είπε

Γιατί προσπαθούν να δημιουργήσουν με το ζόρι μια ανάγκη. Πόσες φορές αγόρασες κάτι άχρηστο γιατί το marketing δημιούργησε μια ψεύτικη ανάγκη; άπειρες.

Οπότε αυτοί ποντάρουν στην δύναμη που έχουν για να σου δημιουργήσουν μια τέτοια ανάγκη και αύριο μεθαύριο να σου πλασάρουν υπηρεσίες. Τα λεφτά αυτά θα τα πάρουν πίσω σε βάθος χρόνου.

Συγνώμη να πούμε και με το μπαρδόν εγώ άχρηστο ποτέ δεν αγόρασα. 

Όμως κατάλαβα ακριβώς τι εννοείς και σε ευχαριστώ για το σχόλιο. Τις περιττές ανάγκες τις είχα ξεχάσει 🙂

[panther_512]

5 hours ago, atypicalcoder said:

Γιατί προσπαθούν να δημιουργήσουν με το ζόρι μια ανάγκη. Πόσες φορές αγόρασες κάτι άχρηστο γιατί το marketing δημιούργησε μια ψεύτικη ανάγκη; άπειρες.

Οπότε αυτοί ποντάρουν στην δύναμη που έχουν για να σου δημιουργήσουν μια τέτοια ανάγκη και αύριο μεθαύριο να σου πλασάρουν υπηρεσίες. Τα λεφτά αυτά θα τα πάρουν πίσω σε βάθος χρόνου.

Όπως το τρακτέρ για τον αγρότη που είχε πρίν την αγελάδα να τραβάει το άροτρο.

Ή το κομπιουτεράκι, που αντικατέστησε τον άβακα, το χαρτί και το μολύβι.

Ψεύτικες ανάγκες.

Άντε ρε παιδιά, αποβάλετε την άρνηση και δείτε τα πράγματα για αυτό που πραγματικά είναι. Ακόμα μία βιομηχανική επανάσταση.