Αναζήτηση στην κοινότητα

Η εταιρεία Cloudflare κατηγορεί την μηχανή αναζήτησης τεχνητής νοημοσύνης Perplexity ότι χρησιμοποιεί κρυφά bots για να παρακάμπτει απαγορεύσεις πρόσβασης σε ιστοσελίδες, παραβιάζοντας έτσι μακροχρόνιες διαδικτυακές πρακτικές. Οι ερευνητές της Cloudflare, σε πρόσφατη ανάρτησή τους, περιέγραψαν πώς η Perplexity φέρεται να αγνοεί τις ρυθμίσεις που έχουν ορίσει ιδιοκτήτες ιστοσελίδων μέσω αρχείων robots.txt και τειχών προστασίας, συνεχίζοντας την πρόσβαση σε περιεχόμενο. Οι καταγγελίες προήλθαν από πελάτες της εταιρείας, οι οποίοι είχαν μπλοκάρει τα δηλωμένα crawlers της Perplexity, αλλά παρατήρησαν ότι η δραστηριότητα συνεχιζόταν ανενόχλητη. Για να επαληθεύσουν τις καταγγελίες, οι ειδικοί της Cloudflare διεξήγαγαν δικές τους δοκιμές. Διαπίστωσαν ότι, όταν τα γνωστά bots της Perplexity συναντούσαν εμπόδια, η εταιρεία επιστράτευε μη δηλωμένα εργαλεία που χρησιμοποιούσαν πολλαπλές διευθύνσεις IP εκτός του επίσημου εύρους της. Αυτά τα bots εναλλάσσονταν μεταξύ διαφορετικών IP και ακόμη και δικτύων (ASNs) για να αποφύγουν τον εντοπισμό. Η δραστηριότητα αυτή εντοπίστηκε σε πάνω από 10.000 domains, με εκατομμύρια αιτήματα καθημερινά, δημιουργώντας μια εικόνα εκτεταμένης παράκαμψης. Η πρακτική αυτή θυμίζει προσπάθειες απόκρυψης σε έναν ψηφιακό κόσμο όπου οι κανόνες πρόσβασης μοιάζουν με πινακίδες "Απαγορεύεται η Είσοδος" σε ιδιωτικές ιδιοκτησίες. Το Πρωτόκολλο Αποκλεισμού Ρομπότ, που προτάθηκε το 1994 από τον μηχανικό Martijn Koster, επιτρέπει στους διαχειριστές ιστοσελίδων να δηλώνουν μέσω ενός απλού αρχείου ποιες περιοχές είναι απαγορευμένες για αυτοματοποιημένα προγράμματα. Η συγκεκριμένη μέθοδος έχει γίνει ευρέως αποδεκτή και τυποποιήθηκε επίσημα από την Internet Engineering Task Force το 2022, ενισχύοντας την εμπιστοσύνη στο διαδίκτυο. Δεν είναι η πρώτη φορά που η Perplexity δέχεται κριτική για παρόμοιες συμπεριφορές. Ο διευθύνων σύμβουλος του Reddit, Steve Huffman, δήλωσε πέρυσι σε συνέντευξη στο The Verge ότι η αντιμετώπιση της Perplexity, μαζί με μηχανές από Microsoft και Anthropic, ήταν εξαιρετικά δύσκολη. Σύμφωνα με τον ίδιο, αυτές οι εταιρείες συμπεριφέρονται σαν να είναι όλο το περιεχόμενο του διαδικτύου ελεύθερο για χρήση χωρίς περιορισμούς. Παρόμοιες κατηγορίες έχουν εκφραστεί και από εκδοτικούς οίκους. Το Forbes κατηγόρησε την Perplexity για "κυνική κλοπή" μετά από δημοσίευση άρθρου που έμοιαζε υπερβολικά με δικό τους πρωτότυπο υλικό, το οποίο είχε αναρτηθεί μόλις μια μέρα νωρίτερα. Επίσης, το Wired, ανέφερε ύποπτες κινήσεις από IP διευθύνσεις πιθανώς συνδεδεμένες με την Perplexity, οι οποίες αγνοούσαν εντολές από το robots.txt. Σε ορισμένες περιπτώσεις, η Perplexity φέρεται να τροποποιούσε τo crawling bots' ID string της για να ξεπερνά τους περιορισμούς. Ανταποκρινόμενη στα ευρήματα, η Cloudflare προχώρησε σε μέτρα προστασίας για τους χρήστες της υπηρεσίας διανομής περιεχομένου. Οι ερευνητές τόνισαν ότι τα crawlers οφείλουν να είναι διαφανή, να εξυπηρετούν σαφείς σκοπούς και να σέβονται τις οδηγίες των ιστοσελίδων. Ως εκ τούτου, αφαίρεσαν την Perplexity από τη λίστα επαληθευμένων bots και ενσωμάτωσαν νέους κανόνες για τον αποκλεισμό τέτοιων κρυφών δραστηριοτήτων. Άλλωστε στις αρχές του περασμένου μήνα, η Cloudflare παρουσίασε μια νέα δωρεάν λειτουργία για τους χρήστες, με την ενεργοποίηση της οποίας κάθε εκδότης μπορεί να απαγορέψει με μια κίνηση την επίσκεψη παρόμοιων crawelers από AI εταιρείες ή να χρεώνει για την πρόσβαση στο περιεχόμενο της ιστοσελίδας του. Οι εκπρόσωποι της Perplexity δεν απάντησαν σε email που ζητούσε διευκρινίσεις σχετικά με τις κατηγορίες. Διαβάστε ολόκληρο το άρθρο

Η Cloudflare θα αποκλείει πλέον εξ ορισμού τα γνωστά AI web crawlers για να αποτρέψει την "πρόσβαση σε περιεχόμενο χωρίς άδεια ή αποζημίωση". Με αυτή την αλλαγή, η Cloudflare θα αρχίσει να ρωτά τους κατόχους ιστοσελίδων που χρησιμοποιούν την υπηρεσία της εάν επιθυμούν να επιτρέψουν τα AI scrapers, και θα δώσει ακόμη τη δυνατότητα σε ορισμένους εκδότες να εφαρμόσουν ένα τέλος "Pay Per Crawl". Το πρόγραμμα Pay Per Crawl θα επιτρέπει στους εκδότες να ορίζουν μια τιμή για την πρόσβαση των AI scrapers στο περιεχόμενό τους. Οι εταιρείες AI μπορούν στη συνέχεια να δουν τις τιμές και να επιλέξουν εάν θα εγγραφούν για το τέλος "Pay Per Crawl" ή θα αποχωρήσουν. Η λειτυουργία είναι διαθέσιμη μόνο για "μια ομάδα από μερικούς από τους κορυφαίους εκδότες και δημιουργούς περιεχομένου" προς το παρόν, αλλά η Cloudflare δηλώνει ότι θα διασφαλίσει ότι "οι εταιρείες AI μπορούν να χρησιμοποιούν ποιοτικό περιεχόμενο με τον σωστό τρόπο — με άδεια και αποζημίωση". Η Cloudflare βοηθά τους ιδιοκτήτες domain να καταπολεμήσουν τα AI crawlers εδώ και καιρό. Η εταιρεία άρχισε να επιτρέπει στους ιστότοπους να αποκλείουν τα AI crawlers το 2023, αλλά αυτό ίσχυε μόνο για όσα συμμορφώνονταν με το αρχείο robots.txt ενός ιστότοπου, τη μη εφαρμόσιμη συμφωνία που υποδεικνύει εάν τα bots μπορούν να συλλέξουν το περιεχόμενό του. Η Cloudflare άρχισε να επιτρέπει στους ιστότοπους να αποκλείουν "όλα" τα AI bots πέρυσι —είτε σέβονται το αρχείο robots.txt ενός ιστότοπου είτε όχι— και τώρα αυτή η ρύθμιση είναι ενεργοποιημένη εξ ορισμού για τους νέους πελάτες της εταιρείας. Αρκετοί μεγάλοι εκδότες και διαδικτυακές πλατφόρμες, όπως οι The Associated Press, The Atlantic, Fortune, Stack Overflow και Quora, υποστηρίζουν τους νέους περιορισμούς AI crawler της Cloudflare, καθώς οι ιστότοποι αντιμετωπίζουν ένα μέλλον όπου περισσότεροι άνθρωποι βρίσκουν πληροφορίες μέσω AI chatbots, παρά μέσω μηχανών αναζήτησης. "Οι άνθρωποι εμπιστεύονται περισσότερο την AI τους τελευταίους έξι μήνες, που σημαίνει ότι δεν διαβάζουν το πρωτότυπο περιεχόμενο", δήλωσε ο CEO της Cloudflare, Matthew Prince, κατά τη διάρκεια της εκδήλωσης Axios Live την περασμένη εβδομάδα. Επιπλέον, η Cloudflare αναφέρει ότι συνεργάζεται με εταιρείες AI για να βοηθήσει στην επαλήθευση των crawlers τους και να τους επιτρέψει να "δηλώσουν ξεκάθαρα τον σκοπό τους", όπως αν χρησιμοποιούν το περιεχόμενο για εκπαίδευση, συμπεράσματα ή αναζήτηση. Οι ιδιοκτήτες ιστοτόπων μπορούν στη συνέχεια να εξετάσουν αυτές τις πληροφορίες και να καθορίσουν ποια crawlers θα επιτρέψουν. Διαβάστε ολόκληρο το άρθρο

Ένα νέο marketplace για την πώληση δεδομένων ιστοσελίδων σε εταιρείες τεχνητής νοημοσύνης (ΤΝ) σχεδιάζει να λανσάρει η Cloudflare μέσα στο επόμενο έτος, σύμφωνα με σημερινή ανακοίνωση της εταιρείας. Η πρωτοβουλία αυτή αποτελεί μέρος ενός ευρύτερου σχεδίου του διευθύνοντος συμβούλου της Cloudflare, Matthew Prince, με στόχο την παροχή μεγαλύτερου ελέγχου στους εκδότες περιεχομένου σχετικά με τον τρόπο και τον χρόνο συλλογής δεδομένων από τα μοντέλα τεχνητής νοημοσύνης. Σε συνέντευξή του στο Wired, ο Prince τόνισε τη σημασία της αποζημίωσης των δημιουργών περιεχομένου, δηλώνοντας: "Εάν δεν αποζημιώνεις τους δημιουργούς με τον ένα ή τον άλλο τρόπο, τότε σταματούν να δημιουργούν, και αυτό είναι το ζήτημα που πρέπει να επιλυθεί." Ως πρώτο βήμα προς αυτή την κατεύθυνση, η Cloudflare παρουσίασε σήμερα ένα δωρεάν εργαλείο παρακολούθησης για τους πελάτες της, με την ονομασία AI Audit. Μέσω ενός ειδικά σχεδιασμένου πίνακα ελέγχου, οι ιδιοκτήτες ιστοσελίδων θα μπορούν να παρακολουθούν αναλυτικά στοιχεία σχετικά με τους λόγους, τον χρόνο και τη συχνότητα με την οποία τα μοντέλα τεχνητής νοημοσύνης συλλέγουν πληροφορίες από τις ιστοσελίδες τους. Επιπλέον, η Cloudflare θα παρέχει στους πελάτες της τη δυνατότητα να αποκλείουν τα προγράμματα τεχνητής νοημοσύνης από τους ιστότοπούς τους με ένα απλό κλικ. Οι ιδιοκτήτες ιστοσελίδων θα μπορούν να επιλέξουν είτε να αποκλείσουν όλα τα προγράμματα συλλογής δεδομένων χρησιμοποιώντας το AI Audit, είτε να επιτρέπουν την πρόσβαση σε συγκεκριμένα προγράμματα με τα οποία έχουν συμφωνίες ή θεωρούν ότι η συλλογή δεδομένων είναι επωφελής για αυτούς. Σε μια επίδειξη του AI Audit που κοινοποιήθηκε στο TechCrunch, φάνηκε πώς οι ιδιοκτήτες ιστοσελίδων μπορούν να χρησιμοποιήσουν το εργαλείο για να δουν πώς τα μοντέλα τεχνητής νοημοσύνης συλλέγουν δεδομένα από τους ιστότοπούς τους. Το εργαλείο της Cloudflare μπορεί να εντοπίσει την προέλευση κάθε προγράμματος συλλογής δεδομένων που επισκέπτεται τον ιστότοπο και προσφέρει επιλεκτικά παράθυρα για να δείτε πόσες φορές προγράμματα από εταιρείες όπως η OpenAI, η Meta, η Amazon και άλλοι πάροχοι μοντέλων τεχνητής νοημοσύνης επισκέπτονται τον ιστότοπό σας. Η πρωτοβουλία της Cloudflare στοχεύει στην αντιμετώπιση ενός σημαντικού προβλήματος που απειλεί τη βιομηχανία της τεχνητής νοημοσύνης: πώς θα επιβιώσουν οι μικρότεροι εκδότες στην εποχή της τεχνητής νοημοσύνης, εάν οι χρήστες στραφούν σε υπηρεσίες όπως το ChatGPT αντί των ιστοσελίδων τους; Σήμερα, οι πάροχοι μοντέλων τεχνητής νοημοσύνης συλλέγουν πληροφορίες από χιλιάδες μικρούς ιστότοπους για να τροφοδοτήσουν τα μοντέλα τους. Ενώ ορισμένοι μεγάλοι εκδότες έχουν συνάψει συμφωνίες με την OpenAI για την αδειοδότηση περιεχομένου, οι περισσότεροι ιστότοποι δεν λαμβάνουν καμία αποζημίωση, παρόλο που το περιεχόμενό τους τροφοδοτεί καθημερινά δημοφιλή μοντέλα τεχνητής νοημοσύνης. Το ζήτημα αυτό έγινε ιδιαίτερα εμφανές νωρίτερα το καλοκαίρι, όταν η Perplexity, μια νεοφυής επιχείρηση αναζήτησης με τεχνητή νοημοσύνη, κατηγορήθηκε για συλλογή δεδομένων από ιστότοπους που είχαν ρητά δηλώσει ότι δεν επιθυμούσαν να γίνεται συλλογή δεδομένων, χρησιμοποιώντας το Robots Exclusion Protocol. Σε απάντηση, η Cloudflare κυκλοφόρησε ένα κουμπί που επέτρεπε στους πελάτες της να αποκλείουν όλα τα προγράμματα τεχνητής νοημοσύνης με ένα κλικ. Ο Prince εξήγησε ότι αυτή η κίνηση προήλθε από την απογοήτευση που εξέφραζαν οι χρήστες, οι οποίοι ένιωθαν ότι έκλεβαν το περιεχόμενό τους. Το νέο marketplace που σχεδιάζει η Cloudflare αναμένεται να προσφέρει μια πιο ισορροπημένη λύση, επιτρέποντας στους ιδιοκτήτες ιστοσελίδων να ελέγχουν και να αποζημιώνονται για τη χρήση του περιεχομένου τους από εταιρείες τεχνητής νοημοσύνης. Διαβάστε ολόκληρο το άρθρο