Η Cloudflare αποκαλύπτει μεθόδους παράκαμψης απαγορεύσεων από την Perplexity για πρόσβαση σε ιστοσελίδες

[Axlmon]

Η εταιρεία Cloudflare κατηγορεί την μηχανή αναζήτησης τεχνητής νοημοσύνης Perplexity ότι χρησιμοποιεί κρυφά bots για να παρακάμπτει απαγορεύσεις πρόσβασης σε ιστοσελίδες, παραβιάζοντας έτσι μακροχρόνιες διαδικτυακές πρακτικές.

Οι ερευνητές της Cloudflare, σε πρόσφατη ανάρτησή τους, περιέγραψαν πώς η Perplexity φέρεται να αγνοεί τις ρυθμίσεις που έχουν ορίσει ιδιοκτήτες ιστοσελίδων μέσω αρχείων robots.txt και τειχών προστασίας, συνεχίζοντας την πρόσβαση σε περιεχόμενο. Οι καταγγελίες προήλθαν από πελάτες της εταιρείας, οι οποίοι είχαν μπλοκάρει τα δηλωμένα crawlers της Perplexity, αλλά παρατήρησαν ότι η δραστηριότητα συνεχιζόταν ανενόχλητη.

Για να επαληθεύσουν τις καταγγελίες, οι ειδικοί της Cloudflare διεξήγαγαν δικές τους δοκιμές. Διαπίστωσαν ότι, όταν τα γνωστά bots της Perplexity συναντούσαν εμπόδια, η εταιρεία επιστράτευε μη δηλωμένα εργαλεία που χρησιμοποιούσαν πολλαπλές διευθύνσεις IP εκτός του επίσημου εύρους της. Αυτά τα bots εναλλάσσονταν μεταξύ διαφορετικών IP και ακόμη και δικτύων (ASNs) για να αποφύγουν τον εντοπισμό. Η δραστηριότητα αυτή εντοπίστηκε σε πάνω από 10.000 domains, με εκατομμύρια αιτήματα καθημερινά, δημιουργώντας μια εικόνα εκτεταμένης παράκαμψης.

Η πρακτική αυτή θυμίζει προσπάθειες απόκρυψης σε έναν ψηφιακό κόσμο όπου οι κανόνες πρόσβασης μοιάζουν με πινακίδες "Απαγορεύεται η Είσοδος" σε ιδιωτικές ιδιοκτησίες. Το Πρωτόκολλο Αποκλεισμού Ρομπότ, που προτάθηκε το 1994 από τον μηχανικό Martijn Koster, επιτρέπει στους διαχειριστές ιστοσελίδων να δηλώνουν μέσω ενός απλού αρχείου ποιες περιοχές είναι απαγορευμένες για αυτοματοποιημένα προγράμματα. Η συγκεκριμένη μέθοδος έχει γίνει ευρέως αποδεκτή και τυποποιήθηκε επίσημα από την Internet Engineering Task Force το 2022, ενισχύοντας την εμπιστοσύνη στο διαδίκτυο.

Δεν είναι η πρώτη φορά που η Perplexity δέχεται κριτική για παρόμοιες συμπεριφορές. Ο διευθύνων σύμβουλος του Reddit, Steve Huffman, δήλωσε πέρυσι σε συνέντευξη στο The Verge ότι η αντιμετώπιση της Perplexity, μαζί με μηχανές από Microsoft και Anthropic, ήταν εξαιρετικά δύσκολη. Σύμφωνα με τον ίδιο, αυτές οι εταιρείες συμπεριφέρονται σαν να είναι όλο το περιεχόμενο του διαδικτύου ελεύθερο για χρήση χωρίς περιορισμούς.

Παρόμοιες κατηγορίες έχουν εκφραστεί και από εκδοτικούς οίκους. Το Forbes κατηγόρησε την Perplexity για "κυνική κλοπή" μετά από δημοσίευση άρθρου που έμοιαζε υπερβολικά με δικό τους πρωτότυπο υλικό, το οποίο είχε αναρτηθεί μόλις μια μέρα νωρίτερα. Επίσης, το Wired, ανέφερε ύποπτες κινήσεις από IP διευθύνσεις πιθανώς συνδεδεμένες με την Perplexity, οι οποίες αγνοούσαν εντολές από το robots.txt. Σε ορισμένες περιπτώσεις, η Perplexity φέρεται να τροποποιούσε τo crawling bots' ID string της για να ξεπερνά τους περιορισμούς.

Ανταποκρινόμενη στα ευρήματα, η Cloudflare προχώρησε σε μέτρα προστασίας για τους χρήστες της υπηρεσίας διανομής περιεχομένου. Οι ερευνητές τόνισαν ότι τα crawlers οφείλουν να είναι διαφανή, να εξυπηρετούν σαφείς σκοπούς και να σέβονται τις οδηγίες των ιστοσελίδων. Ως εκ τούτου, αφαίρεσαν την Perplexity από τη λίστα επαληθευμένων bots και ενσωμάτωσαν νέους κανόνες για τον αποκλεισμό τέτοιων κρυφών δραστηριοτήτων. Άλλωστε στις αρχές του περασμένου μήνα, η Cloudflare παρουσίασε μια νέα δωρεάν λειτουργία για τους χρήστες, με την ενεργοποίηση της οποίας κάθε εκδότης μπορεί να απαγορέψει με μια κίνηση την επίσκεψη παρόμοιων crawelers από AI εταιρείες ή να χρεώνει για την πρόσβαση στο περιεχόμενο της ιστοσελίδας του.

Οι εκπρόσωποι της Perplexity δεν απάντησαν σε email που ζητούσε διευκρινίσεις σχετικά με τις κατηγορίες.

Διαβάστε ολόκληρο το άρθρο

[TechWeirdo]

Η Perplexity μπαίνει σε site με τη διακριτικότητα μεθυσμένου στο πάρτι, κάνει ότι δεν βλέπει τις απαγορεύσεις και μετά ρωτάει: "Εδώ δεν ήταν self-service;"

Επεξ/σία 5 Αυγούστου από TechWeirdo

[Alani13]

Καλά εντάξει τους κλέβουν τη πίτα και μας νοιάζει τι κάναν το 1994 τα συστήματα και τι κάνουν το 2025... Απλά δεν συγκρίνονται.
Βάλαμε και ιντερνετικό μπάτσο τώρα. Στο free internet χμμμμμμ

Επεξ/σία 5 Αυγούστου από Alani13

[maxx71]

η perplexity εχει δικο της κλειστο λογισμικο και την ζηλευουν γιατι στην αναζητηση ειναι καλυτερη απ ολους

[Alani13]

1 ώρα πριν, maxx71 είπε

η perplexity εχει δικο της κλειστο λογισμικο και την ζηλευουν γιατι στην αναζητηση ειναι καλυτερη απ ολους

Ακριβώς. όΤαν δεν μπορούν να σε φτάσουν θα σε συκοφαντίσουν άσχημα για να νικήσουν.

[giannisg33]

"Σύμφωνα με τον ίδιο, αυτές οι εταιρείες συμπεριφέρονται σαν να είναι όλο το περιεχόμενο του διαδικτύου ελεύθερο για χρήση χωρίς περιορισμούς."

 

Αμα θεωρείτε ότι το περιεχόμενο του διαδικτύου δεν είναι ελεύθερο, τότε να μην το έχετε στο διαδίκτυο. Η perplexity έχει δικιο.