Cloudflare εναντίον AI web crawlers με νέο marketplace και εξ ορισμού αποκλεισμό τους από τις ιστοσελίδες

[Crash24]

Η Cloudflare θα αποκλείει πλέον εξ ορισμού τα γνωστά AI web crawlers για να αποτρέψει την "πρόσβαση σε περιεχόμενο χωρίς άδεια ή αποζημίωση".

Με αυτή την αλλαγή, η Cloudflare θα αρχίσει να ρωτά τους κατόχους ιστοσελίδων που χρησιμοποιούν την υπηρεσία της εάν επιθυμούν να επιτρέψουν τα AI scrapers, και θα δώσει ακόμη τη δυνατότητα σε ορισμένους εκδότες να εφαρμόσουν ένα τέλος "Pay Per Crawl".

Το πρόγραμμα Pay Per Crawl θα επιτρέπει στους εκδότες να ορίζουν μια τιμή για την πρόσβαση των AI scrapers στο περιεχόμενό τους. Οι εταιρείες AI μπορούν στη συνέχεια να δουν τις τιμές και να επιλέξουν εάν θα εγγραφούν για το τέλος "Pay Per Crawl" ή θα αποχωρήσουν. Η λειτυουργία είναι διαθέσιμη μόνο για "μια ομάδα από μερικούς από τους κορυφαίους εκδότες και δημιουργούς περιεχομένου" προς το παρόν, αλλά η Cloudflare δηλώνει ότι θα διασφαλίσει ότι "οι εταιρείες AI μπορούν να χρησιμοποιούν ποιοτικό περιεχόμενο με τον σωστό τρόπο — με άδεια και αποζημίωση".

Η Cloudflare βοηθά τους ιδιοκτήτες domain να καταπολεμήσουν τα AI crawlers εδώ και καιρό. Η εταιρεία άρχισε να επιτρέπει στους ιστότοπους να αποκλείουν τα AI crawlers το 2023, αλλά αυτό ίσχυε μόνο για όσα συμμορφώνονταν με το αρχείο robots.txt ενός ιστότοπου, τη μη εφαρμόσιμη συμφωνία που υποδεικνύει εάν τα bots μπορούν να συλλέξουν το περιεχόμενό του. Η Cloudflare άρχισε να επιτρέπει στους ιστότοπους να αποκλείουν "όλα" τα AI bots πέρυσι —είτε σέβονται το αρχείο robots.txt ενός ιστότοπου είτε όχι— και τώρα αυτή η ρύθμιση είναι ενεργοποιημένη εξ ορισμού για τους νέους πελάτες της εταιρείας.

Αρκετοί μεγάλοι εκδότες και διαδικτυακές πλατφόρμες, όπως οι The Associated Press, The Atlantic, Fortune, Stack Overflow και Quora, υποστηρίζουν τους νέους περιορισμούς AI crawler της Cloudflare, καθώς οι ιστότοποι αντιμετωπίζουν ένα μέλλον όπου περισσότεροι άνθρωποι βρίσκουν πληροφορίες μέσω AI chatbots, παρά μέσω μηχανών αναζήτησης. "Οι άνθρωποι εμπιστεύονται περισσότερο την AI τους τελευταίους έξι μήνες, που σημαίνει ότι δεν διαβάζουν το πρωτότυπο περιεχόμενο", δήλωσε ο CEO της Cloudflare, Matthew Prince, κατά τη διάρκεια της εκδήλωσης Axios Live την περασμένη εβδομάδα.

Επιπλέον, η Cloudflare αναφέρει ότι συνεργάζεται με εταιρείες AI για να βοηθήσει στην επαλήθευση των crawlers τους και να τους επιτρέψει να "δηλώσουν ξεκάθαρα τον σκοπό τους", όπως αν χρησιμοποιούν το περιεχόμενο για εκπαίδευση, συμπεράσματα ή αναζήτηση. Οι ιδιοκτήτες ιστοτόπων μπορούν στη συνέχεια να εξετάσουν αυτές τις πληροφορίες και να καθορίσουν ποια crawlers θα επιτρέψουν.

Διαβάστε ολόκληρο το άρθρο

[PCharon]

OK κι αν κάνουν spoof οι crawlers δηλαδή πχ σαν τυχαίοι browsers;

[Errik]

7 minutes ago, PCharon said:

OK κι αν κάνουν spoof οι crawlers δηλαδή πχ σαν τυχαίοι browsers;

Μη δίνεις έτσι στο πιάτο ιδέες στο ΑΙ! 🤪

[ethereum]

όχι πλέον ανοιχτό διαδίκτυο ? το traffic κάθε ιστοσελίδας μπορεί να μειωθεί σημαντικά , τι ρόλο θέλει να παίξει η Cloudflare , θα προωθεί τα crawlers που θέλει αυτή ? θα είναι mediator ,  dealer ή distributor? η προεπιλεγμένη απαγόρευση μπορεί να επηρεάσει μη εμπορικές χρήσεις όπως η έρευνα ή τις υπηρεσίες αρχειοθέτησης ιστού που χρησιμοποιούν crawlers , δεν είναι όλα τα συστήματα τεχνητής νοημοσύνης εμπορικά , υπάρχει η προσωπική χρήση και η έρευνα.

 

Επεξ/σία Τρίτη στις 10:23 μμ από ethereum

[Alani13]

Ωχ κακό αυτό. Και εκπαιδεύω συνέχεια τα Α.Ι. να ψάχνουν για μένα ώστε να έχω καλύτερες αναζητήσει και αποτελέσματα πάνω σε αυτό που ψάχνω. 😐

[mountains1]

19 ώρες πριν, ethereum είπε

όχι πλέον ανοιχτό διαδίκτυο ? το traffic κάθε ιστοσελίδας μπορεί να μειωθεί σημαντικά , τι ρόλο θέλει να παίξει η Cloudflare , θα προωθεί τα crawlers που θέλει αυτή ? θα είναι mediator ,  dealer ή distributor? η προεπιλεγμένη απαγόρευση μπορεί να επηρεάσει μη εμπορικές χρήσεις όπως η έρευνα ή τις υπηρεσίες αρχειοθέτησης ιστού που χρησιμοποιούν crawlers , δεν είναι όλα τα συστήματα τεχνητής νοημοσύνης εμπορικά , υπάρχει η προσωπική χρήση και η έρευνα.

Ετσι κι αλλιως, με την ΑΙ, εχει μειωθει πολυ η επισκεψιμοτητα στις ιστοσελιδες. Δεν ξερω αν εχει νοημα πια, να συντηρεις ας πουμε ενημερωτικη ιστοσελιδα. Δες εδω