Στήσιμο 30 python selenium bots που θα δουλεύουν ταυτόχρονα

[archer100]

Καλησπέρα, η ερώτηση είναι λίγο εξειδικευμένη. Θέλω να στήσω 30 bots που θα τρέχουν python selenium και θα στοχεύουν ένα συγκεκριμένο σαιτ κάποια συγκεκριμένη στιγμή, έχει να κάνει με κάποιας μορφής reservation,  που οι λεπτομέρειες του δεν έχουν σημασία. 

Ο κώδικας του bot είναι έτοιμος, έχει τεσταριστεί σε προσωπικά λάπτο και τρέχει άψογα, ακριβώς όπως χρειάζεται. Το πρόβλημα είναι πως είναι αδύνατο να χρησιμοποιηθούν 30 προσωπικά λαπτοπ, οπότε ψάχνω κάποια λύση online. Προσπάθησα εξ αρχής με το pythonanywhere και τα schedule tasks που έχει αλλά δυστυχώς φαίνεται να μη λειτουργούν σωστα και όταν έχω πολλά μποτς στο ίδιο ακαουντ να λειτουργει μονο το ένα και τα άλλα για κάποιον λόγο να μπλοκάρονται (έχω 10 ακκαουντς με 3 μποτ το καθένα).

Έχετε να προτείνετε κάποια λύση που να ταιριάζει με το παραπάνω; Μήπως αν έβαζα proxies στον κώδικα να έλυνε το θέμα; Ειδάλλως σκέφτομαι να δοκιμάσω άλλες λύσεις όπως colab, heroku, aws, κλπ 

Το ιδανικό σενάριο είναι να έχω 30 μηχανές που να μην τρώει resources η μία από την άλλη όταν δουλεύουν ταυτόχρονα (για αυτό το λόγο και λύση στο τοπικό λαπτοπ με proxies, κλπ αποκλείεται καθότι παίζει ρόλο ακόμα και το μικροσεκοντ αντανακλαστικών) και να έχουν διαφορετική ip

Μήπως αν χρησιμοποιούσα proxies σε κάποια πανίσχυρη μηχανή πχ του aws να ήταν καλή λύση; Το οικονομικό είναι αδιάφορο, μιας και υπάρχει μπάτζετ για ακριβές (αλλά καλές) λύσεις

Ευχαριστώ

Επεξ/σία 2 Νοεμβρίου 2022 από archer100

[masteripper]

90€

Τόσο θα σου κοστίσει να νοικιάσεις 30 VPS όπου κάθε botακι θα βόσκει τρέχει όμορφα και ωραία στον δικό του server και δεν θα πειράζει κανένα αλλο.....

[archer100]

58 λεπτά πριν, masteripper είπε

90€

Τόσο θα σου κοστίσει να νοικιάσεις 30 VPS όπου κάθε botακι θα βόσκει τρέχει όμορφα και ωραία στον δικό του server και δεν θα πειράζει κανένα αλλο.....

Thanks. Εχεις καποιο να προτεινεις;

Επεξ/σία 2 Νοεμβρίου 2022 από archer100

[bilakos26]

3 ώρες πριν, archer100 είπε

Thanks. Εχεις καποιο να προτεινεις;

Αυτά είναι κάποια τα οποια έχω χρησιμοποιήσει κατα καιρούς

Το ένα είναι ελληνικό https://www.pointer.gr/el/vps . Αυτό δεν θυμαμαι αν ήτανε καλό ή κακό.
Αυτό εδώ όμως https://iportal.host το έχω χρησιμοποιήσει αρκετές φορές

[thanasis00]

Τι ωραίο παράδειγμα να το σηκώσες σε kubernetes με replicas:30! Τώρα βέβαια αν τα θες τόσο isolated, θα θες και ένα beefy μηχάνημα με 30 cores, οπότε νομίζω θα στοιχίσει αρκετά. Πάντως αν πας με 30 VPS, σίγουρα να παίξεις με ansible για να μη τα στήσεις ένα ένα, αλλά να τρέχεις ένα script που θα τα στήνει όλα.

EDIT: εγώ παίζω με το https://www.prometeus.net γενικά δεν έχω παράπονα, αλλά δε ξέρω αν οι τιμές του είναι οι πιο φθηνές. Σίγουρα δεν είχα καθόλου downtime τον τελευταίο χρόνο.

Επεξ/σία 2 Νοεμβρίου 2022 από thanasis00

[CyberCr33p]

Μήπως να βρεις κάποιον πάροχο από το ίδιο datacenter που είναι και η άλλη σελίδα; Το λέω γιατί λες ότι παίζει ρόλο το latency.

[Επισκέπτης]

Εγώ δεν κατάλαβα, το πρόβλημα σου είναι ότι δεν σου αρκούν τα resources ή σε μπλοκάρει το site;

 

[archer100]

16 ώρες πριν, random_dude είπε

Εγώ δεν κατάλαβα, το πρόβλημα σου είναι ότι δεν σου αρκούν τα resources ή σε μπλοκάρει το site;

 

Η αληθεια ειναι πως κι εγω δεν εχω καταλαβει ακριβως γιατι δε μπορουν να τρεξουν 2 μποτς απο το ιδιο pythonanywhere ακαουντ. Απο τη σελιδα-στοχο δεν υπαρχει προβλημα, μπορει να δεχτει requests και login απο ιδιες ip με διαφορετικα username καθως και ιδιο username απο διαφορετικες ip και locations και γενικα δεν εχει restrictions. Φαινεται να ειναι πιο πολυ προβλημα του Selenium, να μη μπορει να τρεξει πολλες φορες απο το ιδιο pythonanywhere account την ιδια στιγμη, ισως ειναι και θεμα resources, πχ web workers, κλπ αν και τα ακαουντ μου εχουν πανω απο εναν web workers

Anyway με βλεπω να πηγαινω σε vps γιατι αλλιως δεν τσουλαει το πραμα

[Επισκέπτης]

Και γιατί δεν τρέχεις το πρόγραμμα local και το τρέχεις μέσω cloud;