Το έξυπνο καλάθι του skroutz για τα φαρμακεία, ΔΕΝ συγκεντρώνει τις καλύτερες προσφορές.

[denbootarei]

Επειδή ψωνίζω συχνά προϊόντα φαρμακείου online για την οικογένειά μου και για συγγενείς της γυναίκας μου, συμβουλεύομαι την υπηρεσία του skroutz "Έξυπνο καλάθι"(για μια συγκεκριμένη λίστα προϊόντων , το skroutz προτείνει τις φτηνότερο κατάστημα / συνδυασμό καταστημάτων από αυτά που είναι στην πλατφόρμα του , αλλά συμμετέχουν ΚΑΙ στο έξυπνο καλάθι.)

Το πρόβλημα:  Το έξυπνο καλάθι δεν βγάζει τους καλύτερους συνδυασμούς καταστημάτων.

Ο λόγος είναι πολύ απλός: ΔΕΝ συμμετέχουν όλα τα καταστήματα της πλατφόρμας του  skroutz και στο Έξυπνο καλάθι. Αποτέλεσμα : ο καταναλωτής που το εμπιστεύεται πάντοτε θα πληρώνει περισσότερα από τον φτηνότερο συνδυασμό.

Πως μπορώ να βρώ τον καλύτερο συνδυασμό?

Δημιούργησα για αυτό το σκόπο την ακόλουθη εφαρμογή: https://kantoliana.gr/pharmacy . (Windows/Mac/Linux)

Η χρήση της είναι πολύ απλή:

1. Δημιουργούμε λογαριασμό στον ιστότοπο kantoliana.gr. Αποθηκεύεται το καλάθι μας και η λίστα με το ιστορικό των προϊόντων για να είναι προσπελάσιμα από οποιοδήποτε άλλο υπολογιστή κάνουμε login.
2. Εγκαθιστούμε στον υπολογιστή μας το πρόγραμμα Bypass Cors . Το πρόγραμμα αυτό  βοηθάει στην Real Time συλλογή δεδομένων από οποιαδήποτε ιστοσελίδα. Στην περίπτωσή μας από το skroutz.
3. Βεβαιωνόμαστε ότι το πρόγραμμα Bypass Cors  ακούει στην διεύθυνση http://localhost:3167/ (πράσινο φωτάκι) , προσθέτουμε τον ιστότοπο "https://kantoliana.gr" στην λίστα με τα Whitelist Domains και στη συνέχεια πατάμε το κουμπί "Restart Server" για να αρχίσουν να έχουν ισχύ οι αλλαγές μας. 
4.  Κάνουμε copy το url της σελίδας του skroutz του προϊόντος(λίστα καταστημάτων) που μας ενδιαφέρει και paste στην https://kantoliana.gr/pharmacy  Όταν φορτωθεί το προϊόν επιλέγουμε ποσότητα.
5. Επαναλαμβάνουμε το 4 για όσα προϊόντα μας ενδιαφέρουν.
6. Πατάμε το κουμπί "Βρες τα φτηνότερα φαρμακεία". Εμφανίζονται οι φτηνότεροι συνδυασμοί και πάνω δεξιά το ποσό που θα πληρώναμε στο έξυπνο καλάθι.
7. Πατώντας το κουμπί αγορά μεταφερόμαστε αυτόματα στην σελίδα του καταστήματος για να προμηθευτούμε τα προϊόντα μας.
8. Με τα χρήματα που μόλις κερδίσαμε (συνήθως 5-18 ευρώ) πίνουμε μια μπύρα εις υγείαν της εφαρμογής🍻 !!!

Η εφαρμογή είναι ακόμα σε beta οπότε αναμένω σχόλια/παρατηρήσεις/εντυπώσεις.

Επεξ/σία 14 Απριλίου 2019 από denbootarei

[zio10]

Μπράβο για την προσπάθεια!

[denbootarei]

Μόλις τώρα, zio10 είπε

Μπράβο για την προσπάθεια!

Σε ευχαριστώ!

[odystam]

Τρομερός, χαρά στην όρεξή σου! 

[denbootarei]

5 ώρες πριν, odystam είπε

Τρομερός, χαρά στην όρεξή σου! 

Σε ευχαριστώ!

[yannis27gr]

Μιλησες σχετικά με τους ιδιοκτήτες του σκρουτζ; Ίσως να θέλουν να χρησιμοποιήσουν την εφαρμογή σου (με το ανάλογο αντίτιμο φυσικά).

Επεξ/σία 14 Απριλίου 2019 από yannis27gr

[denbootarei]

33 λεπτά πριν, yannis27gr είπε

Μιλησες σχετικά με τους ιδιοκτήτες του σκρουτζ; Ίσως να θέλουν να χρησιμοποιήσουν την εφαρμογή σου (με το ανάλογο αντίτιμο φυσικά).

Φαντάζομαι ότι αν ήθελαν θα μπορούσαν να βρουν τον φτηνότερο συνδυασμό προϊόντων και να τον προτείνουν.

Το θέμα είναι ότι επειδή είναι μονοπώλιο,  εκμεταλλεύονται στο έπακρο αυτήν τους τη θέση ,  για να βγάλουν επιπλέον χρήματα από τα καταστήματα που συμμετέχουν στο έξυπνο καλάθι.

[Επισκέπτης]

Από άποψη usability και ασφάλειας δεν μου αρέσει καθόλου. Καταρχάς γιατί να στήνεις server στον υπολογιστή και να μην δουλεύει ως resident. Δεύτερον, μπορείς να το στήσεις σε ένα vps on the fly αντί να ζητάς από τον καθένα να κατεβάσει πρόγραμμα. Και τρίτον, αν δεν έχεις άδεια από το skroutz αυτό που κάνεις είναι παράνομο.

[kage]

Αυτη ειναι αναπτυξη...ηθελαν απελευθερωση τιμων..

Φτασαμε να αγοραζουμε ντεπον( + τα υπολοιπα μη συνταγογραφουμενα )απο το σκρουτζ... 

Φτιαξε κατι χωρις σερβερ με price monitoring/spider και ισως να παει καλα...δεν ειχα ιδεα για το εξυπνο καλαθι

Επεξ/σία 16 Απριλίου 2019 από kage

[denbootarei]

9 ώρες πριν, elorant είπε

Από άποψη usability και ασφάλειας δεν μου αρέσει καθόλου. Καταρχάς γιατί να στήνεις server στον υπολογιστή και να μην δουλεύει ως resident. Δεύτερον, μπορείς να το στήσεις σε ένα vps on the fly αντί να ζητάς από τον καθένα να κατεβάσει πρόγραμμα.

@elorant Για το usability θα συμφωνήσω. Για την ασφάλεια θα ήθελα να ακούσω περισσότερα.

Πέρι usability:

 Εμένα προσωπικά δεν μου αρέσει καθόλου να εγκαθιστώ επιπλέον προγράμματα στον Υπολογιστή και θέλω οι δουλειές να γίνονται είτε server side /cloud functions,  είτε μέσα στον browser με javascript (ούτε καν με extensions). 

Οπότε το πρώτο πράγμα που δοκίμασα ήταν να συλλέγω live τα δεδομένα που ζητάει ο χρήστης από το skroutz , σε ένα vps της Digital Ocean . Διαπίστωσα και στην πράξη ότι το skroutz έχει πολύ ισχυρή antiscraping προστασία (λογικό) .

Αναλυτικά όλες οι δοκιμές που έκανα και περιστρέφονται γύρω από το IP banning:

      1. Μία IP address (αυτή του VPS)

• Το quota/minute για να πάρεις τις τιμές είναι αρκετά χαμηλό. Οριακά καλύπτει έναν χρήστη . Από ένα και σημείο και μετά αρχίζεις να παίρνεις recapcha.

      2. Rotating IP addresses

• Δοκίμασα το δίκτυο TOR με ένα custom nodejs module για αυτόματη  αλλαγή IP when blocked : skroutz blocks ALL TOR exits!
• Χρήση shared proxies (free) : skroutz has already blacklisted them!
• Χρήση private  proxies (paid): η λύση αυτή δουλεύει αλλά κοστίζει ΠΟΛΛΑ χρήματα και η εφαρμογή μου θέλω να είναι δωρεάν, αλλιώς δεν θα έχει νόημα η χρήση της.

Το τελευταίο αυτό bullet με οδήγησε στην σκέψη της χρησιμοποίησης της IP του ίδιου του χρήστη και έτσι γεννήθηκε το open source πρόγραμμα Bypass Cors. 

 

Να προσθέσω εδώ ότι τα αποτελέσματα του scraping παραμένουν στο PC του χρήστη και ουδέποτε αποστέλλονται σε οποιοδήποτε server για αποθήκευση / επεξεργασία.

 

Τα μόνα δεδομένα του χρήστη που αποθηκεύονται στον server του kantoliana.gr,  είναι η λίστα με τα προϊόντα του καλαθιού και το ιστορικό, για να μπορεί ο χρήστης να χρησιμοποιεί την εφαρμογή σε οποιοδήποτε άλλον Η/Υ τρέχει το Bypass Cors.

 

9 ώρες πριν, elorant είπε

 Και τρίτον, αν δεν έχεις άδεια από το skroutz αυτό που κάνεις είναι παράνομο.

Επειδή είμαι οικογενειάρχης με ένα μικρό παιδί και πρέπει να είμαι καλός και νομοταγής πολίτης 😇 , σε σχετική ερώτηση σε Δικηγόρο (80 ευρώπουλα😬) είχα πάρει την εξής απάντηση: 

"Εφόσον η εφαρμογή προσδίδει νέα αξία στην βάση δεδομένων του skroutz , η οποία προστατεύται από τον Νόμο περί Πνευματικής  Ιδιοκτησίας, δηλαδή το αποτέλεσμα της εφαρμογής kantoliana.gr/pharmacy , η λίστα/συνδυασμός καταστημάτων είναι διαφορετικός από αυτήν που παράγει το skroutz και αποδεικνύεται με screenshots (όπως τα παραπάνω) , δεν συντρέχουν  λόγοι παράβασης του νόμου"

6 ώρες πριν, kage είπε

Φτιαξε κατι χωρις σερβερ με price monitoring/spider ...

@kage Αν μπορείς , ανέπτυξε λίγο την ιδέα σου.

Επεξ/σία 16 Απριλίου 2019 από denbootarei

[Επισκέπτης]

Πιθανολογώ ότι ο δικηγόρος σου δεν κατάλαβε τι του είπες. Η λίστα που παράγεις μπορεί να είναι διαφορετική, αλλά όλα σου τα δεδομένα προέρχονται από το skroutz το οποίο έχει μια σαφή πολιτική απέναντι στο scraping.  Από την στιγμή που όπως διαπίστωσες και μόνος σου το skroutz έχει πολύ σκληρά αντίμετρα απέναντι σε bots (εδώ καλά-καλά αν σώσεις μια λίστα με καμιά 20αρια προϊόντα και προσπαθήσεις να τα ανοίξεις ταυτόχρονα σε κόβει), οφείλεις να την σεβαστείς ανεξάρτητα από το αν σου αρέσει ή όχι. Κι εγώ μαζί σου ότι η πολιτική του skroutz να μην εμφανίζει τον βέλτιστο συνδυασμό είναι προβληματική, αλλά είναι δικό τους θέμα. Δεν μπορούμε να το λύσουμε με τον τσαμπουκά αξιοποιώντας τα δεδομένα τους με διαφορετικό τρόπο. Θεωρώ σχεδόν βέβαιο ότι αν το πρόγραμμα σου έχει μια οποιαδήποτε απήχηση θα σε κυνηγήσουν.  Εγώ στη θέση τους πάντως θα το έκανα.

Το θέμα της ασφάλειας έγκειται στο ότι με βάζεις να κατεβάσω ένα πρόγραμμα και μάλιστα unsigned κι από την στιγμή που δεν σε ξέρω, εσένα ή οποιονδήποτε άλλο για να μην παρεξηγηθώ, δεν πρόκειται να το κάνω.

Η μόνη λύση είναι να κάνεις αυτό που προτείνει ο kage. Δηλαδή να πάρεις τα data από τα ίδια τα φαρμακεία. Βέβαια αυτό είναι 200 φορές περισσότερη δουλειά από αυτό που έκανες τώρα, αλλά είναι και το μόνο που μπορεί να δουλέψει απροβλημάτιστα.

[manolakosfs]

Μπορείς απλά να μπείς στο Bestprice.gr και χωρίς να στήσεις ένα σωρό πράγματα να κάνεις την ίδια δουλειά. 

Επεξ/σία 16 Απριλίου 2019 από manolakosfs

[denbootarei]

1 ώρα πριν, manolakosfs είπε

Μπορείς απλά να μπείς στο Bestprice.gr και χωρίς να στήσεις ένα σορό πράγματα να κάνεις την ίδια δουλειά. 

@manolakosfs Φυσικά και μπορείς. Αλλά θα πληρώσεις και την διαφορά : +14.46 Εuros

Γενικά την εφαρμογή δεν έχει νόημα να την χρησιμοποιεί κάποιος για παραγγελίες κάτω των 50 ευρώ. Θα γλυτώσει λίγα.

Όπως έγραψα στο αρχικό post (πρώτη παράγραφος) , εξυπηρετώ αρκετούς "πελάτες" 😎.

 

Επεξ/σία 16 Απριλίου 2019 από denbootarei

[tobindax]

8 ώρες πριν, manolakosfs είπε

Bestprice. 

Το bestprice είναι μια παπαριά στημένη από πολύ πιο ανεύθυνους από το skroutz. Έχει ακόμα ανεβασμένους όλους του λωποδύτες που λένε "τιμή κινητού Χ" και στα πολύ ψιλά γράμματα (με την ελπίδα τους να μην το δεις) "αν το πάρεις με τιμολόγιο η τιμή είναι πολύ υψηλότερη" (ώστε στην κυριολεξία να ληστεύουν τον κόσμο που αγοράζει με τιμολόγιο).

ΥΓ. Εννοείται ότι είναι νόμιμο αλλά α) άκρως ανήθικο, β) θα πρέπει να γίνει παράνομο άμεσα αφού η κύρια χρήση του είναι αυτή η κλοπή.

[και το skroutz τους είχε αλλά τουλάχιστον τους διέγραψε όταν ο κόσμος ξεσηκώθηκε]

Επεξ/σία 16 Απριλίου 2019 από tobindax

[manolakosfs]

15 ώρες πριν, tobindax είπε

Το bestprice είναι μια παπαριά στημένη από πολύ πιο ανεύθυνους από το skroutz. Έχει ακόμα ανεβασμένους όλους του λωποδύτες που λένε "τιμή κινητού Χ" και στα πολύ ψιλά γράμματα (με την ελπίδα τους να μην το δεις) "αν το πάρεις με τιμολόγιο η τιμή είναι πολύ υψηλότερη" (ώστε στην κυριολεξία να ληστεύουν τον κόσμο που αγοράζει με τιμολόγιο).

ΥΓ. Εννοείται ότι είναι νόμιμο αλλά α) άκρως ανήθικο, β) θα πρέπει να γίνει παράνομο άμεσα αφού η κύρια χρήση του είναι αυτή η κλοπή.

[και το skroutz τους είχε αλλά τουλάχιστον τους διέγραψε όταν ο κόσμος ξεσηκώθηκε]

Τα περισσότερα καταστήματα ειναι κοινά και στους 2. Όποτε κάνεις δεν εχει καταφέρει να το ελέγξει πλήρως άσχετα με το τι λένε και τι γράφουν στα διάφορα forum καθώς ειναι μια "νόμιμη" διαδικασία εν μέρει  .