αυτόματος τρόπος για extract δεδομένων από mail server

[antirix024]

Γεια σας. Λοιπόν η εταιρεία μας έχει μια υπηρεσία που μπορεί να διαβάσει δεδομένα από smart-meters είτε μέσω ενός API ή μέσω FTP σύνδεσης και να τα αποθηκεύσει σε βάση δεδομένων. 

Παρόλα αυτά ένας πελάτης που έχει εγκαταστήσει μετρητές παλιούς ο μόνος τρόπος να μας στείλει τις μετρήσεις είναι μέσω email. Δηλαδή να κάνει attach το excel σε ένα email και να μας το στείλει κάπου. 

Εμείς δεν έχουμε δικό μας mail server. Ούτε σκοπεύουμε να στήσουμε. 

Τι μπορούμε να κάνουμε; Υπάρχει κάποιος mail server που να μας δίνει access μεσω terminal ώστε να φτιάξω ένα σκριπτάκι που να ανοίγει τα attachments; 

Οποιαδήποτε άλλη ιδέα είναι καλοδεχούμενη. 

(ψάχνουμε για αυτοματοποιημενη λύση και όχι κάτι σε manual λύση)

Επεξ/σία 9 Νοεμβρίου 2022 από antirix024

[Kercyn]

Εναλλακτικά ίσως θα μπορούσατε να στήσετε ένα RPA που να κατεβάζει τα attachments και μετά να τα κάνετε parse όπως θέλετε.

[masteripper]

Μπορεις να βάλεις κώδικα στο Outlook και να κάνει Parsing στο email

[archer100]

49 λεπτά πριν, antirix024 είπε

Γεια σας. Λοιπόν η εταιρεία μας έχει μια υπηρεσία που μπορεί να διαβάσει δεδομένα από smart-meters είτε μέσω ενός API ή μέσω FTP σύνδεσης και να τα αποθηκεύσει σε βάση δεδομένων. 

Παρόλα αυτά ένας πελάτης που έχει εγκαταστήσει μετρητές παλιούς ο μόνος τρόπος να μας στείλει τις μετρήσεις είναι μέσω email. Δηλαδή να κάνει attach το excel σε ένα email και να μας το στείλει κάπου. 

Εμείς δεν έχουμε δικό μας mail server. Ούτε σκοπεύουμε να στήσουμε. 

Τι μπορούμε να κάνουμε; Υπάρχει κάποιος mail server που να μας δίνει access μεσω terminal ώστε να φτιάξω ένα σκριπτάκι που να ανοίγει τα attachments; 

Οποιαδήποτε άλλη ιδέα είναι καλοδεχούμενη. 

(ψάχνουμε για αυτοματοποιημενη λύση και όχι κάτι σε manual λύση)

Μπορει να γινει και με ενα απλο gmail ακαουντ

Αυτο που χρειαζεσαι ειναι ενα script που θα διαβαζει το Excel και θα αποθηκευει τα δεδομενα στη βαση

Εχω κανει πολλες παρομοιες δουλειες αυτοματοποιησης για πελατες με Python

Αν θελεις να συνεργαστουμε στειλε μου πμ

 

Επεξ/σία 9 Νοεμβρίου 2022 από archer100

[antirix024]

 

1 ώρα πριν, Kercyn είπε

Εναλλακτικά ίσως θα μπορούσατε να στήσετε ένα RPA που να κατεβάζει τα attachments και μετά να τα κάνετε parse όπως θέλετε.

Και που θα εγκατασταθεί αυτό το RPA; 

 

1 ώρα πριν, masteripper είπε

Μπορεις να βάλεις κώδικα στο Outlook και να κάνει Parsing στο email

 

Δεν μπορώ να δεσμεύσω έναν client μόνο για αυτή τη δουλειά. 

 

31 λεπτά πριν, archer100 είπε

Μπορει να γινει και με ενα απλο gmail ακαουντ

Αυτο που χρειαζεσαι ειναι ενα script που θα διαβαζει το Excel και θα αποθηκευει τα δεδομενα στη βαση

Εχω κανει πολλες παρομοιες δουλειες αυτοματοποιησης για πελατες με Python

Αν θελεις να συνεργαστουμε στειλε μου πμ

 

Αυτό το script θα "μιλάει" με τον IMAP server της Google και θα κατεβάζει τα emails; Είναι κάτι που έχω σκεφτεί και εγώ. Αξίζει τον κόπο; 

Επεξ/σία 9 Νοεμβρίου 2022 από antirix024

[Kercyn]

27 λεπτά πριν, antirix024 είπε

Και που θα εγκατασταθεί αυτό το RPA; 

Το UiPath που κοίταξα λίγο προσφέρει cloud και on premises.

[archer100]

29 λεπτά πριν, antirix024 είπε

Αυτό το script θα "μιλάει" με τον IMAP server της Google και θα κατεβάζει τα emails; Είναι κάτι που έχω σκεφτεί και εγώ. Αξίζει τον κόπο; 

Ναι, απλα θα πρεπει να δημιουργησεις και να χρησιμοποιησεις ενα app password για το gmail account σου

Εναλλακτικα θα προτεινα να ανεβαζει το αρχειο ο πελατης σε ενα googlesheet και να μη μπλεξετε καθολου με email

Απλη και ξεκαθαρη λυση για ολες τις μεριες

[antirix024]

13 ώρες πριν, Kercyn είπε

Το UiPath που κοίταξα λίγο προσφέρει cloud και on premises.

καλό αλλά totally overkill. Με συμφέρει περισσότερο να τον πιέσω να βρει εκείνος άλλο τρόπο να μου στέλνει τα δεδομένα ή καθόλου. Δεν μπορώ να στήσω ολόκληρο infrastructure για παρτι του. 

13 ώρες πριν, archer100 είπε

Ναι, απλα θα πρεπει να δημιουργησεις και να χρησιμοποιησεις ενα app password για το gmail account σου

Εναλλακτικα θα προτεινα να ανεβαζει το αρχειο ο πελατης σε ενα googlesheet και να μη μπλεξετε καθολου με email

Απλη και ξεκαθαρη λυση για ολες τις μεριες

ενδιαφέρον αυτό με το googlesheet, όμως πως θα μιλάει το linux VM με το googlesheet; 

[archer100]

2 ώρες πριν, antirix024 είπε

ενδιαφέρον αυτό με το googlesheet, όμως πως θα μιλάει το linux VM με το googlesheet; 

https://practicaldatascience.co.uk/data-science/how-to-read-google-sheets-data-in-pandas-with-gspread

[Επισκέπτης]

Υπάρχουν libraries που διαβάζουν e-mails από διάφορες υπηρεσίες. Για παράδειγμα εγώ χρησιμοποιώ το ακόλουθο για να διαβάζω e-mails από GMail. Έχει δωρεάν έκδοση που κάνει expire στον μήνα οπότε μετά θα πρέπει να την κατεβάζεις και να την εγκαθιστάς πάλι, όπως και επί πληρωμή.

https://www.emailarchitect.net/eagetmail

Μπορείς βέβαια να δοκιμάσεις να διαβάζεις τα e-mails και χωρίς βιβλιοθήκη γράφοντας μόνος σου τον κώδικα. Και μετά αποθηκεύεις κάπου το Excel για να διαβάζεις τις τιμές και να τις φορτώνεις στην database σου. Όλα πλήρως αυτοματοποιημένα.