Πρόβλεψη απάτης - Data analysis με Python

[DrKo]

1 ώρα πριν, Theo1903 είπε

αντί να πρέπει να αποδείξει μαθηματικά ΓΙΑΤΙ δουλεύει το συγκεκριμένο pipe.

Not completely true. Τα τελευταία χρόνια (2-3) έχουν αρχίσει να βλέπουν νέα πράγματα, που στο "παραδοσιακό" ML δεν ισχύουν. Για παράδειγμα, το bias-variance δεν ισχύει για overparameterized NNs και το community που ασχολείται με αυτό το φαινόμενο είναι αρκετά νέο. Είχα την τύχη να είμαι πολύ κοντά σε αυτό το community (δηλαδή, είψα δει την πρώτη internal παρουσίαση όταν πρωτοσυζητιόταν το φαινόμενο) και είναι εντυπωσιακό το ότι εκείνη η παραδοσιακή εξίσωση με το classification και τον noise παράγοντα, που χρησιμοποιείται για το bias - variance, δεν ισχύει τελικά στα ΝΝs. 

Δηλαδή, στο σύγχρονο ML/AI community, υπάρχουν φορές όποιυ η στιβαρή μαθηματική απόδειξη έρχεται μετά την ανακάλυψη του learning algorithm και όχι πριν. 

Βέβαια, τα παραπάνω τα λέω ενώ ήδη συμφωνώ με το: 

1 ώρα πριν, Theo1903 είπε

Πλέον έχουμε τόσα δεδομένα και πηγές που μπορει ο καθένας να ξεκινήσει απο το dataset και να αρχίσει να "τρέχει" τυφλά learning αλγοριθμους χωρίς να ασχοληθεί με το τι κάνει ο κάθενας (προφανώς με αμφιβόλου ποιότητας αποτελέσματα)

 

[Lanike71]

Παιδιά, αν έχετε τόσες γνώσεις, θα είχε ενδιαφέρον να δούμε πώς αντιμετωπίζετε ένα πρόβλημα που θέλει λύση με machine learning, βλέποντας τη διαδικασία από την αρχή ως το τέλος. Από το κατέβασμα δεδομένων, καθάρισμα δεδομένων, επεξεργασία, δημιουργία νέων μεταβλητών, επιλογή αλγορίθμου.  Ένα tutorial που θα γίνει sticky, γιατί όχι;.

Εντάξει, μη δω κανένα Τιτανικό πάλι ή μη με παραπέμψετε σε άλλη σελίδα.

[Theo1903]

3 hours ago, DrKo said:

Not completely true. Τα τελευταία χρόνια (2-3) έχουν αρχίσει να βλέπουν νέα πράγματα, που στο "παραδοσιακό" ML δεν ισχύουν. Για παράδειγμα, το bias-variance δεν ισχύει για overparameterized NNs και το community που ασχολείται με αυτό το φαινόμενο είναι αρκετά νέο. Είχα την τύχη να είμαι πολύ κοντά σε αυτό το community (δηλαδή, είψα δει την πρώτη internal παρουσίαση όταν πρωτοσυζητιόταν το φαινόμενο) και είναι εντυπωσιακό το ότι εκείνη η παραδοσιακή εξίσωση με το classification και τον noise παράγοντα, που χρησιμοποιείται για το bias - variance, δεν ισχύει τελικά στα ΝΝs. 

Δηλαδή, στο σύγχρονο ML/AI community, υπάρχουν φορές όποιυ η στιβαρή μαθηματική απόδειξη έρχεται μετά την ανακάλυψη του learning algorithm και όχι πριν. 

Καλα ναι αυτό πλέον ισχύει..τα data φαίνεται να οδηγούν την εξέλιξη αντι για τους μαθηματικούς με τα μοντέλα τους.
Στο master ρωτάω καθηγητή που παραδίδει Deep Learning για τος πως καταλήγουν στα reset gates του GRU και η απάντηση είναι χαμόγελο και "γιατι δουλεύει"

[DrKo]

1 ώρα πριν, Theo1903 είπε

Καλα ναι αυτό πλέον ισχύει..τα data φαίνεται να οδηγούν την εξέλιξη αντι για τους μαθηματικούς με τα μοντέλα τους.
Στο master ρωτάω καθηγητή που παραδίδει Deep Learning για τος πως καταλήγουν στα reset gates του GRU και η απάντηση είναι χαμόγελο και "γιατι δουλεύει"

Ναι, αυτό δεν είναι αλήθεια. Θα σου πρότεινα να διαβάσεις το original paper των GRUs και μετά να δεις και να καταλάβεις πως δουλεύει ένα LSTM. Μετά, να δεις γιατί ασχολήθκαν με τα peeping holes και πώς, τελικά, το GRU κάνει κάτι παρόμοιο με peeping holes, προσπαθώντας να μεταβάλει τι μεταφέρεται στο επόμενο time-step. Δεν είναι "γιατί δουλεύει". 

Επεξ/σία 17 Μαρτίου 2022 από DrKo

[DrKo]

@Theo1903

Επειδή κόλλησα λίγο, εάν θες να εμβαθύνεις κι άλλο, μπορείς να δεις τα highway networks για το θέμα του gradient flow και τα maxout networks για το θέμα του πώς εφαρμόζεται το gate και το “convexivity”.

Δεν θυμάμαι για τα highway, αλλά τα maxout είναι από το ίδιο lab με τα GRUs. 

Δηλαδή, δεν είναι επειδή «απλά δουλεύει». Υπήρχε ένα κάρο prior knowledge σχετικά με τεχνικές και κάποιες ανάγκες. Έτσι προχωράει μπροστά η έρευνα, δεν είναι «απλά δουλεύει». 

[Theo1903]

Ναι οκ δεν έδωσα όλο το context. Προφανώς έγινε μια πρώτη συζήτηση για το gradient vanishing problem και την ανάγκη του fine-tune του memory κομματιού και έτσι προέκυψαν τα LSTM στην διάλεξη, αλλα θέλω να πώ οτι η ιδέα που έχω απο όλα αυτά είναι "είχαμε ένα πρόβλημα, ψιλοκαταλαβαίναμε γιατι εμφανιζόταν, οπότε πήραμε δεδομένα τρέξαμε την ιδέα μας και δουλεύει" (σε πολύ brute μορφή)

[DrKo]

4 ώρες πριν, Theo1903 είπε

Ναι οκ δεν έδωσα όλο το context. Προφανώς έγινε μια πρώτη συζήτηση για το gradient vanishing problem και την ανάγκη του fine-tune του memory κομματιού και έτσι προέκυψαν τα LSTM στην διάλεξη, αλλα θέλω να πώ οτι η ιδέα που έχω απο όλα αυτά είναι "είχαμε ένα πρόβλημα, ψιλοκαταλαβαίναμε γιατι εμφανιζόταν, οπότε πήραμε δεδομένα τρέξαμε την ιδέα μας και δουλεύει" (σε πολύ brute μορφή)

Καταλαβαίνω. Θα σου απαντήσω το συντομότερο, γιατί θαρρώ πως αξίζει να δεις γιατί δεν είναι ακριβώς έτσι. 

[DrKo]

20 ώρες πριν, Theo1903 είπε

είχαμε ένα πρόβλημα, ψιλοκαταλαβαίναμε γιατι εμφανιζόταν, οπότε πήραμε δεδομένα τρέξαμε την ιδέα μας και δουλεύει"

Αυτό είναι το σημείο που υπάρχει το πρόβλημα. Και υπάρχει πρόβλημα γιατί το σημείο αυτό ισχύει σε ένα ποσοστό δουλειών αλλά όχι σε όλες. Δηλαδή, μετά από κάθε μεγάλο boom, βγαίνουν αρκετές δουλειές που κάνουν ακριβώς αυτό που έγραψες. Για παράδειγμα, μετά το boom του attention mechanism, μετά το boom του denoising autoencoder, μετά το boom του variational autoencoder, μετά το boom του πρώτου GAN, μετά το boom του W-GAN, μετά μετά μετά.

Σε κάποια σημεία είναι πιο τεχνική η δουλειά, σε άλλα όχι. Για παράδειγμα, δεν είναι ανάγκη να γνωρίζεις κάποια βαρβάτη θεωρία για να εφαρμόσεις attention αλλά για να κάνεις optimal transport με shinkhorn και Wasserstein distances, πρέπει να καταλάβεις τι παίζει από πίσω. Όμως, ακόμα και στην τελευταία περίπτωση μπορείς να αντιγράψεις τις εξισώσεις από την βιβλιογραφία και απλά να κάνεις μία εφαρμογή αυτού που έγραψες και παρέθεσα παραπάνω.

Σαν αποτέλεσμα, είναι ότι έχει δημιουργηθεί (όχι λανθασμένα) μία εντύπωση πως η έρευνα στα DNNs και το σύγχρονο ML είναι λίγο σαν να παίζεις με Lego. Έτσι, υπάρχουν άνθρωποι σαν και εσένα που καταλαβαίνουν σε κάποιο βαθμό τι μπορεί να σκέφτηκε ο κάθε ερευνητής αλλά πιστεύουν πως είναι «τα βάλαμε και δούλεψε» και άνθρωποι σαν άλλους που γράψανε σε αυτό το thread, που δεν καταλαβαίνουν τίποτα (ούτε και πρόκειται) και νομίζουν πως η φάση είναι «δοκιμάζεις κάτι μόνο εάν έχεις ίδιο πρόβλημα με κάποιον άλλον, αλλιώς δεν παίζει και όλα αυτά είναι του διαβόλου, μόνο καλά δεδομένα θέλουμε, τι ML και ΑΙ μου λέτε, όλα είναι φούμαρα».

Ευτυχώς, η κοινότητα έχει αρχίσει να το χαμπαριάζει το παραπάνω πρόβλημα και πλέον κόβονται papers που είναι «ένα ακόμα DNN που τα βάλαμε κάπως και έπαιξε». Όμως!!!

Υπάρχουν αρκετές δουλειές που δεν ανήκουν στο πρόβλημα που εξηγώ παραπάνω και παρουσίασες και εσύ. Ο διαχωρισμός πολλές φορές είναι δύσκολος και συχνά χρειάζεται εμπειρία και σίγουρα θέλει γνώση της βιβλιογραφίας για να καταλάβει κανείς τι πραγματικά έχει γίνει.

Η δουλειά του K. Cho για παράδειγμα (που γίνεται ο λόγος τώρα), είναι μία από αυτές. Όπως και η επόμενη του D. Bahdanau, K. Cho, και Y. Bengio. Όπως και αρκετές άλλες, περισσότερο ή λιγότερο γνωστές.

tl;dr

Δεν έχεις άδικο ότι αρκετές δουλειές είναι έτσι, όμως η συγκεκριμένη δεν είναι. 

Επεξ/σία 18 Μαρτίου 2022 από DrKo

[vs_skg]

Στις 16/3/2022 στις 12:24 ΜΜ, masteripper είπε

Λόγια...λόγια και άλλα λόγια

Στο κομμάτι που τουλάχιστον με ενδιαφέρει εμένα απο αναγνώσεις άρθρων , μελετών κτλ ... κτλ το μόνο συμπέρασμα που βγαίνει είναι ότι η όλη υπόθεση με το ML - AI κτλ..(οπως θέλετε βαφτίστε το) είναι ότι είναι ελαφρώς υπερκτιμημένη...πολύ απλά αν τα δεδομένα ΔΕΝ...δεν υπάρχει αλγόριθμος που θα σου λύσει το πρόβλημα...ειδάλλως κάποιοι θα ήταν πολυεκατομμυριούχοι και φυσικά δεν θα ασχολούνταν με το να δίνουν συμβουλές σε forum.

Σε όλη την ιστορία με το ML απλώς ψάχνουμε να βρούμε ομοιότητες...μοτίβα κτλ...κτλ..κάποιοι αλγόριθμοι είναι απλώς πιο καλοί στον να προωθούν κάποια χαρακτηριστικά και φυσικά να υστερούν κάπου αλλού...ΑΝ όμως τα δεδομένα απλώς δεν ακολουθούν μια πεπατημένη του τύπου (κάπου καπως κάποτε αυτό που ψάχνω υπήρχε αυτούσιο) τότε ...όλα κουβά.

Θα σε στεναχωρησω τωρα, αλλα δεν πειραζει.

Αν δεν απατωμαι, εσυ εισαι που ειχες ανοιξει θεμα, "Αν κανω τον δυαδικο classifier μου να λεει το ασπρο μαυρο και το μαυρο ασπρο, θα πετυχω καλυτερη ακριβεια προβλεψεων;" 

Οταν εισαι σε τετοιο σταδιο (μη) κατανοησης της αναγνωρισης προτυπων (δεν μιλαμε καν για μηχανικη μαθηση), δεν το βρισκεις λιγο ατοπο να εκφερεις γνωμη για το επιστημονικο τοπιο του κλαδου;

Στις 16/3/2022 στις 10:31 ΜΜ, Lanike71 είπε

Παιδιά, αν έχετε τόσες γνώσεις, θα είχε ενδιαφέρον να δούμε πώς αντιμετωπίζετε ένα πρόβλημα που θέλει λύση με machine learning, βλέποντας τη διαδικασία από την αρχή ως το τέλος. Από το κατέβασμα δεδομένων, καθάρισμα δεδομένων, επεξεργασία, δημιουργία νέων μεταβλητών, επιλογή αλγορίθμου.  Ένα tutorial που θα γίνει sticky, γιατί όχι;.

Εντάξει, μη δω κανένα Τιτανικό πάλι ή μη με παραπέμψετε σε άλλη σελίδα.

Υπαρχουν τοσα πολλα resources που το να κατσεις να "ανακαλυψεις τον τροχο" με μονη διαφορα το να ειναι στην ελληνικη γλωσσα ειναι λιγο ...ματαιοδοξο να το πω; καταλαβαινεις τι εννοω. Ειδικα αφιλοκερδως, ισως ενα καναλι στο youtube να αξιζε τον κοπο για καποιον που εχει χρονο να διαθεσει.

Καταλαβαινω οτι μαλλον ειρωνικα το εκανες το ποστ, αλλα ειπα να το πω σε περιπτωση που το εννοεις.

[masteripper]

13 λεπτά πριν, vs_skg είπε

Θα σε στεναχωρησω τωρα, αλλα δεν πειραζει.

Αν δεν απατωμαι, εσυ εισαι που ειχες ανοιξει θεμα, "Αν κανω τον δυαδικο classifier μου να λεει το ασπρο μαυρο και το μαυρο ασπρο, θα πετυχω καλυτερη ακριβεια προβλεψεων;" 

Οταν εισαι σε τετοιο σταδιο (μη) κατανοησης της αναγνωρισης προτυπων (δεν μιλαμε καν για μηχανικη μαθηση), δεν το βρισκεις λιγο ατοπο να εκφερεις γνωμη για το επιστημονικο τοπιο του κλαδου;

Υπόψιν δεν ασχολούνται όλοι με τα πέταλα και τους επιβιώσαντες του Τιτανικού...έγραψα πιο πριν :

Στο κομμάτι που τουλάχιστον με ενδιαφέρει εμένα 

και εκεί δεν είδα ποτε και πουθενά (και απο καθηγητές και γνώστες με τον τόνο) κάτι περισσότερο απο ικανότητες πρόβλεψης σε επίπεδο αντιστοιχο της ρίξης κέρματος.

Θα ήταν άκρως ενδιαφέρον εαν ..λέω ΕΑΝ ο OP παρέθετε όλα τα στοιχεία της άσκησης να βλέπαμε εσάς τα σαινια τι θα πιάνατε....αν και κατα 99% θα μένατε σε ευχολόγια του τύπου ....μπλα...μπλα...μπλα

και όσον αφορά τη δημοσίευση που είχα κάνει καλώς ή κακώς σαν σκέψη θα ήταν λουκούμι αν όντως μπορούσα να βρω 1 σταθερό μοντέλο που όντως να αποτύγχανε...για σκέψου αν ψάχνεις το 0 και 1 και οι προβλέψεις σου βγάζουν π.χ 18% ακρίβεια πρόβλεψης...αντιστροφή και τσουπ 82%... εκεί θα μιλάγαμε για λεφτά...όχι τρίχες

όσον αφορά την άσκηση θα ήταν όπως προείπα ενδιαφερον όταν βγει η λύση να δούμε και την "φιλοσοφία" του καθηγητή...αν και θα κρατούσα μικρό καλάθι ...βλέπω κάτι σε Kobayashi Maru και να έχει κάνει ματσακονιές όπως έχω δει σε ανάλογη περίπτωση

Επεξ/σία 18 Μαρτίου 2022 από masteripper

[vs_skg]

3 λεπτά πριν, masteripper είπε

Υπόψιν δεν ασχολούνται όλοι με τα πέταλα και τους επιβιώσαντες του Τιτανικού...έγραψα πιο πριν :

Στο κομμάτι που τουλάχιστον με ενδιαφέρει εμένα 

και εκεί δεν είδα ποτε και πουθενά (και απο καθηγητές και γνώστες με τον τόνο) κάτι περισσότερο απο ικανότητες πρόβλεψης σε επίπεδο αντιστοιχο της ρίξης κέρματος.

Θα ήταν άκρως ενδιαφέρον εαν ..λέω ΕΑΝ ο OP παρέθετε όλα τα στοιχεία της άσκησης να βλέπαμε εσάς τα σαινια τι θα πιάνατε....αν και κατα 99% θα μένατε σε ευχολόγια του τύπου ....μπλα...μπλα...μπλα

και όσον αφορά τη δημοσίευση που είχα κάνει καλώς ή κακώς σαν σκέψη θα ήταν λουκούμι αν όντως μπορούσα να βρω 1 σταθερό μοντέλο που όντως να αποτύγχανε...για σκέψου αν ψάχνεις το 0 και 1 και οι προβλέψεις σου βγάζουν π.χ 18% ακρίβεια πρόβλεψης...αντιστροφή και τσουπ 82%... εκεί θα μιλάγαμε για λεφτά...όχι τρίχες

ενταξει, πεταει ο γαιδαρος.

[masteripper]

19 λεπτά πριν, vs_skg είπε

ενταξει, πεταει ο γαιδαρος.

οτι πεις προφεσορα

Επεξ/σία 18 Μαρτίου 2022 από masteripper

[DrKo]

33 λεπτά πριν, vs_skg είπε

ενταξει, πεταει ο γαιδαρος.

Απορώ γιατί ασχολείσαι; Φαίνεται σε τι φάση είναι ο άνθρωπος. Πιστεύεις ότι κατάλαβε τι του έγραψες;

Ειδικά αυτό με το «αντιστροφή», είναι διαμαντάκι! Πάει για Νόμπελ ο τύπος! 😂😂

[Theo1903]

12 hours ago, DrKo said:

Ευτυχώς, η κοινότητα έχει αρχίσει να το χαμπαριάζει το παραπάνω πρόβλημα και πλέον κόβονται papers που είναι «ένα ακόμα DNN που τα βάλαμε κάπως και έπαιξε». Όμως!!!

 

Κρατάω αυτό. Σίγουρα gross oversimplification αυτό που είπα αλλα είναι μια αίσθηση που γενικά έχω αποκτήσει του DL να είναι πιο "ρομαντική" επιστήμη. Τουλάχιστον αρκετά γύρω απο NLP, text classification/prediction που έχω διαβάσει μπόλικα.

Φαίνεται όμως πολύ σωστά οτι η κοινότητα θέλει να αυξήσει το reproducibility και το robustness των προτάσεων και υπάρχει ένα "ρεύμα" απο (ειδικά) 2019++ ... Ευχαριστώ για τη συζήτηση αν και πλατιάσαμε αρκετά στο αρχικό θέμα

Επεξ/σία 18 Μαρτίου 2022 από Theo1903

[vs_skg]

1 ώρα πριν, Theo1903 είπε

Φαίνεται όμως πολύ σωστά οτι η κοινότητα θέλει να αυξήσει το reproducibility

Εμ ναι, όχι 😝. Μακάρι να ταν έτσι και έχουν βελτιωθεί αισθητά τα πράγματα τα τελευταία χρόνια αλλά "βολεύει" πολύ κόσμο το reproducibility να είναι αυτό που (δεν) είναι. Ιδιαίτερα αισθητό πρόβλημα στο RL αλλά και αλλού. Σε πιο niche πράγματα πχ Federated Learning είναι ακόμα χειρότερα. Το καλύτερο που θα πάρεις (συνήθως) είναι 5 trials με error bar δηλαδή point estimate μιας κατανομής. Και ένα repo χωρίς support. Τουλάχιστον στο MICCAI που ξεκίνησα πρόσφατα να ασχολούμαι παίζει explicit ρόλο το apparent reproducibility ήδη στο review stage. Πρόσεξε, apparent δηλαδή πάλι ο reviewer λέει looks ok, δεν είναι υποχρεωμένος να κάτσει να τρέξει το repo.