LSTM-RNN κώδικας

[pi314]

.

Επεξ/σία 20 Ιανουαρίου 2022 από pi314

[masteripper]

Αν δεν έχει ακριβώς περίπου τα ίδια data δεν μπορείς να εξάγεις συμπεράσματα.

Υποθέτω ότι τα συγκεκριμένα data είτε κατα τύχη ή για λόγους επίδειξης έχουν συγκεκριμένη "μορφή" που τους επιτρέπει την σωστή κατηγοριοποίηση.

Οπότε μην τα συγκρίνεις με τα δικά σου αν πρώτα δεν έχει ξεκαθαρίσει ότι το παράδειγμα στο Machinelearningmastery έχει την απόδοση που απεικονίζεται.

[DrKo]

8 ώρες πριν, pi314 είπε

Καλημέρα! Έχω δοκιμάσει πολλούς κώδικες RNN-LSTM για να δω λίγο πως δουλεύουν τα LSTM-RNN δίκτυα σε time-series forecasting. Κανένας από όσους δοκίμασα δεν είχαν την ακρίβεια αυτού εδώ: https://machinelearningmastery.com/time-series-prediction-lstm-recurrent-neural-networks-python-keras Βλέπετε τπτ περίεργο στον κώδικα που έχει στο κομμάτι του κώδικα: "LSTM Network for Regression". Πώς γίνεται να πετυχαίνω τόσο μικρό loss (μιλάμε για εξαιρετική ακρίβεια....) ??

Πρώτον, ο κώδικας για ένα LSTM είναι η υλοποίησα των εξισώσεων που περιγράφουν ένα LSTM. Εσύ αναφέρεσαι εδώ σε κάτι άλλο.

Δεύτερο, τι ακριβώς εννοείς ακρίβεια; Πώς είναι μετρημένη;

Τρίτο, το post που παρέθεσες είναι ένα πολύ καλό παράδειγμα γιατί κανείς πρέπει να διαβάσει και να καταλάβει την θεωρία πριν αρχίσει να υλοποιεί μοντέλα. Ο κώδικας στο post έχει ένα από τα βασικότερα και σημαντικά λάθη data leakage. 

Βάση του data leakage, είναι πάρα πολύ πιθανό να βλέπεις καλή απόδοση στο πρόβλημά σου. 

Το μοντέλο με το LSTM είναι πάρα πολύ απλό.

Επεξ/σία 17 Ιανουαρίου 2022 από DrKo

[masteripper]

1 ώρα πριν, DrKo είπε

Πρώτον, ο κώδικας για ένα LSTM είναι η υλοποίησα των εξισώσεων που περιγράφουν ένα LSTM. Εσύ αναφέρεσαι εδώ σε κάτι άλλο.

Δεύτερο, τι ακριβώς εννοείς ακρίβεια; Πώς είναι μετρημένη;

Τρίτο, το post που παρέθεσες είναι ένα πολύ καλό παράδειγμα γιατί κανείς πρέπει να διαβάσει και να καταλάβει την θεωρία πριν αρχίσει να υλοποιεί μοντέλα. Ο κώδικας στο post έχει ένα από τα βασικότερα και σημαντικά λάθη data leakage. 

Βάση του data leakage, είναι πάρα πολύ πιθανό να βλέπεις καλή απόδοση στο πρόβλημά σου. 

Το μοντέλο με το LSTM είναι πάρα πολύ απλό.

Έχεις να δώσεις κάτι καλύτερο ή απλως να έχουμε να λέμε.

Το machine learning mastery είναι απο τα πλεον γνωστά site στο Machine Learning με ολοκληρωμένα "λειτουργικά" παραδείγματα και ο ιδιοκτήτης του με βάση  το Phd του και την συγγραφική του δραστηριότητα είναι πλέον του δέοντος έγκυρος.

[DrKo]

8 λεπτά πριν, masteripper είπε

Έχεις να δώσεις κάτι καλύτερο ή απλως να έχουμε να λέμε.

Το machine learning mastery είναι απο τα πλεον γνωστά site στο Machine Learning με ολοκληρωμένα "λειτουργικά" παραδείγματα και ο ιδιοκτήτης του με βάση  το Phd του και την συγγραφική του δραστηριότητα είναι πλέον του δέοντος έγκυρος.

Ο κώδικας έχει ένα από τα βασικότερα data leakage λάθη, τόσο βασικό που κατά 99% όσοι ξέρουν θα "κόψουν" τον άνθρωπο που έγραψε τον κώδικα από ό,τι κάνει apply. 

Από τον τρόπο που απαντάς, δεν υπάρχει λόγος να δώσω σε εσένα κάτι καλύτερο. Είτε δεν μπορείς να καταλάβεις τι δεν γνωρίζεις, οπότε δεν υπάρχει λόγος να πω κάτι, είτε καταλαβαίνεις τι δεν γνωρίζεις αλλά δεν μπορείς να δεις κάτι τόσο απλό, οπότε δεν υπάρχει λόγος να πω κάτι.

Μπορείς να πορευθείς με τα τυπικά προσόντα κάθε τυχαίου που ανεβάζει κάτι κάπου. Εάν αυτό σου κάνει, δεν μου πέφτει κανένας λόγος.

[masteripper]

Μόλις τώρα, DrKo είπε

Ο κώδικας έχει ένα από τα βασικότερα data leakage λάθη, τόσο βασικό που κατά 99% όσοι ξέρουν θα "κόψουν" τον άνθρωπο που έγραψε τον κώδικα από ό,τι κάνει apply. 

Από τον τρόπο που απαντάς, δεν υπάρχει λόγος να δώσω σε εσένα κάτι καλύτερο. Είτε δεν μπορείς να καταλάβεις τι δεν γνωρίζεις, οπότε δεν υπάρχει λόγος να πω κάτι, είτε καταλαβαίνεις τι δεν γνωρίζεις αλλά δεν μπορείς να δεις κάτι τόσο απλό, οπότε δεν υπάρχει λόγος να πω κάτι.

Μπορείς να πορευθείς με τα τυπικά προσόντα κάθε τυχαίου που ανεβάζει κάτι κάπου. Εάν αυτό σου κάνει, δεν μου πέφτει κανένας λόγος.

Μία απο τις κλασσικές απαντήσεις σου..... όταν κάποια στιγμή παρουσιάσεις κάτι έλα να το συζητήσουμε....

[DrKo]

Μόλις τώρα, masteripper είπε

Μία απο τις κλασσικές απαντήσεις σου..... όταν κάποια στιγμή παρουσιάσεις κάτι έλα να το συζητήσουμε....

Κάνεις ένα μικρό λάθος. Είναι μία από τις κλασικές απαντήσεις μου **σε εσένα**, δεν έχω να παρουσιάσω κάτι σε κανέναν, και δεν έχω καμία κάψα να συζητήσω κάτι με εσένα.

Οπότε, μία φιλική συμβουλή θα ήταν να μην περιμένεις κάτι. 

[masteripper]

Λόγια ...λόγια...και άλλα λόγια...αλλά ουσία 1 μεγάλο στρογγυλό μηδέν 0.

Εγω δεν χρειάζομαι κάτι ειδικά απο εσένα αλλά καλό θα ήταν όταν το παίζεις έξυπνος και γνώστης να δίνεις και κάποια "ψήγματα" σοφίας...έτσι για να μην γίνεσαι εν τέλει γραφικός.

 

Επεξ/σία 17 Ιανουαρίου 2022 από masteripper

[DrKo]

@pi314

Sorry για το spam. Εάν θες κάτι παραπάνω για τον κώδικα, please feel free να μου στείλεις προσωπικό μήνυμα. 

[pi314]

.

Επεξ/σία 20 Ιανουαρίου 2022 από pi314

[DrKo]

Μόλις τώρα, pi314 είπε

Τί προβλήματα βλέπετε στον κώδικα? Αν βλέπετε κάτι...Χρησιμοποίησα dataset .csv με 2  στήλες (date, επισκέπτες σε site). Στις loss functions η train loss ξεκινάει από 0.008 και η validation loss ακόμα πιο κάτω...κάτι γίνεται εδώ!!!

Αυτό που αναφέρεις είναι λίγο διαφορετικό, αλλά βάσει του leakage που υπάρχει θα έλεγα πως είναι δυνατόν να οφείλεται **και** στο leakage. 

[pi314]

.

Επεξ/σία 20 Ιανουαρίου 2022 από pi314

[DrKo]

3 λεπτά πριν, pi314 είπε

Σε τι άλλο μπορεί να οφείλεται το τόσο χαμηλό loss?

Δεν μπορώ να γνωρίζω πριν δω τα δεδομένα που έχεις αλλά και το ακριβές μοντέλο που χρησιμοποιείς. Το σημαντικό όμως, είναι να καταλάβεις ποιο είναι το βασικό λάθος στον κώδικα του blog που παρέθεσες. 

[pi314]

.

Επεξ/σία 20 Ιανουαρίου 2022 από pi314

[DrKo]

2 λεπτά πριν, pi314 είπε

Copy-paste τον κώδικα στο παραπάνω λινκ, στην παραγραφο: Long Short-Term Memory Network, τον 1ο πάνω πάνω. Τον έχει ολοκληρωμένο! Με το dataset = (date, επισκέπτες σε site).

Βλέποντας το λίγο παραπάνω, υπάρχουν πολλά λάθη. Καλύτερα άσε αυτόν τον κώδικα και πιάσε κάποιο άλλο παράδειγμα για να εξασκηθείς. 

Έχει λάθη όπως αυτό που σου έγραψα αλλά και λάθη στο πως χρησιμοποιεί το RNN. Επίσης, έχει λάθη και στο πως χρησιμοποιεί τα δεδομένα. Γενικά, άσε αυτό το παράδειγμα και πιάσε ένα άλλο. 

Από ένα πολύ-πολύ γρήγορο search, αυτό το παράδειγμα φαίνεται πολύ πιο σωστό

https://towardsdatascience.com/temporal-loops-intro-to-recurrent-neural-networks-for-time-series-forecasting-in-python-b0398963dc1f