Αξιόπιστη μακροχρόνια αποθήκευση δεδομένων

[billyg599]

Καλησπέρα παιδιά,
Λοιπόν νομίζω οτι ονομάζεται silent corruption αυτό που θα αναφέρω αλλά δεν είμαι σίγουρος. Δηλαδή είδα προχτές 2-3 παλίες φωτογραφίες οι οποίες είχαν μέγεθος 0. Αυτό θα είχε συμβεί πρίν πολύ καιρό γιατί όταν είδα τα backup μου πρίν ένα χρόνο τα αρχεία ήταν πάλι τα ίδια με 0 μέγεθος. Αντίστοιχο πρόβλημα πριν 2-3 χρόνια και με ένα παλιό tar.gz αρχείο το οποίο δεν άνοιγε. Ακόμα και άν κρατάω τα δεδομένα backup για χρόνια είναι πιθανό κάτι να γίνει corrupt, να μήν διορθωθεί αυτόματα απο τον δίσκο, και να μην το καταλάβω ποτέ. Ακόμα και αν αλλάζεις δίσκους με καινούργιους το πρόβλημα συνεχίζεται.

Καταρχήν ήθελα να ρωτήσω αν το πρόβλημα που αντιμετωπίζω λέγεται όντως silent corruption για να ξέρω τι να ψάχνω.

Δεύτερον ήθελα να μου πείτε βασικές ιδέες/κατευθύνσεις για την μακροπρόθεση λύση του. Υποθέτω υπάρχουν πολλά εργαλεία και λύσεις αλλά γνωρίζω μόνο μερικά. Το setup μου δεν το αναφέρω λεπτομερώς γιατι νομίζω το πρόβλημα είναι γενικό.

Ευχαριστώ

[Sheogorath]

Καλησπέρα παιδιά,

Λοιπόν νομίζω οτι ονομάζεται silent corruption αυτό που θα αναφέρω αλλά δεν είμαι σίγουρος. Δηλαδή είδα προχτές 2-3 παλίες φωτογραφίες οι οποίες είχαν μέγεθος 0. Αυτό θα είχε συμβεί πρίν πολύ καιρό γιατί όταν είδα τα backup μου πρίν ένα χρόνο τα αρχεία ήταν πάλι τα ίδια με 0 μέγεθος. Αντίστοιχο πρόβλημα πριν 2-3 χρόνια και με ένα παλιό tar.gz αρχείο το οποίο δεν άνοιγε. Ακόμα και άν κρατάω τα δεδομένα backup για χρόνια είναι πιθανό κάτι να γίνει corrupt, να μήν διορθωθεί αυτόματα απο τον δίσκο, και να μην το καταλάβω ποτέ. Ακόμα και αν αλλάζεις δίσκους με καινούργιους το πρόβλημα συνεχίζεται.

 

Καταρχήν ήθελα να ρωτήσω αν το πρόβλημα που αντιμετωπίζω λέγεται όντως silent corruption για να ξέρω τι να ψάχνω.

 

Δεύτερον ήθελα να μου πείτε βασικές ιδέες/κατευθύνσεις για την μακροπρόθεση λύση του. Υποθέτω υπάρχουν πολλά εργαλεία και λύσεις αλλά γνωρίζω μόνο μερικά. Το setup μου δεν το αναφέρω λεπτομερώς γιατι νομίζω το πρόβλημα είναι γενικό.

 

Ευχαριστώ

Καλησπέρα.

Κάτι σε raid 1 ή raid 5-6 θα έλεγα. Για κάτι τρελό θα πρότεινα RAID 2 με κώδικα hamming, αλλά δύσκολα να δικαιολογηθεί το κόστος. Αν μπορείς και σε cloud storage, θα είσαι σίγουρα καλυμένος.

 

Η πιο φθηνή λύση είναι το γράψιμο σε CD/DVD και η προσεκτική αποθήκευσή τους.

[Καϊάφας]

Καλησπέρα παιδιά,

Λοιπόν νομίζω οτι ονομάζεται silent corruption αυτό που θα αναφέρω αλλά δεν είμαι σίγουρος. Δηλαδή είδα προχτές 2-3 παλίες φωτογραφίες οι οποίες είχαν μέγεθος 0. Αυτό θα είχε συμβεί πρίν πολύ καιρό γιατί όταν είδα τα backup μου πρίν ένα χρόνο τα αρχεία ήταν πάλι τα ίδια με 0 μέγεθος. Αντίστοιχο πρόβλημα πριν 2-3 χρόνια και με ένα παλιό tar.gz αρχείο το οποίο δεν άνοιγε. Ακόμα και άν κρατάω τα δεδομένα backup για χρόνια είναι πιθανό κάτι να γίνει corrupt, να μήν διορθωθεί αυτόματα απο τον δίσκο, και να μην το καταλάβω ποτέ. Ακόμα και αν αλλάζεις δίσκους με καινούργιους το πρόβλημα συνεχίζεται.

 

Καταρχήν ήθελα να ρωτήσω αν το πρόβλημα που αντιμετωπίζω λέγεται όντως silent corruption για να ξέρω τι να ψάχνω.

 

Δεύτερον ήθελα να μου πείτε βασικές ιδέες/κατευθύνσεις για την μακροπρόθεση λύση του. Υποθέτω υπάρχουν πολλά εργαλεία και λύσεις αλλά γνωρίζω μόνο μερικά. Το setup μου δεν το αναφέρω λεπτομερώς γιατι νομίζω το πρόβλημα είναι γενικό.

 

Ευχαριστώ

 

Όχι δεν είναι silent data corruption το οποιο ονομαζεται Bit Rot και δεν σε αφορα, ηταν data corruption και συνεβει καποια στιγμη στο παρελθόν απο διαφορες αιτιες, ένα chkdsk στον δίσκο που έκανες μηδένισε το αρχείο και έχασες τα δεδομένα σου. 

 

Λυσεις υπαρχουν πολλες, απο τεχνολογιες redudancy μεσω Par/Par2, https://multipar.eu/  Winrar redundancy εως προχωρημενα filesystems σε ZFS και ReFS. Θα σου προτεινα να φτιαχνεις παντα ενα σετ 10% redudancy των backup σου με ενα προγραμμα Par για Long term storage χρηση, για κατι ευκολο,πρακτικο και φτηνο. Τα προχωρημενα filesystems οπως το ZFS ειναι το απολυτά εργαλεια αλλα απαιτουν πολλα απο τον χρηστη σε κοστος και ωρες εκμαθησης αλλα και δυσκολιας χρησης.

 

Τεχνολογιες RAID δεν θα σε σωσουν απο το θεμα data corruption και bitrot μιας και ειναι απαρχαιωμενες πλεον απο τα νεα autohealing και data resilient συστηματα αρχειων του μελλοντος οπως το ZFS και ReFS.

[billyg599]

Καλησπέρα,

Κατ' αρχήν ευχαριστώ Sheogorath και Καϊάφας.

 

Απο τότε που μου στείλατε τις απαντήσεις δοκίμασα λίγο το ZFS σε Linux το οποίο φαίνεται όντως πολύ ενδιαφέρον. Είναι όμως λίγο υπερβολικό γιατι δεν έχω πλέον NAS στο σπίτι. Πάντως θα συνεχίσω τον πειραματισμό γιατι έχω πρόσβαση σε ενα μηχάνημα που δουλεύει 24/7 εκτός σπιτιού. 

 

Επίσης είδα και το par2 το οποίο όμως φαίνεται να είναι πολυ καλό για στατικά δεδομένα: Aν έχεις δηλαδή ένα φάκελο με δεδομένα που δεν τον πειράζεις, τοτε μπορείς να παράγεις τα checksum μια φορά και είσαι οκ. Υποθέτω οτι εδώ είναι που είναι χρήσιμο το ZFS για ive δεδομένα.

 

Το συμπέρασμά μου λοιπόν για το πρόβλημα που ανέφερα είναι ένας συνδυασμός των λύσεων που προτείνατε: Δηλαδή να κρατάς κάποια snapshots των δεδομένων σου με "χαμηλής τεχνολογίας" λύσεις. Δηλαδή αντίγραφα σε διαφορους σκληρούς δίσκους (DVD δεν είναι πλέον πρακτικα νομίζω). Επίσης για τα πιο κρίσιμα δεδομένα να πάρεις και par2 checksums.

[FarCry]

blu ray rewritable 50GB και καθαρισες

Καλησπέρα παιδιά,
Λοιπόν νομίζω οτι ονομάζεται silent corruption αυτό που θα αναφέρω αλλά δεν είμαι σίγουρος. Δηλαδή είδα προχτές 2-3 παλίες φωτογραφίες οι οποίες είχαν μέγεθος 0. Αυτό θα είχε συμβεί πρίν πολύ καιρό γιατί όταν είδα τα backup μου πρίν ένα χρόνο τα αρχεία ήταν πάλι τα ίδια με 0 μέγεθος. Αντίστοιχο πρόβλημα πριν 2-3 χρόνια και με ένα παλιό tar.gz αρχείο το οποίο δεν άνοιγε. Ακόμα και άν κρατάω τα δεδομένα backup για χρόνια είναι πιθανό κάτι να γίνει corrupt, να μήν διορθωθεί αυτόματα απο τον δίσκο, και να μην το καταλάβω ποτέ. Ακόμα και αν αλλάζεις δίσκους με καινούργιους το πρόβλημα συνεχίζεται.

Καταρχήν ήθελα να ρωτήσω αν το πρόβλημα που αντιμετωπίζω λέγεται όντως silent corruption για να ξέρω τι να ψάχνω.

Δεύτερον ήθελα να μου πείτε βασικές ιδέες/κατευθύνσεις για την μακροπρόθεση λύση του. Υποθέτω υπάρχουν πολλά εργαλεία και λύσεις αλλά γνωρίζω μόνο μερικά. Το setup μου δεν το αναφέρω λεπτομερώς γιατι νομίζω το πρόβλημα είναι γενικό.

Ευχαριστώ

 

 

επισης οταν κρατας backup κανεις disk refresh για ανανεωση του μαγνητικου σηματος τουλαχιστον ανα 3 μηνες.

http://www.puransoftware.com/DiskFresh.html

αυτο τι κανει? διαβαζει, σβηνει και ξαναγραφει τα δεδομενα στην ιδια θεση. οποτε εντοπιζει οτι προβλημα υπαρχει και δεν εχεις απωλεια δεδομενων. (bad sectors,. relocation, spare area, κλπ)

 

τα data corruption thresholds ειναι 1 λαθος στα 12.5 TBW εκτος και ειναι RED οποτε παει στα 125TBW

 

ευκολα μπορεις να το πιασεις οταν ο δισκος σου ειναι 1TB.

 

οποτε μπορεις να αγορασεις εναν RED που ειναι στα 125TBW και με ενα disk refresh καθε λιγο και λιγακι δεν νομιζω να εχεις θεμα

για κρισιμα δεδομενα πηγαινεις ΜΟΝΟ σε blu ray rewritable storage

ή σε cloud storage, (amazon, microsoft, google). σοβαρες εταιρειες που εχουν πολλαπλα backup faclities σε διαφορα μερη του κοσμου.

 

οχι σε καμια εταιρεια γτπ