AMD EPYC/Threadripper - ZEN 2 Architecture

[greg4]

Στις 8/4/2020 στις 6:17 ΜΜ, malakudi είπε

Όλοι οι 7ΧΧ1 Epyc είναι Zen, οι 7ΧΧ2 είναι Zen 2. Ο 7351p παίζει στα 2900 all core οπότε είναι χειρότερος από τον 7371 ενώ ο 7451 είναι 24 core με  2900 all core και είναι καλύτερος από τον 7371 κατά 20% περίπου αν μπορείς να κάνεις saturate και τα 24 cores. Αν χρειάζεσαι πιο γρήγορο single task σε κάποια threads όμως, ο 7371 που ανεβαίνει ως 3600 θα είναι 25% πιο γρήγορος. Προσωπικά έχω καταλήξει πως με βολεύει καλύτερα ο 7371.

Zen 2 EPYC  δεν έχω δει ακόμα κάπου σε online hosting

Τελικά πήγα με τον 7371. Ανάμικτα συναισθήματα. Φαίνεται να ανεβάζει πιο πολύ usage σε συγκεκριμένα nodes και γενικά τα 12/32 μόνο. Πριν στον intel φαίνοταν να χρησιμοποιεί και τα 24 ο οποίος έτρεχε στα 2.4. Αν και πριν ήταν 2 cpu με 12 cores. Πολλά threads μάλιστα είναι parked στον epyc

Και δεν βρίσκω γιατί, οι ρυθμίσεις όλες είναι ακριβώς ίδιες στον sql. Μήπως χρειάζεται κάτι έξτρα ο epyc με κάποιο πρόγραμμα από amd για να ξυπνήσουν τα άλλα threads?

[malakudi]

Δυστυχώς δεν έχω δουλέψει με Windows Server, μόνο Linux.

[mutexlock]

2 ώρες πριν, greg4 είπε

Τελικά πήγα με τον 7371. Ανάμικτα συναισθήματα. Φαίνεται να ανεβάζει πιο πολύ usage σε συγκεκριμένα nodes και γενικά τα 12/32 μόνο. Πριν στον intel φαίνοταν να χρησιμοποιεί και τα 24 ο οποίος έτρεχε στα 2.4. Αν και πριν ήταν 2 cpu με 12 cores. Πολλά threads μάλιστα είναι parked στον epyc

Και δεν βρίσκω γιατί, οι ρυθμίσεις όλες είναι ακριβώς ίδιες στον sql. Μήπως χρειάζεται κάτι έξτρα ο epyc με κάποιο πρόγραμμα από amd για να ξυπνήσουν τα άλλα threads?

Θα σου πρότεινα να αλλάξεις λειτουργικό σε κάποιο Linux. Αν δεν γίνεται ψάξε να βρεις να ρυθμίσεις τα NUMA pinning/Interleaving στον sql server ή ότι άλλο έχεις.

[greg4]

Να αλλάξω λειτουργικό λίγο δύσκολο... Έχουν γραφτεί χιλιάδες γραμμές κώδικα σε IIS

Θα ψάξω αυτό για το NUMA pinnin /interleaving. Ms sql server 2008 r2 έχω.

[mutexlock]

8 ώρες πριν, greg4 είπε

Να αλλάξω λειτουργικό λίγο δύσκολο... Έχουν γραφτεί χιλιάδες γραμμές κώδικα σε IIS

Θα ψάξω αυτό για το NUMA pinnin /interleaving. Ms sql server 2008 r2 έχω.

Αν το πρόβλημα είναι η ASP.NET τότε ίσως μπορέσεις να κάνεις το άλμα τον οκτώμβρη με την .NET 5.

[Επισκέπτης]

Αλητεία ο derbauer, χρησιμοποιεί έναν (χαλασμένο) 9900Κ για να βγάλει την κόλλα από τον delided 3960X (στο 9:32)..

 

Επεξ/σία 21 Ιουνίου 2020 από Επισκέπτης

[Lfc]

Τεράστιο άλμα για την AMD συγκριτικά με την προηγούμενη γενιά και όχι μόνο, σε πάρα πολλούς τομείς. Δεν θα εστιάσω τόσο σε benchmarks, όποιος θέλει μπορεί να κοιτάξει online (βλ. phoronix) και να διαπιστώσει μόνος του για το πόσο καλά αποδίδουν αυτής της γενιάς οι επεξεργαστές.

 

Ο κύριος λόγος που πήρα την απόφαση να μεταβώ απο τον 2990wx στον 3970x (κατά τη γνώμη μου είναι και το μεγαλύτερο upgrade), είναι η κατάργηση της ιδιόρρυθμης numa αρχιτεκτονικής που είχε ο προκάτοχός του ( 4 numa nodes / 2 CCX per node / 4cores per CCX – 2 nodes with dual channel memory each – 2 nodes with no memory channel at all). Η παραπάνω αρχιτεκτονική είχε σαν αποτελέσμα να παρατηρώ inconsistent performance σε διάφορα workloads ( οχι cpu bound ) λόγω του memory latency και πολλές φορές να βλέπω ακόμη και τον 1700 να αποδίδει καλύτερα! Το πιο οφθαλμοφανές παράδειγμα για την περιπτωσή μου ηταν στο Virtualization. Ενώ στον 1700 το nested virtualization έτρεχε χωρίς προβλήματα, με τα ίδια vms στον 2990wx παρατηρούσα μεγάλο steal time (η vcpu περιμένει την κανονική cpu να εξυπηρετήσει άλλες vcpus). Ακόμη και μετά από πάρα πολλές ώρες optimization είτε σε επίπεδο λειτουργικού, VM είτε bios ( memory interleaving, memory affinity , numactl, cpu pinning κτλ. ) δεν κατάφερνα να δω τα επιθυμητά αποτελέσματα. Εν τέλει, ο μόνος τρόπος για να βελτιώσω το performance ηταν να απενεργοποιήσω το SMT, που ήταν απογοητευτικό. Το προηγούμενο πρόβλημα δεν εμφανίζεται μονο στο virtualization αλλά και σε όλων των ειδών multicore workloads τα οποία είναι sensitive στο memory latency.

Συνοψίζοντας, καταλήγω στο γεγονός οτι ο 2990wx είναι ένας πάρα πολύ ισχυρός επεξεργαστής που όμως δείχνει την πραγματική του ισχύ μόνο σε cpu bound workloads (content creation, video editing κτλ.). Όσοι τρέχουν τέτοιου είδους εφαρμογές και θέλουν να αναβαθμιστούν σε 3rd Gen Threadripper θεωρητικά δεν πρόκειται να δουν πάνω από 10-15% στην αποδόση (τόσο είναι και το IPC gain μεταξύ 2ης και 3ης γενιας).

Ωστόσο, με την νέα γενιά threadripper όλες αυτές οι ιδιαιτερότητες ανήκουν στο παρελθόν. Εκτός των πολλών νέων χαρακτηριστικών που βελτιώνουν την απόδοση είτε σε single είτε σε multicore, όλοι οι πυρήνες φαίνονται στο λειτουργικό σύστημα, σαν ενα ενοποιήμενο group ( UMA ) ίσων αποστάσεων μεταξύ αυτών και των ελλεκτών μνήμης. Με την αρχιτεκτονική αυτή επιτυγχάνεται consistent performance κατα μήκος όλων των πυρήνων, για κάθε τύπο workload και μάλιστα out of the box χωρίς επιπλέον παραμετροποίηση. Με απλά λόγια, πραγματική ισχύς 32 cores/64 threads χωρίς ψιλά γράμματα.

Όσον αφορά τη περίπτωση μου, πλέον με τον 3970x εκτός του ότι το steal time είναι πάντα στο 0 σε όλα τα virtualized workloads που έχω τρέξει, παρατηρώ επίσης τεράστια βελτίωση στους χρόνους των vm deployments, kernel compilation, spark jobs και gromacs που φτάνει μέχρι και 70%!

Σχετικά με την θερμική/ενεργειακή απόδοση πάλι η AMD κάνει μαγικά. Όχι, τα 280W που έχει σαν TDP (σημειωτέον στο all core boost) δεν είναι πολλά, αντιθέτως. Έχει τον υψηλότερο λόγο performance/watt, watt/core, watt/thread στην αγορά ( βλ. anandtech, phoronix ) . Είναι 32 cores και αν αναλογιστεί κανείς ότι ειναι σχεδόν 2 φορές ο 3950x με μεγαλύτερο base clock κατά 200 MHZ και 40 επιπλέον pcie4 lanes το TDP φαίνεται μικρό. Σχετικά με τις θερμοκρασίες, παρατηρώ 35 idle, 40 average, 69 max under stress test με 560mm Ψυγείο, NFA14 3000 fans, και ek-velocity waterblock. Σημαντικό να αναφερθεί ότι οι θερμοκρασίες είναι πραγματικές και δεν υπάρχει το offset που υπήρχε στους παλιούς threadripper (27C). Τα παραπάνω νούμερα αφορούν μονο stock settings. Όποιος προσπαθήσει να κάνει οverclock ανεβάζοντας το ρεύμα θα συνειδητοποιήσει πως τo performance gain είναι τελείως δυσανάλογο από την κατανάλωση ρεύματος και τις θερμοκρασίες που πραγματικά εκτοξεύονται στα ύψη. Επίσης το overclocking στους threadripper δεν καλύπτεται από την εγγύηση της AMD.

Η AMD αυτή τη στιγμή υποστηρίζει πως έχει τον πιο ισχυρό desktop επεξεργαστή που έχει κατασκευαστεί ποτέ. Τα νούμερα δείχνουν ότι λέει την αλήθεια(βλ. guru3d, anandtech, phoronix, techspot κτλ. ). Μοναδική εξαίρεση που υπερτερεί κατά κράτος η Intel είναι σε επιστημονικές εφαρμογές που κάνουν εκτεταμένη χρηση του AVX-512 για πολλαπλασιασμό μητρώων. Να αναφερώ, οτι ο συγκεκριμένος επεργαστής σε πάρα πολλά multithreaded workloads αποδίδει ίδια ή και καλύτερα από multisocket συστήματα των 40000€ ( βλ. Passmark, openbenchmarking.org κτλ. ). Είναι τεράστιο επίτευγμα το να μπορέι πλέον ο καθένας να τρέχει/δοκιμάζει διαφόρων ειδών workloads στο σπίτι του, που στο παρελθόν για να μπορούσε θα έπρεπε είτε να μπαίνει σε αναμονή σε ερευνητικά ιδρύματα είτε να πληρώνει υπέρογκα ποσά για να έχει πρόσβαση στο high performance computing.

 

Η παραπάνω εμπειρία χρήσης του 3970x αποτελεί αξιολόγηση του επεξεργαστή στο skroutz. Επειδή την βρήκα εξαιρετικά ενδιαφέρουσα την παραθέτω αυτολεξεί

Lfc

Επεξ/σία 26 Ιουνίου 2020 από Lfc

[narta]

7 ώρες πριν, Lfc είπε

Συνοψίζοντας, καταλήγω στο γεγονός οτι ο 2990wx είναι ένας πάρα πολύ ισχυρός επεξεργαστής που όμως δείχνει την πραγματική του ισχύ μόνο σε cpu bound workloads (content creation, video editing κτλ.). Όσοι τρέχουν τέτοιου είδους εφαρμογές και θέλουν να αναβαθμιστούν σε 3rd Gen Threadripper θεωρητικά δεν πρόκειται να δουν πάνω από 10-15% στην αποδόση (τόσο είναι και το IPC gain μεταξύ 2ης και 3ης γενιας).

LOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOL

 

Αμα εχει δοκιμασει αυτος διαφορες 2990wx και 3960x σε video editing εγω ειμαι καμπουρογαμοσαυρος με φτερα και 3 ματια.

[Lfc]

48 λεπτά πριν, narta είπε

LOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOL

Αμα εχει δοκιμασει αυτος διαφορες 2990wx και 3960x σε video editing εγω ειμαι καμπουρογαμοσαυρος με φτερα και 3 ματια.

Ώπα! 🤣

Μου άρεσε πολύ η τελευταία παράγραφος που παρουσίασε την AMD σύγχρονο Προμηθέα.

Αυτό:Να αναφερώ, οτι ο συγκεκριμένος επεργαστής σε πάρα πολλά multithreaded workloads αποδίδει ίδια ή και καλύτερα από multisocket συστήματα των 40000€ ( βλ. Passmark, openbenchmarking.org κτλ. ). Είναι τεράστιο επίτευγμα το να μπορέι πλέον ο καθένας να τρέχει/δοκιμάζει διαφόρων ειδών workloads στο σπίτι του, που στο παρελθόν για να μπορούσε θα έπρεπε είτε να μπαίνει σε αναμονή σε ερευνητικά ιδρύματα είτε να πληρώνει υπέρογκα ποσά για να έχει πρόσβαση στο high performance computing.

ΥΓ 3970x και όχι 3960x που λέει ο φίλος μας ο nartas  πάνω στα ντουζένια.

Επεξ/σία 26 Ιουνίου 2020 από Lfc

[narta]

Αν θες να δοκιμασεις κατι υπαρχει το cloud computing που ειναι εξαιρετικα πιο φθηνος απο ενα συστημα minimum κοστος 5000€. 

 

Υ.Γ. Σε content creation/video editing o 3960x τα παει ελαφρως καλυτερα.

[adtakhs]

Spotted: Ryzen Threadripper PRO 3995WX Processor with 8-channel DDR4

 

https://www.guru3d.com/news-story/spotted-ryzen-threadripper-pro-3995wx-processor-with-8-channel-ddr4.html

[malakudi]

1 ώρα πριν, adtakhs είπε

Spotted: Ryzen Threadripper PRO 3995WX Processor with 8-channel DDR4

https://www.guru3d.com/news-story/spotted-ryzen-threadripper-pro-3995wx-processor-with-8-channel-ddr4.html

Αυτό σημαίνει και νέο socket; Ή το TRX40 είχε ήδη δυνατότητα για 8 channel και δε το ξέραμε;

[narta]

17 ώρες πριν, malakudi είπε

Αυτό σημαίνει και νέο socket; Ή το TRX40 είχε ήδη δυνατότητα για 8 channel και δε το ξέραμε;

sWRx80 

Διαφορετικό pinout τουλάχιστον άρα νέο socket

 

[StavrosD]

Στις 13/5/2020 στις 11:13 ΠΜ, greg4 είπε

Και δεν βρίσκω γιατί, οι ρυθμίσεις όλες είναι ακριβώς ίδιες στον sql. Μήπως χρειάζεται κάτι έξτρα ο epyc με κάποιο πρόγραμμα από amd για να ξυπνήσουν τα άλλα threads?

 

Τι άδεια έχεις για τον SQL Server;

Αν χρησιμοποιείς MS SQL Server, κατά 99% δεν έχεις license για τα υπόλοιπα core. Στην enterprise έκδοση δεν υπάρχει καν η επιλογή για server license, αγοράζεις άδειες ανά core.

[greg4]

12 ώρες πριν, StavrosD είπε

Τι άδεια έχεις για τον SQL Server;

Αν χρησιμοποιείς MS SQL Server, κατά 99% δεν έχεις license για τα υπόλοιπα core. Στην enterprise έκδοση δεν υπάρχει καν η επιλογή για server license, αγοράζεις άδειες ανά core.

Δεν έφταιξε ο sql...

Είχα κάνει βλακεία και είχα δώσει μόνο τα μισα cores στο VM. Τώρα που τα έχει όλα πετάει, καμία σχέση!