Το καλύτερο HEDT CPU για x265 4K transcoding

[intelrisen]

λαθος εγινε αυτο ηθελα να ανεβασω. η λυση ειναι φυσικα η p2000 ή καποια απλη αν ο φορτος εργασιας ειναι μικρος αφου μετα ειναι κλειδωμενες. τα υπολοιπα για ποιοτητες κλπ ειναι για ιθαγενεις στο τονγκο. μπορεις να παιξεις με 12 mbps για πλακα χωρις καμια απωλεια. ισως λιγο στον φωτισμο αλλα κανενας δε μπορει να το διακρινει σε εικονα με κινηση.

http://slothtechtv.com/2018/09/hardware-transcoding-in-plex-with-the-p2000-and-a-2u-supermicro-dual-x5670-server

15 ώρες πριν, malakudi είπε

Η ποιότητα που βγάζει ο quicksync encoder σε HEVC είναι για πέταμα

τσεκαρε αυτο που ανεβασα το προηγουμενο ηταν λαθος λινκ. ειχα ανοικτα 3-4 και ποσταρα το λαθος.

17 ώρες πριν, ilos είπε

αυτή είναι η πλάκα βλέπουν έναν youtuber, zomg my 8400 is faster with quicksync than 1700 in premiere και δεν αντιλαμβάνονται τι σημαίνει αυτό. Δεν είναι 1 προς 1 τα αποτελέσματα και υπάρχει αρκετό noise που δε θα το καταλάβεις σε ένα yt video που ΄είναι χαμηλότερης ανάλυσης και έχει φάει και yt compression.

καλα κανε εσυ με επεξεργαστη σε ταινια με γρηγορες σκηνες και μετα πηγαινε να την δεις και παρε και δραμαμινες απο το τραυλισμα. ολοι οι σοβαροι με καρτες γραφικων κανουν encoding transcoding, μονο οι αργοσχολοι κανουν με επεξεργαστες.

[malakudi]

Βρε interlisen, εάν δε το κατέχεις γιατί ποστάρεις; Η Quadro P2000 είναι Pascal. HEVC σε Pascal δεν υποστηρίζει b-frames! Καταλαβαίνεις τι σημαίνει αυτό; Πανωλεθρία στο Μιλάνο όπως θα έλεγε κάποιος άλλος ...

Έχουμε χρησιμοποιήσει Turing η οποία υποστηρίζει b-frames αλλά όχι ακόμα b-pyramid σε HEVC. Το αποτέλεσμα που δίνει είναι πολύ καλό, ειδικά αν σκεφτεί κανείς ότι πιάνει 70 fps ενώ ο 3900Χ πιάνει 13 fps. Όμως το πολύ καλό δεν είναι αρκετό για κάποιες περιπτώσεις και ο software x265 encoder δίνει καλύτερη ποιότητα σε αυτές τις περιπτώσεις. Και όχι δεν είναι αργόσχολος κάποιος που ζητάει την τελευταία ικμάδα ποιότητας.

Καλά κανείς σε όλο το insomnia δεν έχει έναν HEDT intel να ποστάρει χρόνους από τις δύο εντολές που έδωσα στο πρώτο post;

[jgeorgiou]

12 λεπτά πριν, malakudi είπε

Βρε interlisen, εάν δε το κατέχεις γιατί ποστάρεις; Η Quadro P2000 είναι Pascal. HEVC σε Pascal δεν υποστηρίζει b-frames! Καταλαβαίνεις τι σημαίνει αυτό; Πανωλεθρία στο Μιλάνο όπως θα έλεγε κάποιος άλλος ...

Έχουμε χρησιμοποιήσει Turing η οποία υποστηρίζει b-frames αλλά όχι ακόμα b-pyramid σε HEVC. Το αποτέλεσμα που δίνει είναι πολύ καλό, ειδικά αν σκεφτεί κανείς ότι πιάνει 70 fps ενώ ο 3900Χ πιάνει 13 fps. Όμως το πολύ καλό δεν είναι αρκετό για κάποιες περιπτώσεις και ο software x265 encoder δίνει καλύτερη ποιότητα σε αυτές τις περιπτώσεις. Και όχι δεν είναι αργόσχολος κάποιος που ζητάει την τελευταία ικμάδα ποιότητας.

Καλά κανείς σε όλο το insomnia δεν έχει έναν HEDT intel να ποστάρει χρόνους από τις δύο εντολές που έδωσα στο πρώτο post;

Δηλαδή Turing με b-frames πολλαπλασίως ποιο γρήγορη δεν σου κάνει γιατί "ο software x265 encoder είναι ποιο ποιοτικός".

Μάλιστα , να ρωτήσω τι χρήση θα κάνεις σε αυτά? Γιατί μου κάνει εντύπωση η "τελευταία ικμάδα ποιότητας". Δεν ήξερα ότι έχουμε τέτοια studio στην Ελλάδα που το 99,99% θέλουν το κάνουν 99,991%.

 

 

Επεξ/σία 23 Οκτωβρίου 2019 από jgeorgiou

[intelrisen]

12 λεπτά πριν, malakudi είπε

Βρε interlisen, εάν δε το κατέχεις γιατί ποστάρεις; Η Quadro P2000 είναι Pascal. HEVC σε Pascal δεν υποστηρίζει b-frames! Καταλαβαίνεις τι σημαίνει αυτό; Πανωλεθρία στο Μιλάνο όπως θα έλεγε κάποιος άλλος ...

Έχουμε χρησιμοποιήσει Turing η οποία υποστηρίζει b-frames αλλά όχι ακόμα b-pyramid σε HEVC. Το αποτέλεσμα που δίνει είναι πολύ καλό, ειδικά αν σκεφτεί κανείς ότι πιάνει 70 fps ενώ ο 3900Χ πιάνει 13 fps. Όμως το πολύ καλό δεν είναι αρκετό για κάποιες περιπτώσεις και ο software x265 encoder δίνει καλύτερη ποιότητα σε αυτές τις περιπτώσεις. Και όχι δεν είναι αργόσχολος κάποιος που ζητάει την τελευταία ικμάδα ποιότητας.

Καλά κανείς σε όλο το insomnia δεν έχει έναν HEDT intel να ποστάρει χρόνους από τις δύο εντολές που έδωσα στο πρώτο post;

προφανως πρεπει να στο κανω πενηνταρακια. αυτο που ανεβασα δεν εχει να κανει απολυτως με τον πασχαλη αλλα για να σου δειξω οτι πρεπει να το κανεις με gpu, που μπορει να ειναι και turing ή οτιδηποτε αλλο. εννοειται οτι εισαι αργοσχολος οταν λες ικμαδα ποιοτητας αφου πας να κανεις κατι το οποιο δεν εχει καμια διαφορα ή ελαχιστες στο τελικο αποτελεσμα και σιγουρα εσυ δεν εισαι σε αυτο το επιπεδο για να τις διακρινεις. τωρα κανε οτι θες

[malakudi]

Μόλις τώρα, jgeorgiou είπε

Δηλαδή Turing με b-frames πολλαπλασίως ποιο γρήγορη δεν σου κάνει γιατί "ο software x265 encoder είναι ποιο ποιοτικός".

Μάλιστα , να ρωτήσω τι χρήση θα κάνεις σε αυτά? Γιατί μου κάνει εντύπωση η "τελευταία ικμάδα ποιότητας".

Ο πελάτης θέλει την βέλτιστη ποιότητα σε bandwidth constrained κατάσταση. Αν διαβάσεις το αρχικό post θα δεις τις απαιτήσεις. Αν συγκρίνεις δύο encodes 4K, το ένα με Turing 4 b-frames, 4 reference frames, 40 lookahead frames  και 14Mbps και το άλλο με x265 medium preset με τα ίδια specs, η διαφορά σε αρκετά σημεία όπου είσαι περιορισμένος απο το bandwidth είναι εμφανής. Αν δεν υπήρχε περιορισμός bandwidth, φυσικά και θα προτιμούσα NVENC με 2-3 Mbps παραπάνω και να γλίτωνα το χρόνο.

Μόλις τώρα, intelrisen είπε

προφανως πρεπει να στο κανω πενηνταρακια. αυτο που ανεβασα δεν εχει να κανει απολυτως με τον πασχαλη αλλα για να σου δειξω οτι πρεπει να το κανεις με gpu, που μπορει να ειναι και turing ή οτιδηποτε αλλο. εννοειται οτι εισαι αργοσχολος οταν λες ικμαδα ποιοτητας αφου πας να κανεις κατι το οποιο δεν εχει καμια διαφορα ή ελαχιστες στο τελικο αποτελεσμα και σιγουρα εσυ δεν εισαι σε αυτο το επιπεδο για να τις διακρινεις. τωρα κανε οτι θες

Έχουμε ήδη εξετάσει την ποιότητα των Turing GPUs σε HEVC σε bandwidth constrained situation και ο πελάτης δεν ικανοποιήθηκε, προτιμάει x265. Αν δεν υπήρχε ο περιορισμός του bandwidth, προφανώς και θα χρησιμοποιούσαμε GPUs. Εγώ με τα μάτια μου μπορεί να μη μπορώ να διακρίνω τη διαφορά όπως λες εσύ, αλλά οι μετρικές σαν το vmaf του netflix τις διακρίνουν.

[jgeorgiou]

5 λεπτά πριν, malakudi είπε

Ο πελάτης θέλει την βέλτιστη ποιότητα σε bandwidth constrained κατάσταση. Αν διαβάσεις το αρχικό post θα δεις τις απαιτήσεις. Αν συγκρίνεις δύο encodes 4K, το ένα με Turing 4 b-frames, 4 reference frames, 40 lookahead frames  και 14Mbps και το άλλο με x265 medium preset με τα ίδια specs, η διαφορά σε αρκετά σημεία όπου είσαι περιορισμένος απο το bandwidth είναι εμφανής. Αν δεν υπήρχε περιορισμός bandwidth, φυσικά και θα προτιμούσα NVENC με 2-3 Mbps παραπάνω και να γλίτωνα το χρόνο.

AAA σοβαρά , τόσο εμφανής η διαφορά!!!

Να στείλεις την τεχνογνωσία σου σto NETFLIX που πουλάει 4Κ σε εκατοντάδες εκατομμύρια θεατές σε περιορισμένο bitrate και ψάχνεται.

Επεξ/σία 23 Οκτωβρίου 2019 από jgeorgiou

[malakudi]

13 λεπτά πριν, jgeorgiou είπε

AAA σοβαρά , τόσο εμφανής η διαφορά!!!

Να στείλεις την τεχνογνωσία σου σto NETFLIX που πουλάει 4Κ σε εκατοντάδες εκατομμύρια θεατές σε περιορισμένο bitrate και ψάχνεται.

Το 4Κ στο netflix ξέρεις τι bitrate φτάνει; Πάνω από 16 Mbps. Και τελευταία φορά που το τσέκαρα, το Netflix ειδικά δε χρησιμοποιεί GPUs, αλλά τα CPU cloud services της Amazon. Μάλιστα έχει εφαρμόσει ένα πρωτοποριακό encoding που δε κάνουν τα συμβατικά εργαλεία, σπάει το source αρχείο σε πολλά κομμάτια (chunks) και τα κάνει encode χωριστά και προφανώς παράλληλα, για να μεγιστοποιήσει το CPU encoding που όπως έγραψα στο πρώτο post, ακόμα και τον 12 core 3900X ένα σκέτο encoding δε μπορεί να τον τερματίσει.

Επεξ/σία 23 Οκτωβρίου 2019 από malakudi

[Sheogorath]

1 λεπτό πριν, jgeorgiou είπε

AAA σοβαρά , τόσο εμφανής η διαφορά!!!

Να στείλεις την τεχνογνωσία σου σto NETFLIX που πουλάει 4Κ σε εκατοντάδες εκατομμύρια θεατές σε περιορισμένο bitrate και ψάχνεται.

Η συμπίεση του Netflix είναι γτπ. Ειδικά στα χρώματα, ώρες ώρες δεν βλέπεται. Και στο λέω έχοντας 24αρα, που πιάνει σίγουρα 21Mbps.

[malakudi]

Επιπλέον το netflix δε χρησιμοποιεί GPUs αλλά Amazon CPU EC2 instances.

12 λεπτά πριν, Sheogorath είπε

Η συμπίεση του Netflix είναι γτπ. Ειδικά στα χρώματα, ώρες ώρες δεν βλέπεται. Και στο λέω έχοντας 24αρα, που πιάνει σίγουρα 21Mbps.

Νομίζω ως 16 Mbps πάει η πιο μεγάλη ποιότητα του Netflix, ίσως στο HDR να πηγαίνει και λίγο πιο πάνω.

[jgeorgiou]

19 λεπτά πριν, malakudi είπε

Επιπλέον το netflix δε χρησιμοποιεί GPUs αλλά Amazon CPU EC2 instances.

Φίλε ειλικρινά χαίρομαι πολύ που είσαι σε τόσο υψηλό επίπεδο που δεν σου κάνει οι Turing GPUs σε HEVC λόγω ανεπαρκούς ποιότητας και ψάχνεις να βρεις λύση σε software encoding.

Μπράβο για την ποιότητα που κυνηγάς και εύχομαι να το εκτιμούν και να σε πληρώνουν ανάλογα.

25 λεπτά πριν, Sheogorath είπε

Η συμπίεση του Netflix είναι γτπ. Ειδικά στα χρώματα, ώρες ώρες δεν βλέπεται. Και στο λέω έχοντας 24αρα, που πιάνει σίγουρα 21Mbps.

Επρεπε να κάνει μαζικά τεράστια ποσότητα περιεχομένου οπότε "προσάρμοσε" την ποιότητα. Επειδή βλέπω 4Κ netflix σε samsung 55" 4K δεν βλέπω τέτοια προβλήματα , ευχαριστημένος είμαι (πάντα στο πλαίσιο του streamming σε vdsl) . Δεν ξέρω μηπως επεμβαίνει το software της τηλεόρασης.

Επεξ/σία 23 Οκτωβρίου 2019 από jgeorgiou

[malakudi]

15 λεπτά πριν, jgeorgiou είπε

Φίλε ειλικρινά χαίρομαι πολύ που είσαι σε τόσο υψηλό επίπεδο που δεν σου κάνει οι Turing GPUs σε HEVC λόγω ανεπαρκούς ποιότητας και ψάχνεις να βρεις λύση σε software encoding.

Μπράβο για την ποιότητα που κυνηγάς και εύχομαι να το εκτιμούν και να σε πληρώνουν ανάλογα.

Επρεπε να κάνει μαζικά τεράστια ποσότητα περιεχομένου οπότε "προσάρμοσε" την ποιότητα. Επειδή βλέπω 4Κ netflix σε samsung 55" 4K δεν βλέπω τέτοια προβλήματα , ευχαριστημένος είμαι (πάντα στο πλαίσιο του streamming σε vdsl) . Δεν ξέρω μηπως επεμβαίνει το software της τηλεόρασης.

Δεν είναι για τα προσωπικά μου transcodes, εκεί προφανώς και θα έκανα με την Turing, θα ανέβαζα 3-4 Mbps παραπάνω και όλα ΟΚ. Κάναμε encodes αρκετά δείγματα στα 12 ως 14 Mbps τόσο με x265 όσο και με nvidia turing, βγάλαμε τις μετρικές vmaf, είδε και τα τελικά δείγματα ο πελάτης και προτιμάει x265.

Τέλος πάντων όμως, δεν είναι αυτό το ερώτημα του νήματος. Επειδή δεν έχω άμεση πρόσβαση σε Intel HEDT,  θα παρακαλούσα αν κάποιος έχει κάποιον Intel HEDT με AVX512 να τρέξει τα test του πρώτου post.

Ευχαριστώ

[Coppermine]

Στις 21/10/2019 στις 9:35 ΜΜ, malakudi είπε

Θα ήθελα τις γνώμες όσων έχουν HEDT platform και κάνουν x265 4K transcoding. Θέλουμε να στήσουμε ένα (ή και περισσότερα) συστήματα που θα παίρνουν το original 4K content και θα το μετατρέπουν σε:

1. 4Κ με χαμηλότερο bitrate (μέχρι 11-14Mbps)
2. 1080p στα 3-4 Mbps
3. 720p στα 2-2.5 Mbps

Ο 3900Χ που έχω αποδίδει καλύτερα από τον 2950Χ Threadripper οπότε η προηγούμενη γενιά Threadripper απορρίπτεται. Η μία επιλογή προφανώς θα είναι ο 3960Χ threadripper (24 core) που αναμένεται μέσα στο Νοέμβρη. Η άλλη επιλογή είναι Intel, το x265 υποστηρίζει εδώ και κάποιο καιρό AVX512 και του δίνει ένα 5-6% boost σε σχέση με AVX2. Ο 9980ΧΕ είναι πολύ πιο ακριβός βέβαια απ' όσο φαντάζομαι πως θα κάνει ο 3960Χ αλλά ΟΚ αυτό μένει να το δούμε

Αν έχει κανείς i9 HEDT ας ποστάρει να δούμε μερικά τεστ απόδοσης. Με latest ffmpeg και αρχείο εισόδου το http://downloads.4ksamples.com/videos/Samsung_UHD_Soccer_Barcelona_Atletico_Madrid.ts

με τον 3900Χ πιάνω 13 fps με την παρακάτω εντολή χωρίς να χτυπάει 100% CPU (αν τρέχω 2 encodes πιάνει 8,1+8,1=16,2 fps οπότε 1 encode δε μπορεί να κάνει saturate όλα τα cores)

ffmpeg -i Samsung_UHD_Soccer_Barcelona_Atletico_Madrid.ts -c:v libx265 -pix_fmt yuv420p10le -preset medium -profile:v main10 -crf 16 -x265-params level-idc=51:high-tier=1:ref=4:rc-lookahead=40 -maxrate 14000k -bufsize 24000k -c:a copy -f matroska out.mkv

Ενώ αν κάνουμε και τα 3 encodes με τη μία, πιάνει 10,2fps

ffmpeg -i Samsung_UHD_Soccer_Barcelona_Atletico_Madrid.ts -filter_complex '[0:v]split=3[out1][out2][out3]' -map '[out1]' -c:v libx265 -pix_fmt yuv420p10le -preset medium -profile:v main10 -crf 16 -x265-params level-idc=51:high-tier=1:ref=4:rc-lookahead=40 -maxrate 14000k -bufsize 24000k -c:a copy -f matroska out4k.mkv -map '[out2]' -s 1920x1080 -c:v libx265 -pix_fmt yuv420p10le -preset medium -profile:v main10 -crf 16 -x265-params level-idc=51:high-tier=1:ref=4:rc-lookahead=40 -maxrate 4000k -bufsize 8000k -c:a copy -f matroska out1080.mkv -map '[out3]' -s 1280x720 -c:v libx265 -pix_fmt yuv420p10le -preset medium -profile:v main10 -crf 16 -x265-params level-idc=51:high-tier=1:ref=4:rc-lookahead=40 -maxrate 2500k -bufsize 5000k -c:a copy -f matroska out720.mkv

Τώρα είδα το θέμα σού, τι θέλεις ακριβώς να σου πω fps που τρέχει?

[nicksoti]

Mε αυτά που γράφεις, και αφού είναι για εξειδικευμένη δουλειά που φαντάζομαι θα πρέπει να είναι και παραγωγική, μάλλον προσπεράστε Ryzen Threadripper και I9  και επενδήστε σε κάποιον EPYC server με 2πλό socket. Αρχικά με μονό Epyc 7742 και αργότερα βάζετε και 2ο.  Ούτε τα 20 ούτε τα 30 fps θα σας σώσουν, γνώμη μου. Εκτός κι αν πρόκειται για περιστασιακή χρήση και θα κάνετε κι άλλες δουλειές στο PC. Σε αυτό το άρθρο αναφέρει για 80fps σε 8Κ υλικό.... Και φυσικά άλλη αξιοπιστία για λειτουργία 24/7 και κορυφαίο efficiency έτσι;

Αν είναι για συγκεκριμένο project με χρονικό περιορισμό, μήπως σας συμφέρει ενοικίαση σε cloud;

Υπάρχουν και αυτές οι εξειδικευμένες λύσεις, αλλά πέρα από πανάκριβες δεν ξέρω αν καλύπτουν τις ανάγκες σας. Για δείτε τα specs λίγο, κάτι γράφει για ffmpeg υποστήριξη.

Δεν έχω διάθεση να επέμβω στις επιλογές σας, αλλά συνήθως σε αυτές τις περιπτώσεις το φτηνό στην αρχή γίνεται ακριβό κατόπιν. Threadripper και i9 είναι για δυνατά workstations όχι για render farms...

[intelrisen]

2 ώρες πριν, malakudi είπε

Δεν είναι για τα προσωπικά μου transcodes, εκεί προφανώς και θα έκανα με την Turing, θα ανέβαζα 3-4 Mbps παραπάνω και όλα ΟΚ. Κάναμε encodes αρκετά δείγματα στα 12 ως 14 Mbps τόσο με x265 όσο και με nvidia turing, βγάλαμε τις μετρικές vmaf, είδε και τα τελικά δείγματα ο πελάτης και προτιμάει x265.

Τέλος πάντων όμως, δεν είναι αυτό το ερώτημα του νήματος. Επειδή δεν έχω άμεση πρόσβαση σε Intel HEDT,  θα παρακαλούσα αν κάποιος έχει κάποιον Intel HEDT με AVX512 να τρέξει τα test του πρώτου post.

Ευχαριστώ

οι οδηγιες της ιντελ ειναι αυτες για το avx 512.

https://software.intel.com/en-us/articles/accelerating-x265-with-intel-advanced-vector-extensions-512-intel-avx-512

επισης μια αναλυση του hevc γινεται εδω και υπαρχει αντιστοιχο λινκ που παραπεμπτει σε μετρησεις αντικειμενικες του bbc. του '16 ειναι αυτο αλλα δε νομιζω οτι παιζει και μεγαλο ρολο.

https://digitaltvinfo.gr/magazine-archive/year-2016/item/16932-kodikopoiisi-hevc-i-265

ερωτηση. στον πελατη το παρουσιασαται σαν blind test?

[malakudi]

3 ώρες πριν, Coppermine είπε

Τώρα είδα το θέμα σού, τι θέλεις ακριβώς να σου πω fps που τρέχει?

Καλησπέρα, ναι, τι CPU έχεις; Μπορείς να κατεβάσεις latest ffmpeg precompiled τόσο για Windows όσο και για Linux, δε ξέρω τι χρησιμοποιείς.