Η νέα NVIDIA H200 AI GPU υποστηρίζει έως 141GB μνήμης HBM3e για bandwidth έως 4,8TB/s

Η τεχνολογία αντιπροσωπεύει ένα σημαντικό άλμα απόδοσης σε σχέση με τη περασμένη γενιά και προορίζεται για χρήση σε κέντρα δεδομένων και σε υπερυπολογιστές που εργάζονται στους τομείς της πρόγνωσης καιρού, της φαρμακοβιομηχανίας, της κβαντικής υπολογιστικής κ.ά.

Το βασικό προϊόν που ανακοινώθηκε είναι η HGX H200 AI GPU που βασίζεται στην αρχιτεκτονική «Hopper» της NVIDIA και αντικαθιστά την δημοφιλή H100 GPU. Είναι η πρώτη AI GPU της εταιρείας που χρησιμοποιεί την μεγαλύτερης χωρητικότητας και ταχύτερη μνήμη HBM3e. «Με την τεχνολογία HBM3e, η NVIDIA H200 προσφέρει έως 141 GB μνήμης με 4,8 terabytes ανά δευτερόλεπτο και επομένως σχεδόν διπλάσια χωρητικότητα και 2,4x μεγαλύτερο εύρος ζώνης σε σύγκριση με την προηγούμενη έκδοση, την NVIDIA A100» αναφέρει η εταιρεία στην ανακοίνωση της.

Όσον αφορά τα οφέλη για την Τεχνητή Νοημοσύνη, η NVIDIA αναφέρει ότι σε σύγκριση με την H100, η ολοκαίνουρια HGX H200 AI GPU διπλασιάζει την ταχύτητα εξαγωγής συμπερασμάτων (inference speed) στο Llama 2, ένα μεγάλο γλωσσικό μοντέλο (LLM) 70 δισεκατομμυρίων παραμέτρων. Θα διατεθεί σε διαμορφώσεις 4-way και 8-way που είναι συμβατές τόσο με το λογισμικό όσο και με το υλικό σε ήδη υπάρχοντα συστήματα H100 και είναι κατάλληλο για κάθε τύπο κέντρου δεδομένων, (on-premises, cloud, hybrid-cloud και edge) και μπορεί να εφαρμοστεί σε υποδομές Amazon Web Services, Google Cloud, Microsoft Azure και Oracle Cloud Infrastructure μεταξύ άλλων. Η διάθεση της NVIDIA H200 AI GPU έχει προγραμματιστεί για το δεύτερο τρίμηνο του 2024.

Ένα ακόμη σημαντικό προϊόν που ανακοινώθηκε πρόσφατα από την NVIDIA είναι το «superchip» GH200 Grace Hopper όπως το ονομάζει που συνδυάζει την HGX H200 AI GPU και τον βασισμένο στην αρχιτεκτονική ARM, επεξεργαστή NVIDIA Grace χρησιμοποιώντας τον υπερσύνδεσμο NVLink-C2C της εταιρείας. Η NVIDIA σχεδίασε το GH200 Grace Hopper για χρήση σε υπερυπολογιστές για να επιτρέψει «στους επιστήμονες και στους ερευνητές να αντιμετωπίσουν τα δυσκολότερα προβλήματα του κόσμου επιταχύνοντας πολύπλοκες εφαρμογές AI και HPC που εκτελούν terabytes δεδομένων» γράφει η NVIDIA στην ανακοίνωση της.

Το GH200 Grace Hopper θα χρησιμοποιηθεί σε «περισσότερους από 40 υπερυπολογιστές AI σε παγκόσμια ερευνητικά κέντρα, κατασκευαστές συστημάτων και παρόχους cloud» υποστηρίζει η εταιρεία, συμπεριλαμβανομένων υπερυπολογιστών από τις Dell, Eviden, Hewlett Packard Enterprise (HPE), Lenovo, QCT και Supermicro. Από τις πιο αξιοσημείωτες περιπτώσεις είναι ο υπερυπολογιστής Cray EX2500 της HPE που χρησιμοποιεί τετραπλά GH200 και μπορεί να κλιμακωθεί σε διαμορφώσεις με δεκάδες χιλιάδες κόμβους Grace Hopper.

Ο μεγαλύτερος υπερυπολογιστής με GH200 Grace Hopper θα είναι ο JUPITER, που βρίσκεται στις εγκαταστάσεις Jülich στη Γερμανία. Ο συγκεκριμένος υπερυπολογιστής, μόλις εγκατασταθεί στη Γερμανία το 2024, θα είναι το «ισχυρότερο σύστημα τεχνητής νοημοσύνης στον κόσμο». Όπως λέει η NVIDIA, ο υπερυπολογιστής χρησιμοποιεί υγρόψυκτη αρχιτεκτονική και «μια ενισχυτική μονάδα που περιλαμβάνει σχεδόν 24.000 NVIDIA GH200 Superchips που συνδέονται μεταξύ τους με την πλατφόρμα δικτύωσης NVIDIA Quantum-2 InfiniBand». Η NVIDIA λέει ότι ο JUPITER θα βοηθήσει σημαντικά τους επιστήμονες σε διάφορους τομείς, συμπεριλαμβανομένης της πρόβλεψης του κλίματος και του καιρού, δημιουργώντας προσομοιώσεις κλίματος και καιρού υψηλής ανάλυσης με διαδραστική απεικόνιση. Επίσης, θα χρησιμοποιηθεί για την ανακάλυψη νέων φαρμάκων ενώ θα αξιοποιηθεί και στους τομείς της κβαντικής υπολογιστικής και της βιομηχανικής μηχανικής.

Οι παραπάνω νέες τεχνολογίες αποτελούν κλειδί για την οικονομική ανάπτυξη της NVIDIA, το μεγαλύτερο μέρος των εσόδων της οποίας προέρχεται πλέον από τους τομείς της τεχνητής νοημοσύνης και των κέντρων δεδομένων. Το περασμένο τρίμηνο η εταιρεία ανακοίνωσε έσοδα ρεκόρ $10,32 δισεκατομμυρίων μόνο από τον συγκεκριμένο τομέα (από τα $13,51 δισεκατομμύρια που ήταν τα συνολικά της έσοδα), τα οποία ήταν αυξημένα κατά 171% σε σύγκριση με τα περσινά. Η εταιρεία ευελπιστεί ότι τα νέα της προϊόντα θα τη βοηθήσουν να συνεχιστεί αυτή η τάση. Μόλις την περασμένη εβδομάδα, η NVIDIA έσπασε το δικό της ρεκόρ ταχύτητας στην εκπαίδευση AI χρησιμοποιώντας μάλιστα την παλαιότερη τεχνολογία H100 AI GPU. Οι νέες τεχνολογίες επομένως, θα τη βοηθήσουν να διευρύνει το προβάδισμα που έχει έναντι των αντιπάλων της σε έναν τομέα στον οποίο ήδη κυριαρχεί.

• nvidia