Πληροφοριές για τοπικά LLMs

[Luciddream]

2 hours ago, DrFreeman said:

Την 9070ΧΤ την πήρες για αυτό το σκοπό ή προέκυψε μετά; Διότι εξ όσων έχω δει οι nVidia είναι αρκετά πιο αποδοτικές σε token generation.

Κυρίως για Linux compatibility και για GPGPU με HIP (hashcat, blender κτλ). Κάνω maintain πολλά χρόνια ένα πακέτο ROCm για Arch Linux και ήθελα μια πιο καινουρια GPU για δοκιμές κτλ. Το AI Inference προέκυψε μετά. Την πήρα και στα 540 ευρώ (με τιμολόγιο) οπότε έπαιξε και αυτο τον ρόλο του. Φουλ ευχαριστημένος με την κάρτα μέχρι τώρα, αλλά ελπίζω στο επόμενο version να βελτιώσουν πράγματα γιατί π.χ υπάρχουν συχνά ΟΟΜ errors τα οποία δεν ξέρω από που προέρχονται.