Phenquestions
Skúsenosti sú nevyhnutné pre rozvoj zručností potrebných na uplatnenie hlbokého učenia sa v nových otázkach. Rýchly GPU znamená rýchly zisk praktických skúseností prostredníctvom okamžitej spätnej väzby. GPU obsahujú viac jadier pre prácu s paralelnými výpočtami. Zahŕňajú tiež rozsiahlu šírku pásma pamäte na ľahkú správu týchto informácií.
 |
V tejto súvislosti hľadáme odpoveď na otázku: „Aká je najlepšia grafická karta pre AI, strojové učenie a hlboké učenie?”Kontrolou niekoľkých grafických kariet, ktoré sú v súčasnosti k dispozícii v roku 2021. Karty skontrolované:
- AMD RX Vega 64
- NVIDIA Tesla V100
- Nvidia Quadro RTX 8000
- GeForce RTX 2080 Ti
- NVIDIA Titan RTX
Nižšie sú uvedené výsledky:
AMD RX Vega 64
Radeon RX Vega 64
Vlastnosti
- Dátum vydania: 14. augusta 2017
- Architektúra Vega
- Rozhranie PCI Express
- Taktovacia rýchlosť: 1247 MHz
- Streamovacie procesory: 4096
- VRAM: 8 GB
- Šírka pásma pamäte: 484 GB / s
Preskúmanie
Ak sa vám nepáčia grafické karty NVIDIA alebo váš rozpočet neumožňuje utratiť viac ako 500 dolárov za grafickú kartu, potom má AMD inteligentnú alternatívu. Vďaka slušnému množstvu pamäte RAM, rýchlej šírke pásma pamäte a viac ako dostatku streamovacích procesorov je AMD RS Vega 64 veľmi ťažké ignorovať.
Architektúra Vega je upgradom z predchádzajúcich kariet RX. Pokiaľ ide o výkon, tento model je blízky GeForce RTX 1080 Ti, pretože oba tieto modely majú podobnú VRAM. Vega navyše podporuje natívnu polovičnú presnosť (FP16). ROCm a TensorFlow fungujú, ale softvér nie je taký vyspelý ako v grafických kartách NVIDIA.
Celkovo možno povedať, že Vega 64 je slušný GPU pre hlboké učenie a AI. Tento model stojí hlboko pod 500 USD a robí prácu pre začiatočníkov. Pre profesionálne aplikácie však odporúčame zvoliť kartu NVIDIA.
AMD RX Vega 64 Podrobnosti: Amazon
NVIDIA Tesla V100
Tesla V100
Vlastnosti:
- Dátum vydania: 7. decembra 2017
- Architektúra NVIDIA Volta
- Rozhranie PCI-E
- 112 TFLOPS Výkon tenzora
- 640 tenzorových jadier
- 5120 NVIDIA CUDA® jadier
- VRAM: 16 GB
- Šírka pásma pamäte: 900 GB / s
- Výpočtové API: CUDA, DirectCompute, OpenCL ™, OpenACC®
Preskúmanie:
NVIDIA Tesla V100 je monštrum a jedna z najlepších grafických kariet pre AI, strojové učenie a hlboké učenie. Táto karta je plne optimalizovaná a dodáva sa so všetkým, čo k tomu účelu potrebujete.
Tesla V100 sa dodáva v konfiguráciách pamätí 16 GB a 32 GB. Vďaka veľkému množstvu VRAM, akcelerácii AI, veľkej šírke pásma pamäte a špecializovaným tenzorovým jadrám pre hlboké učenie si môžete byť istí, že každý váš cvičný model bude fungovať hladko - a za kratší čas. Konkrétne Tesla V100 môže poskytnúť 125 TFLOPS výkonu hlbokého učenia ako na tréning, tak na inferenciu [3], čo umožňuje architektúra Volta od spoločnosti NVIDIA.
Podrobnosti NVIDIA Tesla V100: Amazon, (1)
Nvidia Quadro RTX 8000
Nvidia Quadro Rtx 8000
Vlastnosti:
- Dátum vydania: august 2018
- Turingova architektúra
- 576 tenzorových jadier
- CUDA jadrá: 4 608
- VRAM: 48 GB
- Šírka pásma pamäte: 672 GB / s
- 16.3 TFLOPS
- Systémové rozhranie: PCI-Express
Preskúmanie:
Quadro RTX 8000 je špeciálne navrhnutá pre aritmetiku a výpočty matice hlbokého učenia a je špičkovou grafickou kartou. Pretože táto karta obsahuje veľkú kapacitu VRAM (48 GB), tento model sa odporúča na výskum mimoriadne veľkých výpočtových modelov. Pri použití v páre s NVLink sa dá kapacita zvýšiť až na 96 GB VRAM. Čo je veľa!
Kombinácia jadier 72 RT a 576 Tensor pre vylepšené pracovné toky vedie k výkonu viac ako 130 TFLOPS. V porovnaní s najdrahšou grafickou kartou na našom zozname - Tesla V100 - ponúka tento model potenciálne o 50 percent viac pamäte a stále dokáže stáť menej. Aj v nainštalovanej pamäti má tento model mimoriadny výkon pri práci s väčšími dávkami na jednom GPU.
Rovnako ako Tesla V100, aj tento model je obmedzený iba cenovou strechou. To znamená, že ak chcete investovať do budúcnosti a do vysoko kvalitných počítačov, získajte RTX 8000. Kto vie, môžete viesť výskum AI. Tesla V100 je založená na architektúre Turing, kde V100 je založená na architektúre Volta, takže Nvidia Quadro RTX 8000 možno považovať za o niečo modernejšiu a o niečo výkonnejšiu ako V100.
Detaily Nvidia Quadro RTX 8000: Amazon
GeForce RTX 2080 Ti
Zakladateľská edícia Geforce RTX 2080
Vlastnosti:
- Dátum vydania: 20. septembra 2018
- Turingova architektúra GPU a platforma RTX
- Taktovacia rýchlosť: 1350 MHz
- CUDA jadrá: 4352
- 11 GB ultrarýchlej pamäte GDDR6 novej generácie
- Šírka pásma pamäte: 616 GB / s
- Príkon: 260W
Preskúmanie:
GeForce RTX 2080 Ti je voľba rozpočtu, ktorá je ideálna skôr pre malé zaťaženie modelovania než pre rozsiahly výcvikový vývoj. Je to preto, lebo má menšiu pamäť GPU na kartu (iba 11 GB). Obmedzenia tohto modelu sa stávajú zreteľnejšími pri školení niektorých moderných modelov NLP. To však neznamená, že táto karta nemôže konkurovať. Dizajn ventilátora RTX 2080 umožňuje oveľa hustejšie konfigurácie systému - až štyri GPU v rámci jednej pracovnej stanice. Navyše tento model trénuje neurónové siete na 80-percentnej rýchlosti ako Tesla V100. Podľa referenčných kritérií výkonnosti LambdaLabs pre hlboké učenie je RTX 2080 v porovnaní s Tesla V100 73% rýchlosťou FP2 a 55% rýchlosťou FP16.
Medzitým tento model stojí takmer 7-krát menej ako Tesla V100. Z hľadiska ceny aj výkonu je GeForce RTX 2080 Ti skvelým GPU pre hlboké učenie a vývoj AI.
Podrobnosti GeForce RTX 2080 Ti: Amazon
NVIDIA Titan RTX
Grafika NVIDIA Titan RTX
Vlastnosti:
- Dátum vydania: 18. decembra 2018
- Používa architektúru NVIDIA Turing ™ navrhnutú pre AI
- 576 jadier tenzora pre akceleráciu AI
- 130 teraFLOPS (TFLOPS) pre tréning hlbokého učenia
- CUDA jadrá: 4608
- VRAM: 24 GB
- Šírka pásma pamäte: 672 GB / s
- Odporúčané napájanie 650 wattov
Preskúmanie:
NVIDIA Titan RTX je ďalší grafický procesor strednej triedy používaný pre zložité operácie hlbokého učenia. 24 GB pamäte VRAM tohto modelu stačí na prácu s väčšinou dávkových veľkostí. Ak však chcete trénovať väčšie modely, spárujte túto kartu s mostom NVLink, aby ste mali skutočne 48 GB VRAM. Toto množstvo by stačilo aj pre veľké transformátorové modely NLP. Okrem toho Titan RTX umožňuje školenie so zmiešanou presnosťou s plnou rýchlosťou pre modely (t.j.e., FP 16 spolu s akumuláciou FP32). Výsledkom je, že tento model funguje približne o 15 až 20 percent rýchlejšie v operáciách, kde sa využívajú jadrá Tensor.
Jedným z obmedzení NVIDIA Titan RTX je dizajn dvojitého ventilátora. To obmedzuje zložitejšie konfigurácie systému, pretože ho nemožno zabaliť na pracovnú stanicu bez podstatných úprav chladiaceho mechanizmu, čo sa neodporúča.
Celkovo je Titan vynikajúcim univerzálnym GPU pre takmer každú úlohu hlbokého učenia. V porovnaní s ostatnými grafickými kartami na všeobecné použitie je to určite drahé. Preto sa tento model hráčom neodporúča. Vedci, ktorí využívajú zložité modely hlbokého učenia, by napriek tomu pravdepodobne ocenili extra VRAM a zvýšenie výkonu. Cena modelu Titan RTX je podstatne nižšia ako cena modelu V100 uvedená vyššie a bola by dobrou voľbou, ak váš rozpočet neumožňuje stanovenie cien za model V100 na hlboké učenie alebo ak vaša pracovná záťaž nepotrebuje viac ako cena modelu Titan RTX (pozri zaujímavé referenčné hodnoty)
Detaily NVIDIA Titan RTX: Amazon
Výber najlepšej grafickej karty pre AI, strojové učenie a hlboké učenie
AI, strojové učenie a úlohy hlbokého učenia spracúvajú hromadu dát. Tieto úlohy môžu byť pre váš hardvér veľmi náročné. Pred zakúpením GPU je potrebné pamätať na nasledujúce funkcie.
Jadrá
Ako jednoduché pravidlo platí, že čím väčší počet jadier, tým vyšší bude výkon vášho systému. Mali by ste brať do úvahy aj počet jadier, najmä ak pracujete s veľkým množstvom údajov. NVIDIA pomenovala svoje jadrá CUDA, zatiaľ čo AMD nazýva ich procesory streamujúce jadrá. Choďte na najvyšší počet procesorových jadier, aký váš rozpočet umožní.
Výkon spracovania
Výkon procesora GPU závisí od počtu jadier v systéme vynásobených rýchlosťami hodín, pri ktorých bežíte jadrá. Čím vyššia rýchlosť a vyšší počet jadier, tým vyšší bude výpočtový výkon, pri ktorom môže váš grafický procesor vypočítať údaje. To tiež určuje, ako rýchlo váš systém vykoná úlohu.
VRAM
Video RAM alebo VRAM je meranie množstva dát, ktoré váš systém dokáže spracovať naraz. Vyššia VRAM je nevyhnutná, ak pracujete s rôznymi modelmi počítačového videnia alebo konáte nejaké súťaže CV Kaggle. Pamäť VRAM nie je taká dôležitá pre NLP alebo pre prácu s inými kategorickými údajmi.
Šírka pásma pamäte
Šírka pásma pamäte je rýchlosť, akou sa dáta načítajú alebo ukladajú do pamäte. Zjednodušene povedané, je to rýchlosť pamäte VRAM. Merané v GB / s, väčšia šírka pásma pamäte znamená, že karta dokáže čerpať viac údajov za kratší čas, čo sa prejaví v rýchlejšej prevádzke.
Chladenie
Pokiaľ ide o výkon, teplota GPU môže byť významným prekážkou. Moderné GPU zvyšujú svoju rýchlosť na maximum pri behu algoritmu. Ale akonáhle je dosiahnutá určitá teplotná hranica, GPU zníži rýchlosť spracovania, aby chránila pred prehriatím.
Dizajn ventilátora pre chladiče vzduchu tlačí vzduch mimo systému, zatiaľ čo ventilátory bez ventilátora nasávajú vzduch. V architektúre, kde je viac GPU umiestnených vedľa seba, sa ventilátory bez ventilátora viac zahrejú. Ak používate vzduchové chladenie s nastavením s 3 až 4 GPU, vyhnite sa nefúkačom.
Ďalšou možnosťou je vodné chladenie. Aj keď je táto metóda drahá, je oveľa tichšia a zaručuje, že aj tie najkomplikovanejšie nastavenia GPU zostanú počas celej prevádzky v pohode.
Záver
Pre väčšinu používateľov, ktorí sa dostanú do hlbokého učenia, bude RTX 2080 Ti alebo Titan RTX tým najlepším úderom pre vaše peniaze. Jedinou nevýhodou RTX 2080 Ti je obmedzená veľkosť 11 GB VRAM. Školenie s väčšími veľkosťami dávok umožňuje modelom trénovať rýchlejšie a oveľa presnejšie, čo šetrí veľa času užívateľovi. To je možné iba v prípade, že máte grafické karty Quadro alebo TITAN RTX. Používanie polovičnej presnosti (FP16) umožňuje modelom zapadnúť do GPU s nedostatočnou veľkosťou VRAM [2]. Pre pokročilejších používateľov by však mala byť investovaná Tesla V100. To je náš výber najlepších grafických kariet pre AI, strojové učenie a hlboké učenie. To je pre tento článok všetko. Dúfame, že sa vám páčila. Dobudúcna!
Referencie
- Najlepšie GPU pre AI, strojové učenie a hlboké učenie v roku 2020
- Najlepší grafický procesor pre hlboké vzdelávanie v roku 2020
- PLATFORMA NVIDIA AI INFERENCE: Obrovské skoky vo výkone a efektívnosti služieb AI, od dátového centra po okraj siete
- NVIDIA V100 TENZOR CORE GPU
- Benchmarky hlbokého učenia Titan RTX
