Hvad er Tensor Cores? Kernen i Nvidias AI-ydelse

Når Nvidia omtales som verdens vigtigste AI-virksomhed, handler det ikke kun om selve grafikkortet. En stor del af forklaringen ligger i en specialiseret regneenhed inde i chippen, som kaldes en Tensor Core. Det er disse kerner, der udfører den matematik, som moderne kunstig intelligens bygger på. I denne guide forklarer vi, hvad Tensor Cores er, hvordan de adskiller sig fra almindelige regnekerner, og hvordan de har udviklet sig gennem fem generationer af Nvidias chips.

Hvad er en Tensor Core?

En Tensor Core er en lille, specialiseret regneenhed inde i en Nvidia-chip, der er bygget til én bestemt opgave: at gange store taltabeller (matricer) sammen meget hurtigt. I AI-sprog kaldes dette en matrix-multiplikation, og det er den beregning, der fylder absolut mest, når en AI-model trænes eller bruges.

En Tensor Core udfører det, der hedder en matrix multiply-accumulate. Kort fortalt ganger den to matricer sammen og lægger resultatet oven i en tredje i ét samlet trin (A × B + C). Hvor en traditionel kerne regner ét tal ad gangen, kan en enkelt Tensor Core udføre mange af disse gange-og-læg-sammen-operationer i samme takt. Det er den massive parallelitet, der gør AI-beregninger hundredvis af gange hurtigere end på en almindelig processor.

Begrebet “tensor” kommer fra matematikken og betyder i denne sammenhæng blot en flerdimensionel taltabel. Et neuralt netværk – hjernen bag en AI-model – består i praksis af enorme mængder af disse tabeller, der skal ganges sammen igen og igen. Tensor Cores er skræddersyet til netop det mønster.

Tensor Cores vs. CUDA-kerner: hvad er forskellen?

En moderne Nvidia-chip indeholder to slags regnekerner, og det er vigtigt ikke at forveksle dem.

• CUDA-kerner — de alsidige arbejdsheste. De håndterer almindelig grafik, spilberegninger og generelle opgaver, hvor der regnes på ét tal ad gangen. Du kan læse mere om, hvad CUDA-kerner og CUDA-platformen er, i vores separate guide.
• Tensor Cores — de specialiserede AI-enheder. De regner ikke på ét tal ad gangen, men på hele matricer samtidig, hvilket gør dem langt hurtigere til netop AI-matematik.

Man kan sammenligne det med et køkken: CUDA-kernerne er mange dygtige alt-mulig-kokke, mens Tensor Cores er en specialmaskine, der kun kan én ting, men gør det ekstremt hurtigt. En chip bruger begge dele samtidig. For at forstå den samlede chip kan det hjælpe at læse, hvad en GPU er, og hvordan den adskiller sig fra en almindelig processor.

Mixed precision: hvorfor færre bit betyder mere ydelse

En af de vigtigste egenskaber ved Tensor Cores er, at de arbejder med såkaldt mixed precision – blandet talpræcision. For at forstå det skal man vide, at et tal i en computer kan gemmes med forskellig nøjagtighed:

• Høj præcision (f.eks. FP32 og FP64) — mange bit pr. tal, meget nøjagtigt, men langsomt og krævende på hukommelse. Bruges typisk til videnskabelige beregninger.
• Lav præcision (f.eks. FP16, FP8 og FP4) — færre bit pr. tal, mindre nøjagtigt, men langt hurtigere og mere strømbesparende.

Pointen er, at AI-modeller sjældent har brug for fuld nøjagtighed i hver eneste beregning. Ved at regne i lav præcision, hvor det er muligt, og kun skifte til høj præcision, hvor det er nødvendigt, kan Tensor Cores presse langt flere beregninger igennem på samme tid. Det er præcis dette, der har gjort det muligt at træne de meget store sprogmodeller, vi kender i dag.

Forskellen mellem at oplære en model og at bruge den færdige model i praksis er central her. Vil du dykke ned i det, forklarer vi forskellen på AI-træning og inferens i en egen artikel.

Tensor Cores gennem fem generationer

Tensor Cores er ikke én fast teknologi. Nvidia har videreudviklet dem med hver ny chip-arkitektur siden 2017, og hver generation har tilføjet nye måder at regne på. Tabellen nedenfor giver et hurtigt overblik, og herunder gennemgår vi hver generation.

Volta (2017) – den første generation

Tensor Cores blev præsenteret for første gang i Volta-arkitekturen med datacenterchippen Tesla V100, som Nvidia afslørede på sin GPU-konference i 2017. V100 havde 640 Tensor Cores og kunne regne i FP16-præcision. Allerede her markerede Nvidia, at fremtiden lå i dyb læring og neurale netværk – flere år før AI for alvor blev mainstream.

Turing (2018) – Tensor Cores kommer til spil

Med Turing-arkitekturen og GeForce RTX 20-serien kom Tensor Cores for første gang ud i grafikkort til forbrugere i 2018. Denne anden generation tilføjede heltalsformaterne INT8 og INT4 til hurtigere inferens. Det var også her, Nvidia introducerede DLSS, en teknologi der bruger Tensor Cores til at opskalere billeder i spil ved hjælp af AI.

Ampere (2020) – TF32, BF16 og sparsity

Tredje generation i Ampere-arkitekturen (bl.a. A100-chippen) udvidede paletten markant med nye talformater som TF32, BF16 og understøttelse af FP64 via Tensor Cores. Ampere introducerede desuden fin-kornet struktureret sparsity efter et såkaldt 2:4-mønster, hvor halvdelen af værdierne i en matrix kan sættes til nul i et fast mønster. Det lader chippen springe unødvendige beregninger over og ifølge Nvidia potentielt fordoble ydelsen.

Hopper (2022) – FP8 og Transformer Engine

Fjerde generation i Hopper-arkitekturen (H100-chippen) kom i 2022 og tilføjede det endnu mere komprimerede FP8-format i to varianter (E4M3 og E5M2). Sammen med Tensor Cores lancerede Nvidia en Transformer Engine – en funktion, der automatisk vælger den rette præcision undervejs for at fremskynde træning og inferens af store sprogmodeller.

Blackwell (2024) – FP4 og femte generation

Femte generation i Blackwell-arkitekturen, som Nvidia annoncerede i 2024, tilføjede de ultra-lave formater FP6 og FP4. Nvidias eget 4-bit-format kaldes NVFP4 og bruger en teknik ved navn microscaling, hvor et helt blok af tal deler en fælles skaleringsfaktor, så præcisionen bevares bedre på trods af de få bit. Blackwell har desuden en anden generation af Transformer Engine. Nvidia angiver, at Blackwell kan levere op til 30 gange hurtigere inferens end Hopper på en meget stor model som GPT-MoE-1.8T – en tal, der skal ses som producentens egen målsætning for et specifikt scenarie. Du kan læse mere om disse chips i vores guide til Blackwell og Hopper.

Næste skridt er arkitekturen Rubin, som Nvidia har annonceret som en forbedret femte generation med endnu højere NVFP4-ydelse. Specifikationerne er på nuværende tidspunkt foreløbige og kan ændre sig inden lancering.

Hvorfor Tensor Cores betyder noget for Nvidia som virksomhed

Tensor Cores er en central grund til, at Nvidia har kunnet tage en så dominerende position inden for AI. Konkurrenterne laver også kraftige chips, men Nvidias kombination af specialiseret hardware og software – herunder Tensor Cores og CUDA-platformen – har skabt et økosystem, som er svært at komme uden om for AI-udviklere.

For investorer er det værd at forstå, at en stor del af efterspørgslen efter Nvidias datacenterchips netop drives af behovet for Tensor Core-ydelse til at træne og køre AI-modeller. Jo flere virksomheder der vil bygge AI, desto flere af disse kerner skal der bruges. Du kan læse mere om, hvordan dette hænger sammen med selskabets position, i vores artikel om Nvidias rolle i AI-revolutionen. Nvidia beskriver selv teknikken i detaljer på sin officielle side om Tensor Cores.

Almindelige misforståelser om Tensor Cores

• “Tensor Cores er det samme som CUDA-kerner” — nej. De sidder i samme chip, men udfører forskellige opgaver. CUDA-kerner er alsidige, Tensor Cores er specialiseret til matrixmatematik.
• “Flere Tensor Cores er altid bedre” — antallet alene siger ikke alt. Generation, talformater og arkitektur betyder mindst lige så meget som antallet.
• “Tensor Cores bruges kun til AI” — primært til AI, men de bruges også til f.eks. DLSS i spil og visse videnskabelige beregninger.
• “Lav præcision betyder dårlig kvalitet” — ikke nødvendigvis. Med teknikker som microscaling kan modeller bevare høj nøjagtighed, selv når der regnes i meget få bit.

Ofte stillede spørgsmål (FAQ)

Hvad er Tensor Cores i enkle ord?

Tensor Cores er specialiserede regneenheder i Nvidias chips, som er bygget til at gange store taltabeller sammen meget hurtigt. Det er netop den slags matematik, der ligger bag træning og brug af AI-modeller, og derfor er Tensor Cores en kerneteknologi i moderne kunstig intelligens.

Hvad er forskellen på en Tensor Core og en CUDA-kerne?

En CUDA-kerne er alsidig og regner på ét tal ad gangen til grafik og generelle opgaver. En Tensor Core regner derimod på hele matricer samtidig og er specialiseret til AI-matematik. En chip bruger begge typer kerner samtidig, hver til det, de er bedst til.

Hvilke Nvidia-produkter har Tensor Cores?

Tensor Cores findes både i Nvidias datacenterchips (som V100, A100, H100 og Blackwell) og i GeForce RTX-grafikkort til forbrugere fra RTX 20-serien og frem. I spil bruges de blandt andet til DLSS, mens datacenterchips bruger dem til at træne og køre AI-modeller.

Hvad betyder mixed precision?

Mixed precision betyder, at beregningerne udføres med blandet talnøjagtighed. Chippen regner i lav præcision, hvor det er muligt, for at opnå høj hastighed, og skifter til høj præcision, hvor det er nødvendigt for nøjagtigheden. Det giver flere beregninger pr. sekund uden at ødelægge resultatet.

Hvorfor er Tensor Cores vigtige for Nvidia-aktien?

Efterspørgslen efter Nvidias datacenterchips drives i høj grad af behovet for Tensor Core-ydelse til AI. Jo mere AI virksomheder vil bygge, desto flere af disse kerner skal der bruges, og det er en central del af den vækst, som investorer følger. Teknologien er dog kun én af mange faktorer bag aktiekursen.