The Economist om AI, del 3

 Kapløbet om AI-chips: Fra hurtigere til flere chips

AI's voksende behov for beregningskraft har ført til et globalt kapløb om at kontrollere leveringskæden for AI-chips. Siden Jack Kilby opfandt den første siliciumchip i 1958, har transistorernes tæthed fulgt Moore's lov og fordoblet sig mange gange. I dag er denne udvikling dog ved at nå sine fysiske grænser, og løsningen er ikke længere hurtigere chips, men flere chips koblet sammen.

AI og behovet for GPU’er:
Træning af moderne neurale netværk kræver ekstremt hurtige beregninger, især til matriceoperationer, som GPU'er (graphics-processing units) er særligt velegnede til. GPU’er, oprindeligt udviklet til videospil, blev afgørende for deep-learning-revolutionen i 2012, da AlexNet blev trænet ved hjælp af kun to GPU’er. GPU’er er i dag 10-100 gange mere omkostningseffektive og op til 1.000 gange hurtigere end traditionelle CPU’er.

Stigende beregningskrav:
Store sprogmodeller (LLMs) som GPT-4 har drastisk øget kravene til beregning. Træning af GPT-4 krævede 2 x 10²⁵ flydende punkt-operationer (FLOP), en enorm stigning sammenlignet med tidligere modeller. Disse krav har gjort det nødvendigt at bruge store klynger af GPU’er – eksempelvis blev GPT-4 trænet på 25.000 NVIDIA A100 GPU’er. Store virksomheder som Microsoft, Amazon og Google investerer milliarder i sådanne dataklynger og energikilder, inklusive atomkraft.

Alternativer og innovationer:
NVIDIA dominerer markedet for AI-chips med deres GPU’er og software-økosystem CUDA. Konkurrenter som Cerebras og Google udvikler dog alternativer som wafer-skala processorer og tensor-processing units (TPU’er), der lover mere effektivitet og skalerbarhed.

Geopolitik og chipindustriens flaskehalse:
AI-chipproduktion afhænger af få globale chokepunkter, såsom ASML’s litografimaskiner og TSMC’s avancerede fabrikker i Taiwan. USA har brugt disse afhængigheder til at begrænse Kinas adgang til avancerede chips, hvilket har tvunget Kina til at investere massivt i deres egen chipindustri. Samtidig investerer andre lande som Tyskland, Japan og Indien milliarder i deres chipkapacitet.

Fremtiden:
Med voksende investeringer og nye teknologier forventes AI-chips at blive mere tilgængelige, hvilket kan fjerne en af AI’s største begrænsninger og accelerere udviklingen yderligere.