L’argomentazione
L’ultimo decennio dell’intelligenza artificiale è stato definito da colli di bottiglia in movimento. Dapprima è stata la potenza di calcolo. Con il miglioramento dell’offerta, il vincolo si è spostato sulla memoria. Lo studio sostiene che il settore si trova ora in una terza transizione, e che il limite non si colloca più affatto all’interno del chip. Si colloca a livello di sistema e di infrastruttura. L’inquadramento è che l’IA sta passando da un problema di scalabilità incentrato sul chip a un problema di ottimizzazione della fabbrica di IA. Per fabbrica di IA si intende l’intero sistema industriale necessario a produrre risultati di IA: processori, memoria, rete, raffreddamento, conversione dell’energia e le infrastrutture di centro dati che li circondano. L’economia si misura come costo per token a livello di rack e di cluster, anziché come prestazione di picco di un singolo componente. Convergono tre vincoli. Il movimento dei dati. L’addestramento di frontiera fa lavorare in parallelo migliaia di acceleratori, per cui la banda passante e la latenza dell’interconnessione determinano quanto bene venga utilizzato l’hardware. Il rame diventa più pesante e più difficile da raffreddare man mano che i cluster crescono di dimensione, ed è per questo che la connettività ottica conta. La distribuzione dell’energia. Il vincolo non è quanti megawatt siano disponibili, ma come l’elettricità venga convertita, distribuita e gestita all’interno dell’impianto. Con l’aumento della densità dei rack, le architetture elettriche tradizionali diventano inefficienti e guadagnano terreno le soluzioni in corrente continua ad alta tensione. La flessibilità dell’energia. L’addestramento è episodico. L’inferenza è continua e variabile. Il problema si sposta dal garantirsi una generazione a regime stabile all’assorbire un carico volatile senza sovradimensionare la capacità fissa. Lo stoccaggio diventa una forma di scorta di energia, utile per rinviare investimenti in infrastrutture più che per il suo costo unitario. La spesa in conto capitale per l’IA si allarga quindi ben oltre i semiconduttori, verso l’ottica e l’interconnessione, la conversione dell’energia, la gestione termica, lo stoccaggio e le infrastrutture rivolte alla rete elettrica. La questione aperta è la rapidità con cui quella spesa si converte in ricavi.Pagine collegate
- Quanta sete ha l’industria dell’IA, la dipendenza dalle risorse che sta sotto questa costruzione.
- L’uranio, il collo di bottiglia strategico, da dove ci si attende che venga l’elettricità.
- Che cosa pubblica Bordier, la serie di ricerca a cui appartiene questo studio.
- Bordier a Singapore, l’entità che pubblica questa serie.
Informazioni di carattere generale. Non si tratta di consulenza in materia di investimenti, né di una sollecitazione o di un’offerta. I requisiti di accesso, i servizi e le condizioni variano a seconda della giurisdizione e del cliente. Si rivolga al Suo banchiere per quanto riguarda la Sua situazione personale.
Questa pagina è una traduzione. In caso di discrepanza tra questa versione e la versione inglese, prevale la versione inglese.