Физическите граници на изкуствения интелект

Краят на мащабирането на Денард и забавянето на закона на Мур

Законът на Мур, според който изчислителните възможности се удвояват приблизително на всеки две години, по думите на Лойд е „закон на човешката изобретателност, а не на природата“ и в някакъв момент ще престане да действа^[8]. Мащабирането на Денард — правилото, формулирано в статия от 1974 г., според което при смаляването на транзисторите плътността на мощността им остава постоянна — престава да действа около 2005–2007 г., защото токът на утечка и праговото напрежение не намаляват с размерите и плътността на мощността започва да расте^[9]. От 2005 г. тактовата честота на процесорите застива около 4–6 GHz, а производителите преминават към многоядрени чипове, при които само част от схемата може да работи едновременно, без да надхвърли допустимата мощност — т.нар. тъмен силиций^[10].

Според архитектите на микропроцесори от около 2010 г. напредъкът на полупроводниците в цялата индустрия се забавя под темпа, предвиден от закона на Мур^[11]. Оценките за бъдещето му се разминават и не са безпристрастни: през септември 2022 г. ръководителят на Nvidia Дженсън Хуанг обявява закона за мъртъв, обосновавайки поскъпването на видеокартите си, докато тогавашният главен изпълнителен директор на Intel Пат Гелсингер застъпва обратното^[12].

Сходно се забавя и т.нар. закон на Куми: около половин век броят изчисления на джаул разсеяна енергия се удвоява на всеки 1,57 години, но след 2000 г. — едва на около 2,6 години, което се свързва със забавянето на закона на Мур и с края на мащабирането на Денард около 2005 г.^[13] Въпреки това по данни на Epoch AI енергийната ефективност на графичните процесори продължава да расте с около 34% годишно от 2008 г. насам и се удвоява средно на всеки 2,4 години — близо до забавения темп по закона на Куми^[14].

Стената на паметта

Изследване на Амир Голами и колеги от Калифорнийския университет в Бъркли показва, че за двадесет години върховата изчислителна мощ на сървърния хардуер нараства около шестдесет хиляди пъти, докато честотната лента на DRAM паметта — около 100 пъти, а на връзките между устройствата — около 30 пъти^[15]. В същото време броят на параметрите на големите модели-трансформъри нараства около 410 пъти на всеки две години, а паметта на един графичен процесор — само двойно за същия период^[16]. Според авторите това прави паметта, а не изчисленията, основното ограничение за приложенията на ИИ, особено при обслужването на заявки, а при моделите-декодери, към които принадлежат големите езикови модели от типа на GPT, честотната лента на паметта може да стане доминиращото тясно място^[17].

Данните на Epoch AI потвърждават тенденцията: честотната лента на паметта на графичните процесори расте от 2008 г. с около 28% годишно, т.е. се удвоява на около 2,8 години^[18]. Част от отговора е софтуерен (вж. Отворени и локални модели на изкуствения интелект): при изпълнението на готов модел квантизацията до 4-битова точност (INT4) по сегашните методи е сравнително лесна, почти не влошава точността и намалява обема на модела и латентността до 8 пъти^[19].

Индустриалният отговор е паметта с висока честотна лента (HBM), създадена именно за да събори стената на паметта: до 12 изтънени DRAM кристала се подреждат един върху друг, поставят се на по-малко от милиметър от графичния процесор и се свързват с него с до 2048 микроскопични връзки^[20].

Недостигът на памет с висока честотна лента

В доклада „Ключови въпроси за енергията и ИИ“ Международната агенция по енергетика (МАЕ) отбелязва, че скоростта на революцията в ИИ все повече контрастира със скоростта на физическите, социалните и икономическите системи, на които тя се опира, а тесните места в енергийното оборудване и производството на модерни чипове са се затегнали^[21]. Според IEEE Spectrum недостигът на памет е резултат от сблъсъка между силно цикличния пазар на DRAM и безпрецедентното изграждане на инфраструктура за ИИ: след срива на търсенето през 2022 г. и рецесията през 2023 г. производителите почти не инвестират в нов капацитет през 2024 г. и по-голямата част от 2025 г.^[22]

По данни на Counterpoint Research цените на DRAM се покачват с 80 до 90% само за едно тримесечие, а Micron очаква пазарът на HBM да нарасне от 35 млрд. долара през 2025 г. до 100 млрд. долара през 2028 г.^[23] Новите заводи на Micron, Samsung и SK Hynix ще започнат производство едва през 2027–2028 г., а ръководителят на Intel Лип-Бу Тан заявява, че облекчение няма да има до 2028 г.^[24] Epoch AI посочва като главни краткосрочни ограничения пред производството на ускорители корпусирането на чиповете — особено технологията CoWoS на TSMC, която обединява изчислителния кристал и стековете HBM — и капацитета за производство на HBM (вж. Полупроводниците и надпреварата за чипове)^[25].

Комуникация, латентност и надеждност при обучението

Meta обучава модела Llama 3 405B на до 16 хил. графични процесора H100 с мощност по 700 W, свързани в мрежа на три нива, и след внимателна настройка използва изчислителната им мощ с ефективност около 38–43% от теоретичния максимум^[26]. Тъй като обучението е синхронно, отказът на един-единствен процесор може да наложи рестартиране на цялата задача, а според собствения доклад на Meta за 54 дни от предварителното обучение екипът регистрира 466 прекъсвания, от които 419 непланирани — около 78% от тях заради потвърдени или предполагаеми хардуерни проблеми и 58,7% заради графичните процесори^[27]. При 16 384 графични процесора това прави средно по една повреда на всеки три часа, а повече от половината непланирани прекъсвания са причинени от самите процесори или от вградената в тях памет HBM3^[28].

При обучение, разпределено между отдалечени центрове за данни, се намесва скоростта на светлината: в оптичното влакно сигналът се движи с около две трети от нея и по оценка на Epoch AI една обиколка от 11 000 км между големите центрове в САЩ би отнела около 55 ms, а синхронизацията — 110 ms, като това закъснение не може да бъде намалено, докато връзката е оптична^[29]. По-фундаментална е стената на латентността: по-големите модели изискват повече последователни операции, а увеличаването на броя примери, обработвани паралелно (размера на пакета), носи намаляваща полза над определена критична стойност, което слага горна граница на изчисленията в даден срок^[30]. Според модел на Еге Ердил и Дейвид Шнайдер-Джоузеф от Epoch AI при тримесечно обучение тесните места в преноса на данни започват съществено да намаляват използването на хардуера над около 10²⁸ FLOP — два порядъка над най-голямото обучение дотогава, — а обучение над около 10³¹ FLOP е невъзможно дори при ниско използване, освен ако не се постигне по-агресивно увеличаване на пакетите или по-„къси и широки“ модели^[31].

Самият пренос струва енергия: според Дженсън Хуанг при сегашните оптични трансивъри всеки графичен процесор би се нуждаел от шест от тях, добавящи 180 W, затова Nvidia и TSMC разработват оптика, интегрирана в корпуса на комутаторите Spectrum-X, планирани за втората половина на 2026 г.^[32]

Топлина и енергия

Плътността на мощността расте рязко: Nvidia планира за втората половина на 2027 г. шкаф Kyber с течно охлаждане и консумация около 600 kW, докато операторите едва се подготвят за шкафове от около 130 kW^[33]. Охлаждането, водата и натоварването на електроенергийните мрежи са разгледани подробно в статията Центровете за данни и енергията за изкуствения интелект; по оценка на МАЕ потреблението на центровете за данни ще нарасне от 485 TWh през 2025 г. до 950 TWh през 2030 г.^[34] Epoch AI изчислява, че мощността за най-големите отделни обучения расте с около 2,2 пъти годишно, вече надхвърля 100 MW и при запазване на тенденцията ще достигне 4–16 GW до 2030 г.^[35]

Принципът на Ландауер

През 1961 г. Ролф Ландауер от IBM формулира принципа, че необратимата промяна на информацията в компютъра, например изтриването на бит, разсейва минимално количество топлина, което при стайна температура е около 0,018 eV, или 2,9 × 10⁻²¹ J, а към 2012 г. компютрите изразходват около милиард пъти повече енергия за операция^[36]. Тази граница е kT ln 2 на изтрит бит, където k е константата на Болцман, а T — работната температура, и не важи за обратимите изчисления^[37].

Принципът е потвърден експериментално в опит, публикуван в Nature през март 2012 г.: ролята на еднобитова памет играе една колоидна частица в модулиран потенциал с две ями, а средната разсеяна топлина при дълги цикли на изтриване се изравнява със стойността, предсказана от Ландауер^[38]. Границата обаче важи само за безкрайно бавно изтриване: през 2020 г. е показано, че изтриването за крайно време изисква допълнителна работа, обратно пропорционална на продължителността му, така че скоростта на хардуера пряко влиза в минималната цена^[39]. Принципът е широко приет като физичен закон, но някои автори го оспорват с аргументи за кръгово разсъждение и погрешни допускания, докато други го защитават и го извеждат от втория закон на термодинамиката^[40].

Обратимите изчисления

Според застъпниците на обратимите изчисления — при които от изхода може еднозначно да се възстанови входът, а енергията на сигналите се възстановява и използва отново, вместо да се разсейва като топлина — това е единственият потенциален начин ефективността да надмине границата на Ландауер^[41]. Логическата обратимост обаче не носи автоматично икономия: неравновесната статистическа физика показва, че тя не е непременно свързана с термодинамичната обратимост и ползата зависи от физическата реализация^[42]. Практическите опити са в начален стадий: лондонската Vaire Computing съобщава през септември 2025 г., че тестовият ѝ чип Ice River (22 nm CMOS) е демонстрирал възстановяване на енергия, но не и изчисления с обратими логически елементи, а процесор за изпълнение на модели на ИИ планира за 2027 г.^[43]

Крайните граници на изчисленията

Границата на Бремерман, изведена от еквивалентността между маса и енергия и от принципа на неопределеността на Хайзенберг, ограничава скоростта на изчисленията в самостоятелна система до c²/h ≈ 1,3563925 × 10⁵⁰ бита в секунда на килограм маса^[44]. Сет Лойд изчислява, че „най-добрият лаптоп“ — компютър с маса един килограм и обем един литър — би могъл да извършва най-много 5,4258 × 10⁵⁰ логически операции в секунда^[45]. Според него, ако — което изглежда крайно невероятно — експоненциалният напредък по закона на Мур продължи, ще са нужни двеста и петдесет години, за да се преодолеят четиридесетте порядъка между тогавашните компютри и този теоретичен предел^[46].

Колко далеч са днешните чипове

Оценките колко далеч е техниката от границата на Ландауер се разминават с порядъци: според обзорни оценки тя е била милиони пъти под консумацията на компютрите през 2000-те и хиляди пъти под нея през 2010-те години^[47]. Разликите идват отчасти от допусканията колко бита се изтриват при една операция: при удвояване на ефективността на всеки 2,6 години най-ефективните суперкомпютри биха достигнали границата едва след няколко десетилетия^[48].

По-конкретен е анализът на Ансън Хо, Еге Ердил и Тамай Бесироглу от Epoch AI, които моделират разходите за превключване на транзисторите и за зареждане на проводниците и получават граница на CMOS технологията от около 2,9 × 10¹⁴ FLOP/J при 16-битова точност срещу около 1,4 × 10¹² FLOP/J за графичния процесор H100, т.е. с 50% вероятност подобренията ще спрат преди приблизително 200-кратен напредък^[49]. Дори при тази граница едно годишно обучение, разполагащо с енергия, равна на цялото световно първично енергопотребление през 2021 г., би могло да използва около 10³⁵ FLOP — приблизително десет милиарда пъти повече изчисления, отколкото за GPT-4^[50].

Сравнение с човешкия мозък

Човешкият мозък е около 2% от теглото на тялото, но поема около 20% от метаболизма му и работи с енергиен бюджет от около 20 W — при 80 W за компютъра, на който физикът Виджай Баласубраманиан пише статията си в PNAS^[51]. По изчисления на Леви и Калвърт сивото вещество на кората използва около 3 W от 17–20 W, които мозъкът получава от глюкозата, а процесите, свързани с комуникацията между невроните, изразходват 35 пъти повече енергия от самите изчисления^[52]. И мозъкът е далеч от термодинамичния минимум: по същата оценка невроните изразходват около сто милиона пъти повече енергия на бит изчисление от идеализираната граница на Ландауер, макар Баласубраманиан да предупреждава, че такива сравнения зависят от допусканията какво е изчисление и какви ограничения налагат живите клетки^[53].

Алгоритмичната ефективност

Част от напредъка идва от по-добрите алгоритми: Дани Ернандес и Том Браун от OpenAI установяват, че изчисленията, нужни за обучение на класификатор до нивото на AlexNet върху ImageNet, намаляват 44 пъти между 2012 и 2019 г., т.е. ефективността се удвоява на всеки 16 месеца, докато законът на Мур би дал за същия период само 11-кратно подобрение^[54]. При езиковите модели Ансън Хо и съавтори от Epoch AI анализират над 200 оценки от периода 2012–2023 г. и стигат до намаляване наполовина на нужните изчисления приблизително на всеки 8 месеца, с 95% доверителен интервал от около 5 до 14 месеца — значително по-бързо от напредъка на хардуера по закона на Мур^[55]. Въпреки това по-голям принос за подобренията през този период има нарастването на изчислителната мощ, а авторите признават, че анализът е ограничен от шумните данни на бенчмарковете^[56].

Може ли мащабирането да продължи до 2030 г.

Epoch AI разглежда четири фактора, които могат да ограничат мащабирането: наличната електрическа мощност, капацитета за производство на чипове, недостига на данни и стената на латентността — неизбежните закъснения при последователните изчисления по време на обучението^[57]. Организацията заключава, че при сегашния темп от около 4 пъти годишно до 2030 г. ще бъдат технически възможни обучения, които надминават GPT-4 толкова, колкото GPT-4 надминава GPT-2 — около 5000 пъти повече изчисления от обучението на Llama 3.1 405B^[58]. Най-обвързващи са мощността и наличието на чипове; от двете мощността е по-гъвкава, защото енергетиката е по-малко концентрирана, докато новите заводи за чипове изискват огромни капиталови инвестиции и високоспециализиран труд^[59]. Авторите подчертават голямата несигурност на тези оценки, които са екстраполации на исторически тенденции, а някои входни данни, като размера на пакетите при обучението на GPT-4, са само предположения^[60].

По данни на Epoch AI, актуализирани през февруари 2026 г., изчисленията за обучение на водещите езикови модели растат 5 пъти годишно от 2020 г., а цената на обучението — 3,5 пъти годишно^[61]. В разходите за разработка на модели като GPT-4 и Gemini Ultra хардуерът съставлява 47–67%, персоналът — 29–49%, а енергията — едва 2–6%^[62]. След 2030 г. според Epoch мащабът на изчисленията става главният източник на несигурност, тъй като първоначалните разходи за водещите модели достигат или надхвърлят стотици милиарди долари, а нуждите от енергия — капацитета на най-големите електроцентрали; затова физическите и икономическите граници са важен аргумент в дебатите за технологичната сингулярност, за самоусъвършенстващия се изкуствен интелект и за балон около изкуствения интелект^[63].

Алтернативни изчислителни подходи

Невроморфните системи подражават на мозъка, като обединяват паметта и изчисленията и свеждат до минимум преноса на данни; най-голямата такава система към 2024 г., Hala Point на Intel, съдържа 1,15 млрд. изкуствени неврона в 1152 процесора Loihi 2 и консумира най-много 2600 W, а компанията съобщава ефективност над 15 трилиона 8-битови операции в секунда на ват — но при мрежа, разредена в съотношение 10:1, и като изследователски прототип^[64].

Аналоговите изчисления в паметта извършват умноженията направо в паметовите клетки: експериментален чип, описан в Nature, съчетава 35 млн. елемента с фазово-преходна памет в 34 блока и достига до 12,4 трилиона операции в секунда на ват при разпознаване на реч^[65]. Разходите за пренос на данни, непълното използване на блоковете и неефективните цифрови изчисления обаче свалят върховите 20 TOPS/W на самия аналогов блок до 6,94 TOPS/W в устойчив режим^[66].

При фотонните процесори, които извършват тензорните операции със светлина, според екип на Lightmatter в Nature дотогава нито един чип не е постигал точността, нужна за практически приложения на ИИ, а новият им процесор изпълнява модели като ResNet и BERT с почти електронна точност при много натоварвания^[67]. Още по-несигурни са квантовите подходи: много от водещите учени в квантовото машинно обучение предупреждават за раздутите очаквания и са твърде сдържани относно практическата му полза в обозримо бъдеще^[68].

Доказателства към твърденията

1. Ultimate physical limits to computation (arXiv:quant-ph/9908043; Nature 406, 1047–1054)
   Seth Lloyd (MIT) / Nature · 2000-08-31
   Отвори източника
2. Ultimate physical limits to computation (arXiv:quant-ph/9908043; Nature 406, 1047–1054)
   Seth Lloyd (MIT) / Nature · 2000-08-31
   Отвори източника
3. Limits to the energy efficiency of CMOS microprocessors
   Epoch AI · 2023-12-15
   Отвори източника
4. AI and Memory Wall (Gholami, Yao, Kim, Hooper, Mahoney, Keutzer)
   University of California, Berkeley / arXiv (IEEE Micro) · 2024-03-21
   Отвори източника
5. Key Questions on Energy and AI — Executive summary
   International Energy Agency (IEA) · 2026-04-16
   Отвори източника
6. Can AI scaling continue through 2030?
   Epoch AI · 2024-08-20
   Отвори източника
7. Algorithmic progress in language models
   Anson Ho и др. (Epoch AI) / arXiv · 2024-03-09
   Отвори източника
8. Ultimate physical limits to computation (arXiv:quant-ph/9908043; Nature 406, 1047–1054)
   Seth Lloyd (MIT) / Nature · 2000-08-31
   Отвори източника
9. Dennard scaling
   Wikipedia
   Отвори източника
10. Dennard scaling
    Wikipedia
    Отвори източника
11. Moore's law
    Wikipedia
    Отвори източника
12. Moore's law
    Wikipedia
    Отвори източника
13. Koomey's law
    Wikipedia
    Отвори източника
14. Data on AI: trends (Epoch AI dashboard)
    Epoch AI · 2026-02-05
    Отвори източника
15. AI and Memory Wall (Gholami, Yao, Kim, Hooper, Mahoney, Keutzer)
    University of California, Berkeley / arXiv (IEEE Micro) · 2024-03-21
    Отвори източника
16. AI and Memory Wall (Gholami, Yao, Kim, Hooper, Mahoney, Keutzer)
    University of California, Berkeley / arXiv (IEEE Micro) · 2024-03-21
    Отвори източника
17. AI and Memory Wall (Gholami, Yao, Kim, Hooper, Mahoney, Keutzer)
    University of California, Berkeley / arXiv (IEEE Micro) · 2024-03-21
    Отвори източника
18. Data on AI: trends (Epoch AI dashboard)
    Epoch AI · 2026-02-05
    Отвори източника
19. AI and Memory Wall (Gholami, Yao, Kim, Hooper, Mahoney, Keutzer)
    University of California, Berkeley / arXiv (IEEE Micro) · 2024-03-21
    Отвори източника
20. How and When the Memory Chip Shortage Will End
    IEEE Spectrum (Samuel K. Moore) · 2026-02-10
    Отвори източника
21. Key Questions on Energy and AI — Executive summary
    International Energy Agency (IEA) · 2026-04-16
    Отвори източника
22. How and When the Memory Chip Shortage Will End
    IEEE Spectrum (Samuel K. Moore) · 2026-02-10
    Отвори източника
23. How and When the Memory Chip Shortage Will End
    IEEE Spectrum (Samuel K. Moore) · 2026-02-10
    Отвори източника
24. How and When the Memory Chip Shortage Will End
    IEEE Spectrum (Samuel K. Moore) · 2026-02-10
    Отвори източника
25. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
26. The Llama 3 Herd of Models
    Meta (arXiv) · 2024-07-31
    Отвори източника
27. The Llama 3 Herd of Models
    Meta (arXiv) · 2024-07-31
    Отвори източника
28. Meta report details hundreds of GPU and HBM3 related interruptions to Llama 3 training run
    DatacenterDynamics · 2024-07-29
    Отвори източника
29. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
30. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
31. Data movement limits to frontier model training
    Ege Erdil, David Schneider-Joseph (Epoch AI) / arXiv · 2024-11-02
    Отвори източника
32. Nvidia looks to silicon photonics to cut datacentre AI power
    eeNews Europe · 2025-03-21
    Отвори източника
33. Nvidia's Rubin Ultra NVL576 rack expected to be 600kW, coming second half of 2027
    DatacenterDynamics · 2025-03-18
    Отвори източника
34. Key Questions on Energy and AI — Executive summary
    International Energy Agency (IEA) · 2026-04-16
    Отвори източника
35. How much power will frontier AI training demand in 2030?
    Epoch AI · 2025-08-11
    Отвори източника
36. Landauer's principle
    Wikipedia
    Отвори източника
37. Limits of computation
    Wikipedia
    Отвори източника
38. Experimental verification of Landauer's principle linking information and thermodynamics (Bérut и др.)
    Nature · 2012-03-07
    Отвори източника
39. Landauer's principle
    Wikipedia
    Отвори източника
40. Landauer's principle
    Wikipedia
    Отвори източника
41. Reversible computing
    Wikipedia
    Отвори източника
42. Landauer's principle
    Wikipedia
    Отвори източника
43. Reversible computing
    Wikipedia
    Отвори източника
44. Bremermann's limit
    Wikipedia
    Отвори източника
45. Ultimate physical limits to computation (arXiv:quant-ph/9908043; Nature 406, 1047–1054)
    Seth Lloyd (MIT) / Nature · 2000-08-31
    Отвори източника
46. Ultimate physical limits to computation (arXiv:quant-ph/9908043; Nature 406, 1047–1054)
    Seth Lloyd (MIT) / Nature · 2000-08-31
    Отвори източника
47. Reversible computing
    Wikipedia
    Отвори източника
48. Koomey's law
    Wikipedia
    Отвори източника
49. Limits to the energy efficiency of CMOS microprocessors
    Epoch AI · 2023-12-15
    Отвори източника
50. Limits to the energy efficiency of CMOS microprocessors
    Epoch AI · 2023-12-15
    Отвори източника
51. Brain power (V. Balasubramanian, PNAS 118 (32), e2107022118)
    PNAS / PubMed Central · 2021
    Отвори източника
52. Brain power (V. Balasubramanian, PNAS 118 (32), e2107022118)
    PNAS / PubMed Central · 2021
    Отвори източника
53. Brain power (V. Balasubramanian, PNAS 118 (32), e2107022118)
    PNAS / PubMed Central · 2021
    Отвори източника
54. Measuring the Algorithmic Efficiency of Neural Networks
    Danny Hernandez, Tom B. Brown (OpenAI) / arXiv · 2020-05-08
    Отвори източника
55. Algorithmic progress in language models
    Anson Ho и др. (Epoch AI) / arXiv · 2024-03-09
    Отвори източника
56. Algorithmic progress in language models
    Anson Ho и др. (Epoch AI) / arXiv · 2024-03-09
    Отвори източника
57. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
58. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
59. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
60. Can AI scaling continue through 2030?
    Epoch AI · 2024-08-20
    Отвори източника
61. Data on AI: trends (Epoch AI dashboard)
    Epoch AI · 2026-02-05
    Отвори източника
62. How much does it cost to train frontier AI models?
    Epoch AI · 2024-06-03
    Отвори източника
63. How much power will frontier AI training demand in 2030?
    Epoch AI · 2025-08-11
    Отвори източника
64. Intel Builds World's Largest Neuromorphic System to Enable More Sustainable AI
    Intel Newsroom · 2024-04-17
    Отвори източника
65. An analog-AI chip for energy-efficient speech recognition and transcription
    Nature (IBM Research) · 2023-08-23
    Отвори източника
66. An analog-AI chip for energy-efficient speech recognition and transcription
    Nature (IBM Research) · 2023-08-23
    Отвори източника
67. Universal photonic artificial intelligence acceleration
    Nature (Lightmatter) · 2025-04-09
    Отвори източника
68. Quantum machine learning
    Wikipedia
    Отвори източника