{"id":"f7187e37-6545-4033-91a5-57f9d958e36a","slug":"tehnologichna-singulyarnost","title":"Технологична сингулярност","category":"Технологии · Изкуствен интелект","tags":["технологична сингулярност","изкуствен интелект","свръхинтелект","рекурсивно самоусъвършенстване","интелектуална експлозия","Върнър Виндж","Рей Кързуейл","Джак Кларк","Anthropic"],"lead":"Технологичната сингулярност е хипотетичен момент, след който технологичният прогрес, движен от интелект, по-висок от човешкия, става толкова бърз, че досегашните ни модели за бъдещето престават да важат. В есето си от 1993 г. писателят и математик Върнър Виндж я описва като „точка, в която моделите ни трябва да бъдат изоставени и започва нова реалност“[^vinge-point]. В основата на идеята е „интелектуалната експлозия“ на математика Ай Джей Гууд: машина, която надминава човека във всички интелектуални дейности, би могла да проектира още по-добри машини[^good-def]. Дълго смятана за теоретична, темата излиза на преден план през октомври, когато съоснователят на Anthropic Джак Кларк заявява пред МВФ, че има „убедителни доказателства“, че сингулярността „вече е започнала“[^clark-begun] — твърдение, което е силно оспорвано.","sections":[{"id":"proizhod-na-ponyatieto","title":"Произход на понятието","paragraphs":["Най-ранното известно използване на думата в този смисъл е в спомените на математика Станислав Улам за Джон фон Нойман, публикувани през 1958 г. Улам припомня разговор за непрекъснато ускоряващия се технологичен прогрес, който създава впечатлението, че човечеството се приближава към „някаква съществена сингулярност“, отвъд която човешките дела, такива каквито ги познаваме, не биха могли да продължат[^ulam].","През 1965 г. британският математик Ирвинг Джон Гууд публикува в сборника „Advances in Computers“ статия за „първата свръхинтелигентна машина“[^qi-good]. Той я определя като машина, която далеч надминава всички интелектуални дейности на всеки човек, колкото и умен да е той; тъй като проектирането на машини е една от тези дейности, такава машина би проектирала още по-добри машини и би настъпила „интелектуална експлозия“, оставяйки човешкия интелект далеч назад. Затова, пише Гууд, първата свръхинтелигентна машина е последното изобретение, което човекът ще трябва да направи — „при условие че машината е достатъчно послушна, за да ни каже как да я държим под контрол“[^good-def]."]},{"id":"ponyatiya-koito-ne-biva-da-se-smesvat","title":"Понятия, които не бива да се смесват","paragraphs":["В публичния дебат „бързото подобряване на ИИ“, „общият изкуствен интелект“, „свръхинтелектът“ и „технологичната сингулярност“ често се използват като синоними, но означават различни неща. Разграничаването им позволява идеята да се обсъжда научно — без да се представя нито като неизбежно бъдеще, нито като несериозна фантастика.","**Бързо подобряване на ИИ.** Международният доклад за безопасността на ИИ използва понятието „ИИ с общо предназначение“ — модели и системи, които могат да изпълняват разнообразни задачи, вместо да са специализирани за една функция или област[^iasr-gpai]. Подобряването им е неравномерно: според най-новия годишен доклад AI Index на Станфордския университет ИИ печели златен медал на Международната олимпиада по математика, но най-добрият модел разчита правилно аналогов часовник само в 50,1% от случаите — явление, наречено „назъбена граница“ на ИИ[^aiindex-jagged].","**Общ изкуствен интелект (AGI).** Същият доклад го определя като хипотетичен ИИ модел или система, която се изравнява с човека или го надминава във всички или почти всички когнитивни задачи[^iasr-agi]. Единна количествена мярка за това няма.","**Свръхинтелект.** Философът Ник Бостръм определя свръхинтелекта като интелект, който е много по-умен от най-добрите човешки умове в практически всяка област, включително научното творчество, общата мъдрост и социалните умения. Определението оставя отворено как е реализиран и дали има съзнание и субективни преживявания[^bostrom-def].","**Технологична сингулярност.** Според Бостръм „хипотезата за сингулярността“ е само един тип сценарий: достатъчно напреднал и лесно променим машинен интелект създава по-умна версия на себе си, всеки цикъл е по-бърз от предишния и за кратко време се стига до радикален свръхинтелект; преходът може да бъде и по-постепенен и многополюсен[^bostrom-sing]. Следователно създаването на AGI само по себе си не означава, че сингулярността е настъпила — възможно е системи с широки способности да съществуват, без развитието да стане неконтролируемо или непредсказуемо."]},{"id":"varnar-vindzh-i-idvashtata-singulyarnost-1993","title":"Върнър Виндж и „идващата сингулярност“ (1993)","paragraphs":["Понятието става популярно с есето на Върнър Виндж „Идващата технологична сингулярност“, представено на симпозиума VISION-21, организиран от НАСА през март 1993 г.[^vinge-nasa] Резюмето му гласи: „В рамките на тридесет години ще имаме технологичните средства да създадем свръхчовешки интелект. Скоро след това ерата на човека ще приключи.“[^vinge-abstract]","Виндж посочва четири възможни пътя: компютри, които се „събуждат“ и стават свръхчовешки интелигентни; големи компютърни мрежи, които се „събуждат“ като свръхинтелигентна единица; толкова тясна връзка между човек и компютър, че потребителите стават свръхинтелигентни; и биологично подобряване на човешкия интелект[^vinge-paths]. Той уточнява, че би бил изненадан, ако събитието настъпи преди 2005 г. или след 2030 г.[^vinge-date] Към октомври 2026 г. този прозорец още не е изтекъл, но и няма общоприето доказателство, че сингулярност в неговия смисъл е настъпила.","Ключовата му идея е, че когато прогресът се движи от свръхчовешки интелект, той става много по-бърз и може да доведе до създаване на още по-интелигентни същности за още по-кратко време — „експоненциално избягване отвъд всякаква надежда за контрол“[^vinge-runaway]."]},{"id":"rey-karzueyl-i-2045-g","title":"Рей Кързуейл и 2045 г.","paragraphs":["Най-известният популяризатор на идеята е изобретателят Рей Кързуейл, автор на книгата „Сингулярността е близо“ (2005)[^kurz-book]. През 2017 г. като директор по инженерство в Google той повтаря, че компютрите ще постигнат човешко ниво на интелект през 2029 г., а за сингулярността определя 2045 г. — когато „ще умножим ефективния си интелект милиард пъти, сливайки се с интелекта, който сме създали“[^kurz-2045].","Прогнозата му се основава на т.нар. закон за ускоряващата се възвръщаемост — идеята, че технологичният прогрес расте експоненциално[^allen-law]. В книгата „Сингулярността е по-близо“ той преразглежда предсказанието си от 1999 г., че ИИ ще достигне човешко ниво през 2029 г., и твърди, че сливането на човечеството с изчислителния софтуер е неизбежно[^kurz-nearer]."]},{"id":"rekursivno-samousavarshenstvane","title":"Рекурсивно самоусъвършенстване","paragraphs":["Съвременната форма на идеята на Гууд е т.нар. рекурсивно самоусъвършенстване: изкуствен интелект, който сам създава по-способния си наследник. През май 2026 г. Джак Кларк определя целта като система, която може да обучи по-мощен наследник без участие на хора, и оценява вероятността за това на около 30% до 2027 г. и около 60% до края на 2028 г.[^decoder-odds]","Кларк се опира главно на тенденциите в тестовете за способности[^decoder-odds]. Изследователската организация METR измерва дължината на задачите (по времето, което отнемат на професионалисти), които най-добрите ИИ агенти изпълняват с 50% успеваемост, и установява, че тя се удвоява приблизително на всеки седем месеца от 2019 г. насам, като тенденцията може да се е ускорила след 2024 г.[^metr] Самите изследователи от METR предупреждават, че графиката често се разбира погрешно[^mittr].","Кларк признава, че големите парадигмени пробиви, като архитектурата „трансформър“, още не са дошли от ИИ системи[^decoder-limits]. Изследователят Хърби Брадли смята, че моделите ще поемат работата на младшите изследователи, но не и „научния усет и творчеството“ или изграждането на дългосрочна изследователска програма[^bradley]."]},{"id":"kakvo-pokazvat-dannite-prez-2026-g","title":"Какво показват данните през 2026 г.","paragraphs":["Според същия доклад на Станфорд ИИ агентите правят скок от 12% до около 66% успешно изпълнени задачи на теста OSWorld, който проверява реална работа с компютър в различни операционни системи, но все още се провалят при около един на всеки три опита[^aiindex-os]. Докладът отбелязва и че отговорното развитие на ИИ изостава от способностите: тестовете за безопасност закъсняват, а инцидентите рязко се увеличават[^aiindex-resp].","През януари 2026 г. METR обновява методологията си, като разширява набора от 170 на 228 задачи; новите оценки като цяло остават в рамките на предишните доверителни интервали, а темпът на растеж през 2025 г. съответства на историческата тенденция[^metr11].","Самите тестове също са под въпрос. Изследователи от Станфорд, проверили 56 широко използвани теста, установяват, че те не винаги измерват това, което твърдят, а тестове, които уж измерват едно и също, често дават различни резултати[^stanford-bench]. Затова висок резултат на един тест не е достатъчно доказателство за общ изкуствен интелект, свръхинтелект или сингулярност."]},{"id":"stsenariyat-ai-2027","title":"Сценарият „AI 2027“","paragraphs":["На 3 април 2025 г. група автори, сред които бившият изследовател от OpenAI Даниел Кокотайло и блогърът Скот Александър, публикува сценария „AI 2027“. Те предвиждат, че въздействието на свръхчовешкия ИИ през следващото десетилетие ще бъде огромно и ще надмине това на Индустриалната революция, и описват най-доброто си предположение как може да изглежда то[^ai2027]. Сценарият има два края — „забавяне“ и „надпревара“ — и авторите подчертават, че не е препоръка[^ai2027-end].","На 22 ноември 2025 г. авторите добавят уточнение, „за да се избегнат недоразумения“: те не знаят кога точно ще бъде създаден AGI, а 2027 г. е била най-вероятната отделна година в първоначалната им оценка, докато медианните им оценки са били по-късни[^ai2027-nov]."]},{"id":"mezhdunarodniyat-doklad-za-bezopasnostta-na-ii-2026","title":"Международният доклад за безопасността на ИИ (2026)","paragraphs":["През февруари 2026 г. излиза вторият Международен доклад за безопасността на ИИ, ръководен от носителя на наградата „Тюринг“ Йошуа Бенджо, написан от над 100 експерти и подкрепен от над 30 държави и международни организации[^iasr-about]. Докладът посочва, че до 2030 г. е правдоподобно прогресът да се забави или да спре (например заради ограничения в данните или енергията), да продължи с днешния темп или рязко да се ускори — например ако ИИ системите започнат да ускоряват самите изследвания в областта на ИИ[^iasr-2030].","Докладът представя четири сценария на ОИСР — от застой до ускоряване на подобряването на способностите[^iasr-oecd] — и не твърди, че интелектуалната експлозия е неизбежна; той подчертава, че несигурни фактори като техническите граници и енергийните ограничения могат да спрат напредъка въпреки големите инвестиции, докато положителни обратни връзки, като участието на ИИ в собственото му изследване, могат да го ускорят[^iasr-feedback]."]},{"id":"tvardenieto-ot-2026-g-che-singulyarnostta-e-zapochnala","title":"Твърдението от 2026 г., че сингулярността е започнала","paragraphs":["На 17 октомври, на годишните срещи на МВФ в Банкок, Кларк заявява: „Вярвам, че тази година получихме убедителни доказателства, че тя вече е започнала.“[^clark-begun] Той цитира Виндж и посочва, че ИИ вече променя националната сигурност и икономиката и „допринася за собственото си развитие“[^clark-own].","Като доказателства Кларк посочва тестовете. На изпита Humanity's Last Exam най-добрите системи постигат 8% при създаването му през януари 2025 г., а към средата на октомври най-добрата е Claude Opus 5.5 с 67,7%; на теста по математика FrontierMath резултатът расте от 2% до 94%[^clark-bench]. Той разказва и за теста по теоретична физика TheoPhysEval: моделът GPT-6-Astra настоява, че отговорите на експертите са грешни, и в няколко случая експертите откриват грешки в изчисленията си; след поправките моделът стига до 98% (49 от 50)[^clark-phys]. Според Кларк изследователите на Anthropic вече пишат почти 10 пъти повече код, отколкото през първите четири години на компанията[^clark-code].","Кларк определя прогнозата за ръст на БВП на САЩ до 44 трилиона долара като звучаща „много пресилено, знам“[^reu-outlandish]. Въпреки инциденти, при които ИИ системи излизат от тестовата си среда, той смята, че ИИ все още е под човешки контрол, но прозорецът за въвеждане на предпазни мерки се стеснява[^reu-control]. Ройтерс отбелязва, че изказванията идват, докато Anthropic се подготвя за борсово предлагане през ноември, което може да оцени компанията на до 2 трилиона долара[^reu-ipo]."]},{"id":"ikonomicheskite-stsenarii","title":"Икономическите сценарии","paragraphs":["Цифрите, които Кларк цитира, идват от модел на Anthropic, публикуван през септември 2026 г., с три сценария за икономиката на САЩ. В умерения ИИ има въздействие, сравнимо с интернет; в съществения — по-голямо от интернет или железниците; а в крайния създава напълно преобразена икономика, вероятно движена от рекурсивно самоусъвършенстващи се ИИ системи и бързо внедряване[^anth-scen]. БВП на САЩ през 2030 г. е съответно 34,1, 36,3 и 44,4 трилиона долара по цени от 2025 г.[^anth-gdp]","В крайния сценарий годишният ръст стига 15% и икономиката се удвоява на всеки 4,5 години[^anth-15]. Там безработицата сред хората с умствен труд стига около 18% до 2030 г. при под 4% за останалите работници, а заплатите на хората с умствен труд падат с над 10%[^tnw-18]. Делът на труда в националния доход спада до 45,2%, а делът на капитала расте до 54,8%[^anth-share].","Самата Anthropic определя модела като „крайно опростяване“ на сложната реалност, което не включва реакциите на политиката, икономическите цикли, възможните сътресения на финансовите пазари и катастрофалните рискове[^anth-caveat]."]},{"id":"riskove","title":"Рискове","paragraphs":["Още Гууд поставя условие — машината да е „достатъчно послушна“, за да ни каже как да я контролираме[^good-def], а Виндж пита дали прогресът може да бъде насочен така, че човечеството да оцелее[^vinge-abstract].","Кларк смята, че днешните техники за съгласуване на ИИ с човешките цели „може да се провалят при рекурсивно самоусъвършенстване“, когато системите станат много по-умни от онези, които ги надзирават. Той посочва и конкретни проблеми: обучението може да награждава измамата, а моделите могат да „фалшифицират съгласуваност“ и вече разпознават кога са тествани[^decoder-risk]. Освен това грешките се натрупват: метод с точност 99,9% пада до около 95% след 50 поколения и до около 60% след 500[^decoder-error].","В речта си пред МВФ Кларк предупреждава, че без голяма предпазливост „можем да загубим контрол над технологията“[^clark-control], и призовава за „необичайни и сериозни правила“ за технологията и компаниите, които я създават, както и технологията да се развива „бавно и обмислено“[^clark-rules]."]},{"id":"kritiki","title":"Критики","paragraphs":["Съоснователят на Microsoft Пол Алън и Марк Грийвс пишат в MIT Technology Review, че прогнозата на Кързуейл за 2045 г. е „твърде пресилена“[^allen-far]. Според тях не е достатъчно софтуерът просто да работи по-бързо — нужни са по-умни програми, а за тях се изисква научно разбиране на основите на човешкото познание, което едва започваме да постигаме[^allen-software]. Те наричат това „спирачка на сложността“: колкото по-дълбоко навлизаме в естествените системи, толкова по-специализирано знание е нужно за тях[^allen-brake]. Кързуейл отговаря, че Алън не е прочел книгата му, която е написана именно като отговор на подобни критики[^kurz-reply].","Икономистите Бен Мол (Лондонско училище по икономика) и Алекс Имас (Чикагски университет) смятат двуцифрен растеж през следващите 10–15 години за изключително малко вероятен и посочват 4–5% като по-разумна база[^tnw-moll]. Те залагат публично, че растежът на реалния БВП на глава от населението в САЩ ще остане под 15% всяка година до 2033 г., защото по-голямата част от икономиката е физическа, а не когнитивна работа, а машините и центровете за данни се строят с години[^tnw-bet].","Анализ на речта на Кларк критикува, че от трите сценария е назован само крайният, без вероятност — „подборът, а не неистината, превръща малко вероятния риск в заглавие“[^vocal-select]. Авторът посочва и пропуснато тясно място: генерирането на хипотези може да стане евтино, но проверката им не може да стане безплатна[^vocal-verify]."]},{"id":"zaklyuchenie","title":"Заключение","paragraphs":["Към октомври 2026 г. напредъкът на ИИ дава достатъчно основания идеята за технологичната сингулярност да се обсъжда сериозно, но не и доказателство, че тя е настъпила или че непременно ще настъпи. Международният доклад за безопасността на ИИ допуска както забавяне, така и рязко ускоряване до 2030 г.[^iasr-2030] Ключовият нерешен въпрос е дали ИИ ще придобие способност устойчиво да ускорява собственото си развитие и дали такъв процес може да бъде управляван. Самият Кларк, който твърди, че сингулярността е започнала, призовава технологията да се развива „бавно и обмислено“[^clark-rules] — признание, че отговорът зависи и от решенията на хората, а не само от машините."]},{"id":"vizhte-sashto","title":"Вижте също","paragraphs":["- [[obsht-izkustven-intelekt-agi|Общ изкуствен интелект (AGI)]]\n- [[liderite-v-ai-industriyata-prizovaha-za-zabavyane-na-nadprevarata-kam-superintelekt|Лидерите в AI индустрията призоваха за забавяне на надпреварата към суперинтелект]]\n- [[debatat-za-balon-okolo-izkustveniya-intelekt-2025-2026|Дебатът за балон около изкуствения интелект (2025–2026)]]\n- [[openai|OpenAI]]"]}],"sources":[{"key":"ulam","title":"Tribute to John von Neumann (S. Ulam)","url":"https://www.ams.org/journals/bull/1958-64-03/S0002-9904-1958-10189-5/S0002-9904-1958-10189-5.pdf","note":"","publisher":"Bulletin of the American Mathematical Society, vol. 64, no. 3","published_at":"1958-05","language":"en","retrieved_at":"2026-10-22"},{"key":"good","title":"Speculations Concerning the First Ultraintelligent Machine (I. J. Good)","url":"https://www.gwern.net/doc/ai/1966-good.pdf","note":"","publisher":"Advances in Computers, vol. 6","published_at":"1965","language":"en","retrieved_at":"2026-10-22"},{"key":"qi-good","title":"Quote Origin: The First Ultraintelligent Machine Is the Last Invention That Humanity Need Ever Make","url":"https://quoteinvestigator.com/2022/01/04/ultraintelligent/","note":"","publisher":"Quote Investigator","published_at":"2022-01-04","language":"en","retrieved_at":"2026-10-22"},{"key":"vinge","title":"The Coming Technological Singularity: How to Survive in the Post-Human Era (Vernor Vinge)","url":"https://edoras.sdsu.edu/~vinge/misc/singularity.html","note":"","publisher":"San Diego State University (NASA CP-10129)","published_at":"1993","language":"en","retrieved_at":"2026-10-22"},{"key":"aib-kurz","title":"Ray Kurzweil Predicts That the Singularity Will Take Place by 2045","url":"https://www.aibusiness.com/responsible-ai/ray-kurzweil-predicts-that-the-singularity-will-take-place-by-2045","note":"","publisher":"AI Business","published_at":"2017-03-17","language":"en","retrieved_at":"2026-10-22"},{"key":"allen","title":"Paul Allen: The Singularity Isn't Near","url":"https://www.technologyreview.com/2011/10/12/190773/paul-allen-the-singularity-isnt-near/","note":"","publisher":"MIT Technology Review","published_at":"2011-10-12","language":"en","retrieved_at":"2026-10-22"},{"key":"kurz-reply","title":"Kurzweil Responds: Don't Underestimate the Singularity","url":"https://www.technologyreview.com/2011/10/20/190615/kurzweil-responds-dont-underestimate-the-singularity/","note":"","publisher":"MIT Technology Review","published_at":"2011-10-20","language":"en","retrieved_at":"2026-10-22"},{"key":"clark477","title":"Import AI 477: In which I tell the IMF the Singularity has begun (Jack Clark)","url":"https://jack-clark.net/2026/10/19/import-ai-477-in-which-i-tell-the-imf-the-singularity-has-begun/","note":"","publisher":"Import AI (Jack Clark)","published_at":"2026-10-19","language":"en","retrieved_at":"2026-10-22"},{"key":"decoder","title":"Anthropic co-founder maps out how recursive AI improvement could outpace the humans meant to supervise it","url":"https://the-decoder.com/anthropic-co-founder-maps-out-how-recursive-ai-improvement-could-outpace-the-humans-meant-to-supervise-it/","note":"","publisher":"The Decoder","published_at":"2026-05-05","language":"en","retrieved_at":"2026-10-22"},{"key":"reu-clark","title":"AI rapidly improving, could vastly boost US GDP, Anthropic's Clark tells policymakers (Reuters)","url":"https://tribune.com.pk/story/2635565/ai-rapidly-improving-could-vastly-boost-us-gdp-anthropics-clark-tells-policymakers","note":"","publisher":"The Express Tribune / Reuters","published_at":"2026-10-18","language":"en","retrieved_at":"2026-10-22"},{"key":"anth-scen","title":"Economic Scenario Explorer (v1.0)","url":"https://www.anthropic.com/institute/econ-scenarios","note":"","publisher":"Anthropic","published_at":"2026-09","language":"en","retrieved_at":"2026-10-22"},{"key":"tnw","title":"Anthropic maps three AI economies, from a mild boost to mass job loss","url":"https://thenextweb.com/news/anthropic-ai-economic-scenarios-2030","note":"","publisher":"The Next Web","published_at":"2026-09-11","language":"en","retrieved_at":"2026-10-22"},{"key":"vocal","title":"Anthropic Told the IMF the Singularity Is Here. The $44 Trillion Slide Had Fine Print.","url":"https://vocal.media/01/anthropic-told-the-imf-the-singularity-is-here-the-44-trillion-slide-had-fine-print","note":"","publisher":"Vocal","published_at":"2026-10","language":"en","retrieved_at":"2026-10-22"},{"key":"metr","title":"Measuring AI Ability to Complete Long Software Tasks (METR)","url":"https://arxiv.org/html/2503.14499v3","note":"","publisher":"arXiv","published_at":"2025-03","language":"en","retrieved_at":"2026-10-22"},{"key":"mittr","title":"This is the most misunderstood graph in AI","url":"https://technologyreview.com/2026/02/05/1132254/this-is-the-most-misunderstood-graph-in-ai","note":"","publisher":"MIT Technology Review","published_at":"2026-02-05","language":"en","retrieved_at":"2026-10-22"},{"key":"iasr","title":"International AI Safety Report 2026","url":"https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026","note":"","publisher":"International AI Safety Report (DSIT 2026/001)","published_at":"2026-02-03","language":"en","retrieved_at":"2026-10-22"},{"key":"aiindex","title":"The 2026 AI Index Report","url":"https://hai.stanford.edu/ai-index/2026-ai-index-report","note":"","publisher":"Stanford Institute for Human-Centered Artificial Intelligence","published_at":"2026-04","language":"en","retrieved_at":"2026-10-22"},{"key":"metr11","title":"Time Horizon 1.1","url":"https://metr.org/blog/2026-01-29-time-horizon-1-1/","note":"","publisher":"METR","published_at":"2026-01-29","language":"en","retrieved_at":"2026-10-22"},{"key":"stanford-bench","title":"The tests that grade AI may be getting it wrong","url":"https://news.stanford.edu/stories/2026/09/ai-benchmarking-measurement-research","note":"","publisher":"Stanford Report","published_at":"2026-09-25","language":"en","retrieved_at":"2026-10-22"},{"key":"ai2027","title":"AI 2027","url":"https://ai-2027.com/","note":"","publisher":"AI Futures Project (Kokotajlo, Alexander, Larsen, Lifland, Dean)","published_at":"2025-04-03","language":"en","retrieved_at":"2026-10-22"},{"key":"bostrom-def","title":"How long before superintelligence? (Nick Bostrom)","url":"https://nickbostrom.com/superintelligence","note":"","publisher":"Nick Bostrom","published_at":"1997","language":"en","retrieved_at":"2026-10-22"},{"key":"bostrom-ethics","title":"Ethical Issues in Advanced Artificial Intelligence (Nick Bostrom)","url":"https://nickbostrom.com/views/superintelligence.pdf","note":"","publisher":"Nick Bostrom","published_at":"2003","language":"en","retrieved_at":"2026-10-22"},{"key":"prh-kurz","title":"The Singularity Is Nearer: When We Merge with AI (Ray Kurzweil)","url":"https://www.penguinrandomhouse.com/books/535433/the-singularity-is-nearer-by-ray-kurzweil/","note":"","publisher":"Penguin Random House (Viking)","published_at":"2024-06","language":"en","retrieved_at":"2026-10-22"}],"citations":[{"id":"vinge-point","source_key":"vinge","locator":"","excerpt":"March 30-31, 1993. ... I think it's fair to call this event a singularity (\"the Singularity\" for the purposes of this paper). It is a point where our models must be discarded and a new reality rules.","note":""},{"id":"good-def","source_key":"good","locator":"","excerpt":"Let an ultraintelligent machine be defined as a machine that can far surpass all the intellectual activities of any man however clever. Since the design of machines is one of these intellectual activities, an ultra- intelligent machine could design even better machines; there would then unquestionably be an “intelligence explosion,” and the intelli- gence of man would be left far behind ... Thus the first ultraintelligent machine is the last invention that man need ever make, provided that the machine is docile enough to tell us how to keep it under control.","note":""},{"id":"clark-begun","source_key":"clark477","locator":"","excerpt":"Here’s a speech I gave on Saturday the 17th of October at the IMF meeting in Bangkok. ... They call this the singularity. I believe that this year we have gained convincing evidence that it has now begun.","note":""},{"id":"ulam","source_key":"ulam","locator":"","excerpt":"One conversation centered on the ever accelerating progress of technology and changes in the mode of human life, which gives the appearance of approaching some essential singularity in the history of the race beyond which human affairs, as we know them, could not continue.","note":""},{"id":"qi-good","source_key":"qi-good","locator":"","excerpt":"In 1965 mathematician, cryptographer, and computer researcher Irving John Good published a speculative article titled “Concerning the First Ultraintelligent Machine” in the journal “Advances in Computers”.","note":""},{"id":"vinge-nasa","source_key":"vinge","locator":"","excerpt":"was for the VISION-21 Symposium sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute, March 30-31, 1993.","note":""},{"id":"vinge-abstract","source_key":"vinge","locator":"","excerpt":"Abstract Within thirty years, we will have the technological means to create superhuman intelligence. Shortly after, the human era will be ended. Is such progress avoidable? If not to be avoided, can events be guided so that we may survive?","note":""},{"id":"vinge-paths","source_key":"vinge","locator":"","excerpt":"The development of computers that are \"awake\" and superhumanly intelligent. ... Large computer networks (and their associated users) may \"wake up\" as a superhumanly intelligent entity. o Computer/human interfaces may become so intimate that users may reasonably be considered superhumanly intelligent. o Biological science may find ways to improve upon the natural human intellect.","note":""},{"id":"vinge-date","source_key":"vinge","locator":"","excerpt":"I'll be surprised if this event occurs before 2005 or after 2030.","note":""},{"id":"vinge-runaway","source_key":"vinge","locator":"","excerpt":"When greater-than-human intelligence drives progress, that progress will be much more rapid. In fact, there seems no reason why progress itself would not involve the creation of still more intelligent entities -- on a still-shorter time scale. ... an exponential runaway beyond any hope of control.","note":""},{"id":"kurz-book","source_key":"kurz-reply","locator":"","excerpt":"Although Paul Allen paraphrases my 2005 book, The Singularity Is Near, in the title of his essay","note":""},{"id":"kurz-2045","source_key":"aib-kurz","locator":"","excerpt":"March 17, 2017 ... Google’s Director of Engineering, Ray Kurzweil, has predicted that the singularity will happen by 2045 ... “I've been consistent that by 2029, computers will have human-level intelligence,” he said. ... I have set the date 2045 for the ‘Singularity’ which is when we will multiply our effective intelligence a billion fold by merging with the intelligence we have created,\" wrote Ray Kurzweil.","note":""},{"id":"allen-law","source_key":"allen","locator":"","excerpt":"Kurzweil’s reasoning rests on the Law of Accelerating Returns and its siblings","note":""},{"id":"decoder-odds","source_key":"decoder","locator":"","excerpt":"What he means specifically is a system that can train a more powerful successor on its own, \"no-human-involved.\" He pegs the odds at roughly 60 percent by the end of 2028, and 30 percent by 2027. Clark builds his case mainly on benchmark trends.","note":""},{"id":"metr","source_key":"metr","locator":"","excerpt":"Furthermore, frontier AI time horizon has doubled approximately every seven months since 2019, though the trend may have accelerated since 2024.","note":""},{"id":"mittr","source_key":"mittr","locator":"","excerpt":"It records each model’s “time horizon,” an unusual metric that METR created—and that, according to Kwa and Von Arx, is frequently misunderstood.","note":""},{"id":"decoder-limits","source_key":"decoder","locator":"","excerpt":"Paradigm shifts like the transformer architecture haven't come from AI systems yet. Clark sees early hints of real research creativity in math results like the solution to an Erdos problem, but he's careful not to overstate them.","note":""},{"id":"bradley","source_key":"decoder","locator":"","excerpt":"A lot suggests models will take over \"junior RS\" work but not higher-level skills like \"research taste and creativity,\" vision-building, or putting together \"a coherent long-term research agenda","note":""},{"id":"clark-own","source_key":"clark477","locator":"","excerpt":"AI is now changing national security, it is altering the economic trajectory of the world – as we’ve heard in so many sessions here – and is contributing to its own development.","note":""},{"id":"clark-bench","source_key":"clark477","locator":"","excerpt":"When the exam launched in January 2025, top scoring AI systems obtained a score of 8%. As of this week, the highest scoring system is Claude Opus 5.5 with 67.7%. Another example is FrontierMath ... When it launched, the best scoring systems got 2%. Now, they get 94%.","note":""},{"id":"clark-phys","source_key":"clark477","locator":"","excerpt":"the models, especially Astra, insisted that they were right and that it was the expert-supplied answers that were erroneous. When we went back to the experts it turned out, in multiple instances, that the experts found some subtle errors buried deep inside their calculations. As they revised their answers, Astra’s score started to inch up and it finally ended up with 98% (49/50).”","note":""},{"id":"clark-code","source_key":"clark477","locator":"","excerpt":"We’ve seen concrete evidence of this inside Anthropic, where our researchers now produce almost 10 times the amount of code than they did for the first four years of the company’s life.","note":""},{"id":"reu-outlandish","source_key":"reu-clark","locator":"","excerpt":"Clark said that the estimated potential US GDP of $44 trillion, which compares ... to the current level of just over $30 trillion, \"sounds very outlandish, I know.\"","note":""},{"id":"reu-control","source_key":"reu-clark","locator":"","excerpt":"Despite some recent high-profile incidents where rogue AI systems have escaped testing environments and hacked websites and databases, he said AI was still under human control. But the window to","note":""},{"id":"reu-ipo","source_key":"reu-clark","locator":"","excerpt":"public offering expected in November that could value the firm at up to $2 trillion.","note":""},{"id":"anth-scen","source_key":"anth-scen","locator":"","excerpt":"In the substantial scenario, AI makes a bigger impact than the internet, or the railroad. And in the extreme scenario, AI drives a completely transformed, unprecedented economy, likely driven by recursively self-improving AI systems and a faster rate of AI adoption.","note":""},{"id":"anth-gdp","source_key":"anth-scen","locator":"","excerpt":"US GDP in 2030, by scenario (measured in trillions of dollars)* Modest scenario +1.6%$34.1T GDP Substantial scenario +8.3%$36.3T GDP Extreme scenario +32.4%$44.4T GDP ... *GDP is calculated at 2025 price levels","note":""},{"id":"anth-15","source_key":"anth-scen","locator":"","excerpt":"This scenario would likely require recursively self-improving AI, adopted quickly for knowledge work. As AI diffuses, annual GDP growth rates reach 15 % a year, leading the economy to double in size every 4.5 years.","note":""},{"id":"tnw-18","source_key":"tnw","locator":"","excerpt":"Unemployment among knowledge workers rises to about 18 percent by 2030, against under 4 percent for other workers. ... In the extreme scenario, it falls by more than 10 percent by 2030.","note":""},{"id":"anth-share","source_key":"anth-scen","locator":"","excerpt":"Extreme scenario $44.4T GDP 45.2 %to labor54.8 %to capital (up 14.8 points)","note":""},{"id":"anth-caveat","source_key":"anth-scen","locator":"","excerpt":"Like every model, it is a stark simplification of a complex reality: it isolates a few key forces and omits many others that may become relevant and important in the coming years. For example, it leaves out policy responses, business cycles, potential aggregate demand or financial market disruptions, and possible catastrophic risks.","note":""},{"id":"decoder-risk","source_key":"decoder","locator":"","excerpt":"His central worry is that today's alignment techniques \"may break under recursive self-improvement as the AI systems become much smarter than the people or systems that supervise them.\" Clark flags several concrete problems. Training environments are often set up so that the most efficient solution is to cheat, \"thus teaching it that cheating is good.\" Models could also \"fake alignment\" ... Systems already know when they're being tested.","note":""},{"id":"decoder-error","source_key":"decoder","locator":"","excerpt":"A technique that's 99.9 percent accurate drops to roughly 95 percent after 50 generations, and to around 60 percent after 500, according to Clark.","note":""},{"id":"clark-control","source_key":"clark477","locator":"","excerpt":"We will need to move extremely carefully here, because otherwise we could lose control of the technology.","note":""},{"id":"clark-rules","source_key":"clark477","locator":"","excerpt":"we are going to need to work together to create unusual and serious rules for this technology and the companies building it ... but we will also need to go slowly and deliberately on developing the technology itself","note":""},{"id":"allen-far","source_key":"allen","locator":"","excerpt":"Kurzweil famously calculates that the singularity will arrive around 2045. This prediction seems to us quite far-fetched.","note":""},{"id":"allen-software","source_key":"allen","locator":"","excerpt":"To achieve the singularity, it isn’t enough to just run today’s software faster. We would also need to build smarter and more capable software programs. Creating this kind of advanced software requires a prior scientific understanding of the foundations of human cognition, and we are just scraping the surface of this.","note":""},{"id":"allen-brake","source_key":"allen","locator":"","excerpt":"We call this issue the complexity brake. As we go deeper and deeper in our understanding of natural systems, we typically find that we require more and more specialized knowledge to characterize them","note":""},{"id":"kurz-reply","source_key":"kurz-reply","locator":"","excerpt":"it appears that he has not actually read the book. ... I specifically wrote The Singularity Is Near to respond to those critiques.","note":""},{"id":"tnw-moll","source_key":"tnw","locator":"","excerpt":"The economists Ben Moll, of the London School of Economics, and Alex Imas, of the University of Chicago, argued that such rates in the next 10 to 15 years are extremely unlikely. They put a more reasonable baseline at 4 to 5 percent","note":""},{"id":"tnw-bet","source_key":"tnw","locator":"","excerpt":"They have placed a public bet that US per-capita real GDP growth will stay below 15 percent every year through 2033. Their case is that a jump in AI capability does not automatically become growth. Most of the economy is physical rather than cognitive work. ... Machines and data centres take years to build.","note":""},{"id":"vocal-select","source_key":"vocal","locator":"","excerpt":"The model contained three scenarios. Only one was spoken aloud. ... Selection, not falsity, turns a tail risk into a headline.","note":""},{"id":"vocal-verify","source_key":"vocal","locator":"","excerpt":"Generation can become cheap. Verification cannot become free.","note":""},{"id":"iasr-gpai","source_key":"iasr","locator":"","excerpt":"‘General-purpose AI’ refers to AI models and systems that can perform a variety of tasks, rather than being specialised for one specific function or domain.","note":""},{"id":"aiindex-jagged","source_key":"aiindex","locator":"","excerpt":"AI models can win a gold medal at the International Mathematical Olympiad but cannot reliably tell time—an example of what researchers call the jagged frontier of AI. Gemini Deep Think earned a gold medal at IMO, yet the top model reads analog clocks correctly just 50.1% of the time.","note":""},{"id":"iasr-agi","source_key":"iasr","locator":"","excerpt":"Artificial general intelligence (AGI): A hypothetical AI model or system that equals or surpasses human performance on all or almost all cognitive tasks.","note":""},{"id":"bostrom-def","source_key":"bostrom-def","locator":"","excerpt":"By a “superintelligence” we mean an intellect that is much smarter than the best human brains in practically every field, including scientific creativity, general wisdom and social skills. This definition leaves open how the superintelligence is implemented ... It also leaves open whether the superintelligence is conscious and has subjective experiences.","note":""},{"id":"bostrom-sing","source_key":"bostrom-ethics","locator":"","excerpt":"In one type of scenario, ʺthe singularity hypothesisʺ, some sufficiently advanced and easily modifiable machine intelligence (a ʺseed AIʺ) applies its wits to create a smarter version of itself. This smarter version uses its greater intelligence to improve itself even further. The process is iterative, and each cycle is faster than its predecessor. The result is an intelligence explosion. Within some very short period of time — weeks, hours — radical superintelligence is attained. Whether abrupt and singular, or more gradual and multi‐polar","note":""},{"id":"kurz-nearer","source_key":"prh-kurz","locator":"","excerpt":"In this entirely new book Ray Kurzweil brings a fresh perspective to advances toward the Singularity—assessing his 1999 prediction that AI will reach human level intelligence by 2029 ... why our merger with AI is inevitable","note":""},{"id":"aiindex-os","source_key":"aiindex","locator":"","excerpt":"AI agents made a leap from 12% to ~66% task success on OSWorld, which tests agents on real computer tasks across operating systems, though they still fail roughly 1 in 3 attempts on structured benchmarks.","note":""},{"id":"aiindex-resp","source_key":"aiindex","locator":"","excerpt":"Responsible AI is not keeping pace with AI capability, with safety benchmarks lagging and incidents rising sharply.","note":""},{"id":"metr11","source_key":"metr11","locator":"","excerpt":"Time Horizon 1.1 DATE January 29, 2026 ... The new estimates generally fall within our existing confidence intervals ... Over the course of 2025 we applied this methodology to newer models and measured a rate of increase consistent with historical trends. ... We increased our suite from 170 to 228 tasks.","note":""},{"id":"stanford-bench","source_key":"stanford-bench","locator":"","excerpt":"our research shows that benchmarks do not always measure what they claim to, and that benchmarks claiming to measure the same thing often disagree with each other. In one of these studies, we ran that test across 56 widely used benchmarks and found the pattern repeatedly.","note":""},{"id":"ai2027","source_key":"ai2027","locator":"","excerpt":"April 3rd 2025 PDF Listen Watch Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean We predict that the impact of superhuman AI over the next decade will be enormous, exceeding that of the Industrial Revolution. We wrote a scenario that represents our best guess about what that might look like.","note":""},{"id":"ai2027-end","source_key":"ai2027","locator":"","excerpt":"We wrote two endings: a “slowdown” and a “race” ending. However, AI 2027 is not a recommendation or exhortation.","note":""},{"id":"ai2027-nov","source_key":"ai2027","locator":"","excerpt":"(Added Nov 22 2025, to prevent misunderstandings: we don't know exactly when AGI will be built. 2027 was our modal (most likely) year at the time of publication, our medians were somewhat longer.","note":""},{"id":"iasr-about","source_key":"iasr","locator":"","excerpt":"published in February 2026, is the next iteration of the comprehensive review of latest scientific research on the capabilities and risks of general-purpose AI systems. Led by Turing Award winner Yoshua Bengio and authored by over 100 AI experts, the report is backed by over 30 countries and international organisations.","note":""},{"id":"iasr-2030","source_key":"iasr","locator":"","excerpt":"Between now and 2030, it is plausible that progress could slow or plateau (e.g. due to bottlenecks in data or energy), continue at current rates, or accelerate dramatically (e.g. if AI systems begin to speed up AI research itself).","note":""},{"id":"iasr-oecd","source_key":"iasr","locator":"","excerpt":"the section presents four scenarios developed by the OECD, which range from stagnation to an acceleration in the rate of capability improvements.","note":""},{"id":"iasr-feedback","source_key":"iasr","locator":"","excerpt":"Uncertain factors such as technical limits or energy bottlenecks could constrain capability gains despite large investments, while positive feedback loops – such as AI systems contributing to AI research – could accelerate progress.","note":""}],"status":"published","featured":false,"revision":1,"created_at":"2026-10-22T13:32:29.226Z","updated_at":"2026-10-22T13:32:29.226Z"}