{"id":"960dae75-ea78-4e61-8d1f-50b401121bd9","slug":"golyam-ezikov-model","title":"Голям езиков модел","category":"Технологии · Изкуствен интелект","tags":["изкуствен интелект","голям езиков модел","трансформър","ChatGPT","халюцинации","машинно обучение"],"lead":"Големият езиков модел (на английски large language model, LLM) е алгоритъм за дълбоко обучение, който използва огромен брой параметри и обучаващи данни, за да разбира и предсказва текст[^brit-def]. Моделът се стреми да даде най-вероятното продължение от думи за дадена заявка[^brit-prob]. Големите езикови модели са в основата на съвременните чатботове като ChatGPT, Claude, Gemini, Grok, Qwen и DeepSeek[^wp-chatbots]. Те могат да представят невярна или подвеждаща информация като факт — явление, известно като „халюцинация“[^brit-halluc]. През последните години водещите модели се подобряват и чрез т.нар. мащабиране по време на извод: те използват повече изчисления, за да генерират междинни стъпки преди окончателния отговор, което носи особено големи подобрения в математиката, програмирането и науката[^x-iasr-its]. Технологията се разпространява с безпрецедентна скорост — според Станфордския доклад AI Index генеративният изкуствен интелект достига 53% от населението за три години, по-бързо от персоналния компютър и интернет, макар темпът силно да варира между държавите[^x-aii26-adopt].","sections":[{"id":"kak-raboti","title":"Как работи","paragraphs":["Думата „голям“ се отнася до параметрите — променливите и теглата, които моделът използва, за да повлияе на предсказанието[^brit-large]. Тя се отнася и до огромния обем обучаващи данни, който може да е няколко петабайта и да съдържа трилиони токени — основните единици текст или код, обикновено дълги няколко знака[^brit-tokens]. За да бъде обработен от мрежата, текстът се превръща в числа: определя се речник, всяка единица в него получава уникален целочислен индекс, а на индекса се съпоставя вектор, наречен вграждане; сред най-използваните алгоритми за разделянето на текста са кодирането с двойки байтове (BPE) и WordPiece[^x-wp-token].","Механизмът на вниманието определя кои токени са свързани помежду си в границите на т.нар. контекстен прозорец — обема текст, който моделът обработва наведнъж; малката версия на GPT-2 със 117 милиона параметъра например разполага с едва около хиляда токена контекст[^x-wp-gpt2ctx]. Контекстните прозорци нарастват бързо: през 2024 г. Gemini 1.5 запазва почти безупречно извличане на информация (над 99%) при контекст от поне 10 милиона токена, при 200 хиляди за Claude 3.0 и 128 хиляди за GPT-4 Turbo[^x-gemini15]. Дългият контекст обаче не означава, че моделите го използват еднакво добре: изследване от 2023 г. установява, че резултатите са най-добри, когато нужната информация е в началото или в края на входния текст, и значително се влошават, когато тя е в средата, дори при модели, създадени специално за дълъг контекст[^x-litm].","По-малките езикови модели, като предсказването на текст в приложенията за съобщения, допълват празното място в изречение с една дума; големият езиков модел работи по същия начин, но в много по-голям мащаб и може да предскаже по-сложно съдържание, например най-вероятния отговор от няколко абзаца или превод[^brit-predict]. Авторегресивните модели, като тези от семейството GPT, се обучават да познават как продължава дадена последователност — например дали след „Обичам да ям“ по-вероятно следва „хляб“, или „камъни“; маскираните модели, като BERT, вместо това познават липсващи части от последователността[^x-wp-autoreg].","Повечето такива модели се основават на архитектурата „трансформър“[^wp-transformer]. Тя е предложена през юни 2017 г. в статията „Attention Is All You Need“ на изследователи от Google като проста мрежова архитектура, основана изцяло на механизми на вниманието, без рекурентност и конволюции[^vaswani]. Трансформърите използват „самовнимание“ (self-attention), което позволява на модела да анализира връзките между думите във входа и да им даде тегла според относителната им важност[^brit-attention]. Според авторите на статията новата архитектура дава по-качествен машинен превод, по-лесно се паралелизира и се обучава значително по-бързо[^x-vaswani-par].","При архитектурата „смес от експерти“ (mixture of experts, MoE) механизъм за маршрутизиране насочва всеки вход към най-подходящите специализирани подмрежи, така че за всеки вход се използва само част от параметрите и разходите за изпълнение намаляват[^x-wp-moe]. Така DeepSeek-V3 например има общо 671 милиарда параметъра, от които за всеки токен се активират 37 милиарда[^x-dsv3-moe]."]},{"id":"istoriya","title":"История","paragraphs":["Първите езикови програми, като „Елиза“ на Масачузетския технологичен институт от 1966 г., използват предварително зададени правила, за да преформулират думите на потребителя във въпрос; след тях идват статистическите модели, които предсказват най-вероятните думи чрез вероятности[^brit-eliza]. Първите големи езикови модели се появяват вследствие на трансформърите през 2017 г.; година по-късно са представени BERT на Google и GPT на OpenAI[^brit-first]. BERT съдържа само енкодер, а моделите GPT — само декодер; през 2019 г. GPT-2 привлича широко внимание, след като [[openai|OpenAI]] заявява, че първоначално го смята за твърде мощен, за да бъде публикуван свободно, от страх от злоупотреби[^x-wp-gpt2].","През 2020 г. OpenAI представя GPT-3 — авторегресивен езиков модел със 175 милиарда параметъра, десет пъти повече от всеки предишен неразреден езиков модел[^gpt3]. Авторите показват, че увеличаването на мащаба значително подобрява способността на модела да решава нови задачи само от няколко примера[^gpt3-fewshot]. Същата година изследователи от OpenAI описват „закони на мащабирането“: грешката на модела намалява по степенен закон с размера на модела, обема на данните и изчислителната мощ за обучение[^kaplan].","На 30 ноември 2022 г. OpenAI представя ChatGPT — модел, който разговаря в диалогова форма и може да отговаря на допълнителни въпроси, да признава грешките си, да оспорва неверни предпоставки и да отказва неуместни заявки[^chatgpt]. Именно този чатбот за широката публика, а не по-ранните модели, получава широко медийно внимание[^wp-chatgpt]. До юли 2025 г. ChatGPT е възприет от около 10% от възрастното население на света[^x-nber-growth]. През 2024 г. OpenAI пуска o1 — „разсъждаващ“ модел, който генерира дълги вериги от мисли, преди да даде окончателен отговор[^wp-o1]."]},{"id":"obuchenie-i-nastroyka","title":"Обучение и настройка","paragraphs":["Обучението започва с текстово съдържание и може да включва обучение без учител — създаване на връзки между неразметени и неструктурирани данни — и обучение с учител, при което моделът се донастройва за по-целенасочен анализ[^brit-train]. Основният етап е предварителното обучение — предсказване на следващата дума в огромни количества текст, при което, за разлика от традиционните задачи на машинното обучение, към твърденията няма етикети „вярно“ или „невярно“ и моделът вижда само примери за плавен език, чието общо разпределение трябва да приближи[^x-oai-pretrain]. Обемът на данните расте бързо: Llama 3 на Meta от април 2024 г. е обучен върху над 15 трилиона токена от публично достъпни източници — седем пъти повече данни, отколкото Llama 2[^x-llama3].","По-големият модел не следва непременно по-добре намеренията на потребителя: той може да генерира неверни, токсични или просто безполезни отговори[^instruct-problem]. През 2022 г. OpenAI описва InstructGPT — модели, донастроени с човешка обратна връзка чрез обучение с подкрепление (RLHF). В човешките оценки отговорите на InstructGPT с 1,3 милиарда параметъра са предпочитани пред тези на GPT-3 със 175 милиарда, макар моделът да има 100 пъти по-малко параметри[^instruct]. Методът има два етапа: GPT-3 първо се дообучава с учител върху написани от хора примери за желаното поведение, а след това хора подреждат отговорите на модела по качество и тези класирания се използват за обучението с подсилване[^x-instruct-steps].","При подхода на Anthropic, наречен „конституционен ИИ“, единственият човешки надзор върху безвредността на отговорите е списък от правила или принципи: друг модел преценява кой от два отговора е по-добър, а тези оценки служат като сигнал за награда при т.нар. обучение с подсилване от обратна връзка от ИИ (RLAIF)[^x-cai]."]},{"id":"zakoni-na-mashtabiraneto-i-granitsite-na-dannite","title":"Закони на мащабирането и границите на данните","paragraphs":["Работата на изследователите от OpenAI за законите на мащабирането (Джаред Каплан и колеги, 2020 г.) води и до практическа препоръка: при фиксиран изчислителен бюджет е оптимално да се обучават много големи модели върху сравнително умерено количество данни[^x-kaplan-alloc]. През 2022 г. екип на DeepMind стига до различен извод: след обучение на над 400 модела той заключава, че тогавашните големи модели са значително недообучени и че размерът на модела и броят на токените за обучение трябва да растат еднакво, т.е. при всяко удвояване на модела данните също трябва да се удвояват[^x-chinchilla-law]. Техният модел Chinchilla със 70 милиарда параметъра, обучен с четири пъти повече данни при същия изчислителен бюджет като Gopher, превъзхожда значително по-големите Gopher (280 милиарда параметъра) и GPT-3 (175 милиарда)[^x-chinchilla-model].","Експертите не са единодушни дали експоненциалният ръст на ресурсите ще продължи: едни очакват сегашните техники на обучение да достигнат плато или данните и енергията да ограничат напредъка, а други — ускорение, защото прилагането на ИИ в самите [[samousavarshenstvasht-se-izkustven-intelekt|изследвания на ИИ]] може да създаде положителна обратна връзка[^x-iasr-disagree].","Изследователи от Epoch AI прогнозират, че ако тенденциите продължат, между 2026 и 2032 г. моделите ще се обучават върху масиви, равни по размер на целия наличен запас от публичен текст, създаден от хора[^x-villalobos]. През декември 2024 г. съоснователят и бивш главен научен директор на OpenAI Иля Суцкевер заявява на конференцията NeurIPS, че „предварителното обучение, както го познаваме, несъмнено ще приключи“, като сравнява данните с изкопаемите горива, защото интернет съдържа ограничено количество създадено от хора съдържание[^x-verge]."]},{"id":"razsazhdavashti-modeli","title":"Разсъждаващи модели","paragraphs":["През 2022 г. изследователи от Google показват, че подсказването с „верига от мисли“ — поредица от междинни стъпки на разсъждение — значително подобрява способността на големите модели за сложни разсъждения: модел с 540 милиарда параметъра, получил само осем такива примера, постига най-добрия тогава резултат на теста GSM8K с текстови математически задачи[^x-cot]. Според OpenAI моделът o1 се учи чрез мащабно обучение с подсилване да използва продуктивно веригата си от мисли, а резултатите му растат както с повече обучение, така и с повече време за „мислене“ при отговора; на математическия изпит AIME от 2024 г. той решава средно 74% от задачите при един опит, срещу 12% за GPT-4o[^x-o1].","През януари 2025 г. DeepSeek съобщава, че способностите за разсъждение могат да бъдат развити чрез чисто обучение с подсилване, без човешки примери за разсъждения, като у модела спонтанно възникват самопроверка и смяна на стратегията, а при проверими задачи като математика, състезателно програмиране и природни науки той превъзхожда моделите, обучени по традиционния начин върху човешки примери[^x-r1]. Според Международния доклад за безопасността на ИИ новата вълна от тези техники разчита на обучение върху милиони самостоятелно генерирани вериги от разсъждения, всяка стъпка от които може да бъде проверена, но в области, където отговорите трудно се проверяват — като творческото писане и стратегическото планиране — синтетичните данни крият риск от „колапс на модела“, при който грешките се натрупват през поколенията обучение[^x-iasr-synth]."]},{"id":"razbirane-i-interpretiruemost","title":"Разбиране и интерпретируемост","paragraphs":["Мненията дали моделите „разбират“ езика се разминават: екип на Microsoft твърди през 2023 г., че GPT-4 може основателно да се разглежда като ранна, все още непълна версия на система с [[obsht-izkustven-intelekt-agi|общ изкуствен интелект]], докато скептиците смятат, че моделите само прекомбинират съществуващ текст — явление, наречено „стохастичен папагал“[^x-wp-understand]. Иля Суцкевер твърди, че предсказването на следващата дума понякога изисква разсъждение и дълбоко разбиране — например когато моделът трябва да посочи престъпника в непознат криминален роман, след като е обработил цялата история до разкритието[^x-wp-sutskever].","През март 2025 г. Anthropic публикува изследвания с т.нар. микроскоп за ИИ, според които моделът Claude понякога мисли в общо за различните езици концептуално пространство, своеобразен „език на мисълта“, и при писане на стихове планира римата няколко думи напред, макар да е обучен да генерира по една дума[^x-anth-lang]. Обясненията на модела за собствените му разсъждения обаче не винаги отговарят на действителните изчисления: запитан как е пресметнал, че 36+59 е 95, Claude описва стандартния алгоритъм с пренос на единица, докато всъщност е развил собствени вътрешни стратегии[^x-anth-math]. Самите автори признават, че методът им улавя само част от изчисленията на модела дори при кратки и прости заявки[^x-anth-limit]."]},{"id":"vazmozhnosti-i-nazabenata-granitsa","title":"Възможности и „назъбената“ граница","paragraphs":["Според доклада AI Index 2026 на Станфордския университет резултатите в един от ключовите [[otsenyavane-i-sravnyavane-na-sistemi-s-izkustven-intelekt|тестове]] по програмиране, SWE-bench Verified, се повишават от 60% до почти 100% само за една година[^x-aii26-swe]. Възможностите обаче остават „назъбени“: системи, които постигат резултат на ниво златен медал на Международната математическа олимпиада, все още се провалят на някои привидно прости задачи[^x-iasr-jagged]."]},{"id":"ogranicheniya-i-riskove","title":"Ограничения и рискове","paragraphs":["Американският Национален институт за стандарти и технологии (NIST) нарича явлението „конфабулация“: създаване на уверено заявено, но погрешно или невярно съдържание, известно разговорно като „халюцинации“, което може да подведе или измами потребителите[^nist]. Самата OpenAI предупреждава още при представянето на ChatGPT, че той понякога дава правдоподобно звучащи, но неверни или безсмислени отговори[^chatgpt-limit].","Обзор на изследванията от 2022 г. отбелязва, че генерирането на текст чрез дълбоко обучение е склонно да „халюцинира“ непредвиден текст, което влошава работата на системите и не отговаря на очакванията на потребителите в много реални ситуации[^ji].","Според изследователи на OpenAI от септември 2025 г. халюцинациите се дължат на това, че стандартните процедури за обучение и оценяване възнаграждават налучкването повече от признаването на несигурност, така че в класациите моделът, който налучква, изглежда по-добре от внимателния модел, който признава, че не знае[^x-oai-hall]. Правописът и скобите следват постоянни закономерности и грешките в тях изчезват с мащаба, докато произволни редки факти, като рождената дата на нечий домашен любимец, не могат да се предскажат по закономерности и водят до халюцинации; според авторите те все пак не са неизбежни, защото моделите могат да се въздържат от отговор, когато не са сигурни[^x-oai-facts]. Международният доклад за безопасността на ИИ отчита, че след предишния доклад от януари 2025 г. много видове грешки, включително халюцинациите, са станали по-редки, но системите все още често грешат при по-сложни задачи[^x-iasr-hall].","Един от отговорите е генерирането, подсилено с извличане (retrieval-augmented generation, RAG): изследователите посочват, че знанието в параметрите на модела е трудно за точно използване, а посочването на източник и обновяването на знанието остават нерешени проблеми, и предлагат моделът да се комбинира с външна памет — векторен индекс на текстове, от който се извличат откъси[^rag]. Подобен подход използва и WikiB: отговорите на въпроси се изграждат от откъси от статиите и източниците им.","Сред етичните и социалните рискове „Британика“ посочва използването на произведения на автори за обучение без съгласието им, затвърждаването на стереотипи и пристрастия от обучаващите данни, разкриването на лична информация, злонамерена употреба за дезинформация и измами и икономически вреди[^brit-risks]. В статията „За опасностите от стохастичните папагали: могат ли езиковите модели да бъдат твърде големи?“ (2021) Емили Бендър, Тимнит Гебру и съавтори препоръчват първо да се претеглят екологичните и финансовите разходи и да се отделят ресурси за подбиране и внимателно документиране на данните, вместо да се поглъща всичко от мрежата[^bender].","Пристрастията се проявяват например в непропорционалното свързване на преподаването с жени, а на инженерството — с мъже, или в преувеличаването на англоезичните гледни точки заради преобладаването на английски текстове в данните за обучение[^x-wp-bias]. Представянето на моделите обикновено се влошава и на езици, различни от английския, които са по-слабо представени в тези данни[^x-iasr-lang]."]},{"id":"sporat-za-vaznikvashtite-sposobnosti","title":"Спорът за „възникващите способности“","paragraphs":["Изследователи от Google и други институции описват през 2022 г. „възникващи способности“ — способности, които ги няма при по-малките модели, но се появяват при по-големите и затова не могат да бъдат предсказани чрез екстраполация[^wei].","Изследователи от Станфордския университет предлагат през 2023 г. друго обяснение: тези способности се появяват заради избора на метрика от изследователите, а не заради основна промяна в поведението на модела с мащаба; нелинейните метрики създават привидни скокове, докато линейните показват плавни и предвидими промени[^schaeffer]."]},{"id":"otvoreni-i-zatvoreni-modeli","title":"Отворени и затворени модели","paragraphs":["Моделите се публикуват или с отворени тегла, при които параметрите могат да бъдат изтеглени, или като затворени, достъпни само чрез приложен програмен интерфейс (API)[^x-iasr-def]. Изоставането на отворените модели бързо намалява: по данни на AI Index разликата спрямо затворените при някои тестове пада от 8% на 1,7% само за една година[^x-aii25-gap]. Според Международния доклад за безопасността на ИИ отворените модели носят значителни ползи за изследванията и бизнеса, особено за участници с по-малко ресурси, но не могат да бъдат изтеглени обратно след публикуването си, а защитите им се премахват по-лесно[^x-iasr-open].","През април 2026 г. Meta, чиято серия Llama дотогава е образец за отворени модели, пуска Muse Spark като затворен модел и представя това като временно, а не стратегическо решение, докато според The Next Web по-вероятното обяснение е, че отвореният код жертва конкурентното предимство от запазването на архитектурните иновации в тайна[^x-tnw]."]},{"id":"razhodi-i-energiya","title":"Разходи и енергия","paragraphs":["Обучението на най-големите модели поскъпва: според оценки на AI Index изчисленията за обучението на GPT-4 на OpenAI струват около 78 милиона долара, а за Gemini Ultra на Google — 191 милиона долара[^x-aii24-cost]. В същото време DeepSeek съобщава, че пълното обучение на DeepSeek-V3 изисква едва 2,788 милиона часа работа на графични процесори H800, въпреки че моделът постига резултати, сравними с водещите затворени модели[^x-dsv3-cost]. Цената на използването спада още по-бързо: разходите за изпълнение на система с нивото на GPT-3.5 намаляват над 280 пъти между ноември 2022 г. и октомври 2024 г.[^x-aii25-inf]","Според собствена методология, публикувана от Google през август 2025 г., средната текстова заявка към приложенията Gemini изразходва 0,24 ватчаса енергия и 0,26 милилитра вода, като за 12 месеца енергията на такава заявка е намаляла 33 пъти; при по-тесен метод, отчитащ само активните чипове, оценката пада до 0,10 ватчаса — сценарий, който компанията определя като в най-добрия случай оптимистичен[^x-genergy]. В глобален мащаб Международната агенция по енергетика оценява, че през 2024 г. центровете за данни консумират около 1,5% от световната електроенергия, или 415 тераватчаса, и прогнозира, че до 2030 г. потреблението им ще се увеличи повече от два пъти до около 945 тераватчаса — малко повече от сегашното потребление на Япония, като изкуственият интелект е най-важният двигател на този ръст[^x-iea]."]},{"id":"znachenie-za-obshtestvoto","title":"Значение за обществото","paragraphs":["Според Международния доклад за безопасността на ИИ изкуственият интелект се разпространява по-бързо от предишни технологии като персоналния компютър: поне 700 милиона души използват водещи системи всяка седмица, но в голяма част от Африка, Азия и Латинска Америка делът на ползвателите вероятно остава под 10%[^x-iasr-users]. Изследване на употребата на ChatGPT, в което участват и служители на OpenAI, установява, че несвързаните с работа съобщения растат по-бързо от служебните и делът им нараства от 53% до над 70%, а най-честите теми — практически съвети, търсене на информация и писане — заедно обхващат близо 80% от разговорите[^x-nber-use]. Очакванията на експертите и обществото силно се разминават: 73% от експертите очакват положително въздействие на ИИ върху начина, по който хората вършат работата си, срещу едва 23% от обществото[^x-aii26-gap].","В Европейския съюз [[es-zakon-za-izkustven-intelekt|Законът за изкуствения интелект]] въвежда правила за доставчиците на модели с общо предназначение, включително за прозрачност и авторско право, а доставчиците на модели, които могат да носят системни рискове, трябва да ги оценяват и ограничават; тези правила са в сила от август 2025 г.[^x-eu]"]},{"id":"razvitie-prez-2026-g","title":"Развитие през 2026 г.","paragraphs":["На 7 април 2026 г. Anthropic обявява Project Glasswing заради възможностите на непубликувания си модел Claude Mythos Preview, който според компанията превъзхожда всички освен най-опитните хора в откриването и използването на софтуерни уязвимости и вече е открил хиляди сериозни уязвимости, включително във всяка голяма операционна система и уеб браузър[^x-glasswing]. През юни 2026 г. компанията пуска за общо ползване Claude Fable 5 — модел от същия клас, но със защити, при които заявките по някои теми получават отговор от следващия по възможности модел, Claude Opus 4.8, докато Claude Mythos 5, същият модел с частично премахнати ограничения, е предоставен само на малка група специалисти по киберзащита и доставчици на инфраструктура[^x-fable]. На 12 юни 2026 г. правителството на САЩ налага ограничения за износ на двата модела, които изискват достъпът на чуждестранни граждани да бъде спрян, и тъй като не може да проверява гражданството в реално време, Anthropic спира Fable 5 и Mythos 5 за всички потребители[^x-exp-1]. Компанията изпълнява разпореждането, но заявява несъгласие, че откриването на тесен потенциален начин за заобикаляне на защитите е основание за изтегляне на търговски модел, използван от стотици милиони хора[^x-exp-2]. Според Anthropic разпореждането следва доклад, в който изследователи от Amazon намират начин да заобиколят защитите на Fable 5, а тестовете на самата компания показват, че и по-слабо способни модели откриват същите уязвимости[^x-exp-3]. Ограниченията са отменени на 30 юни 2026 г., а от 1 юли Fable 5 отново е достъпен за потребителите по света[^x-exp-4].","На 30 септември 2026 г. Google представя Gemini 4 Argon, който първоначално е достъпен само за доверени специалисти по киберзащита, като обяснява, че безопасното пускане на възможности на такова ниво изисква поетапен подход, и участва в доброволния процес на правителството на САЩ за достъп до моделите преди публикуването им[^x-argon]."]}],"sources":[{"key":"brit","title":"Large language model","url":"https://www.britannica.com/topic/large-language-model","note":"","publisher":"Encyclopaedia Britannica (Michael McDonough)","language":"en","retrieved_at":"2026-10-23"},{"key":"wp","title":"Large language model","url":"https://en.wikipedia.org/wiki/Large_language_model","note":"","publisher":"Wikipedia","language":"en","retrieved_at":"2026-10-23"},{"key":"vaswani","title":"Attention Is All You Need (Vaswani et al.)","url":"https://arxiv.org/abs/1706.03762","note":"","publisher":"arXiv (Google Brain, Google Research)","published_at":"2017-06-12","language":"en","retrieved_at":"2026-10-23"},{"key":"gpt3","title":"Language Models are Few-Shot Learners (Brown et al.)","url":"https://arxiv.org/abs/2005.14165","note":"","publisher":"arXiv (OpenAI)","published_at":"2020-05-28","language":"en","retrieved_at":"2026-10-23"},{"key":"kaplan","title":"Scaling Laws for Neural Language Models (Kaplan et al.)","url":"https://arxiv.org/abs/2001.08361","note":"","publisher":"arXiv (OpenAI)","published_at":"2020-01-23","language":"en","retrieved_at":"2026-10-23"},{"key":"instruct","title":"Training language models to follow instructions with human feedback (Ouyang et al.)","url":"https://arxiv.org/abs/2203.02155","note":"","publisher":"arXiv (OpenAI)","published_at":"2022-03-04","language":"en","retrieved_at":"2026-10-23","archive_url":"https://web.archive.org/web/20261013154849/https://arxiv.org/abs/2203.02155"},{"key":"chatgpt","title":"Introducing ChatGPT","url":"https://openai.com/index/chatgpt/","note":"","publisher":"OpenAI","published_at":"2022-11-30","language":"en","retrieved_at":"2026-10-23"},{"key":"nist","title":"NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile","url":"https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf","note":"","publisher":"National Institute of Standards and Technology","published_at":"2024-07","language":"en","retrieved_at":"2026-10-23"},{"key":"ji","title":"Survey of Hallucination in Natural Language Generation (Ji et al.)","url":"https://arxiv.org/abs/2202.03629","note":"","publisher":"arXiv (ACM Computing Surveys)","published_at":"2022-02-08","language":"en","retrieved_at":"2026-10-23"},{"key":"rag","title":"Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al.)","url":"https://arxiv.org/abs/2005.11401","note":"","publisher":"arXiv (Facebook AI Research, UCL, NYU)","published_at":"2020-05-22","language":"en","retrieved_at":"2026-10-23"},{"key":"bender","title":"On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (Bender, Gebru, McMillan-Major, Shmitchell)","url":"https://dl.acm.org/doi/10.1145/3442188.3445922","note":"","publisher":"ACM, FAccT '21","published_at":"2021-03","language":"en","retrieved_at":"2026-10-23"},{"key":"wei","title":"Emergent Abilities of Large Language Models (Wei et al.)","url":"https://arxiv.org/abs/2206.07682","note":"","publisher":"arXiv (Transactions on Machine Learning Research)","published_at":"2022-06-15","language":"en","retrieved_at":"2026-10-23"},{"key":"schaeffer","title":"Are Emergent Abilities of Large Language Models a Mirage? (Schaeffer, Miranda, Koyejo)","url":"https://arxiv.org/abs/2304.15004","note":"","publisher":"arXiv (Stanford University)","published_at":"2023-04-28","language":"en","retrieved_at":"2026-10-23"},{"key":"x-iasr","title":"International AI Safety Report 2026","url":"https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026","note":"","publisher":"International AI Safety Report","published_at":"2026","language":"en","retrieved_at":"2026-10-23"},{"key":"x-aii24","title":"The 2024 AI Index Report","url":"https://hai.stanford.edu/ai-index/2024-ai-index-report","note":"","publisher":"Stanford HAI","published_at":"2024","language":"en","retrieved_at":"2026-10-23"},{"key":"x-aii25","title":"The 2025 AI Index Report","url":"https://hai.stanford.edu/ai-index/2025-ai-index-report","note":"","publisher":"Stanford HAI","published_at":"2025","language":"en","retrieved_at":"2026-10-23"},{"key":"x-aii26","title":"The 2026 AI Index Report","url":"https://hai.stanford.edu/ai-index/2026-ai-index-report","note":"","publisher":"Stanford HAI","published_at":"2026","language":"en","retrieved_at":"2026-10-23"},{"key":"x-nber","title":"How People Use ChatGPT (NBER Working Paper 34255)","url":"https://www.nber.org/papers/w34255","note":"Част от авторите са служители на OpenAI.","publisher":"National Bureau of Economic Research","published_at":"2025-09","language":"en","retrieved_at":"2026-10-23"},{"key":"x-llama3","title":"Introducing Meta Llama 3: The most capable openly available LLM to date","url":"https://ai.meta.com/blog/meta-llama-3/","note":"","publisher":"Meta AI","published_at":"2024-04-18","language":"en","retrieved_at":"2026-10-23"},{"key":"x-oaihall","title":"Why language models hallucinate","url":"https://openai.com/index/why-language-models-hallucinate/","note":"","publisher":"OpenAI","published_at":"2025-09-05","language":"en","retrieved_at":"2026-10-23"},{"key":"x-cai","title":"Constitutional AI: Harmlessness from AI Feedback (Bai et al.)","url":"https://arxiv.org/abs/2212.08073","note":"","publisher":"arXiv (Anthropic)","published_at":"2022-12-15","language":"en","retrieved_at":"2026-10-23","archive_url":"https://web.archive.org/web/20261013154817/https://arxiv.org/abs/2212.08073"},{"key":"x-chinchilla","title":"Training Compute-Optimal Large Language Models (Hoffmann et al.)","url":"https://arxiv.org/abs/2203.15556","note":"","publisher":"arXiv (DeepMind)","published_at":"2022-03-29","language":"en","retrieved_at":"2026-10-23"},{"key":"x-villalobos","title":"Will we run out of data? Limits of LLM scaling based on human-generated data (Villalobos et al.)","url":"https://arxiv.org/abs/2211.04325","note":"","publisher":"arXiv (Epoch AI)","published_at":"2022-10-26","language":"en","retrieved_at":"2026-10-23"},{"key":"x-verge","title":"OpenAI cofounder Ilya Sutskever predicts the end of AI pre-training","url":"https://www.theverge.com/2024/12/13/24320811/what-ilya-sutskever-sees-openai-model-data-training","note":"","publisher":"The Verge","published_at":"2024-12-13","language":"en","retrieved_at":"2026-10-23"},{"key":"x-cot","title":"Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al.)","url":"https://arxiv.org/abs/2201.11903","note":"","publisher":"arXiv (Google Research)","published_at":"2022-01-28","language":"en","retrieved_at":"2026-10-23"},{"key":"x-o1","title":"Learning to reason with LLMs","url":"https://openai.com/index/learning-to-reason-with-llms/","note":"Текстът е прочетен от архивно копие в Wayback Machine.","publisher":"OpenAI","published_at":"2024-09-12","language":"en","retrieved_at":"2026-10-23"},{"key":"x-r1","title":"DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning","url":"https://arxiv.org/abs/2501.12948","note":"","publisher":"arXiv (DeepSeek-AI)","published_at":"2025-01-22","language":"en","retrieved_at":"2026-10-23"},{"key":"x-anth","title":"Tracing the thoughts of a large language model","url":"https://www.anthropic.com/research/tracing-thoughts-language-model","note":"","publisher":"Anthropic","published_at":"2025-03-27","language":"en","retrieved_at":"2026-10-23"},{"key":"x-litm","title":"Lost in the Middle: How Language Models Use Long Contexts (Liu et al.)","url":"https://arxiv.org/abs/2307.03172","note":"","publisher":"arXiv (Stanford University и др.)","published_at":"2023-07-06","language":"en","retrieved_at":"2026-10-23"},{"key":"x-gemini15","title":"Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context","url":"https://arxiv.org/abs/2403.05530","note":"","publisher":"arXiv (Google DeepMind)","published_at":"2024-03-08","language":"en","retrieved_at":"2026-10-23"},{"key":"x-dsv3","title":"DeepSeek-V3 Technical Report","url":"https://arxiv.org/abs/2412.19437","note":"","publisher":"arXiv (DeepSeek-AI)","published_at":"2024-12-27","language":"en","retrieved_at":"2026-10-23"},{"key":"x-tnw","title":"Meta’s Muse Spark is here — and it’s closed source","url":"https://thenextweb.com/news/meta-muse-spark-msl-first-model","note":"","publisher":"The Next Web","published_at":"2026-04-08","language":"en","retrieved_at":"2026-10-23"},{"key":"x-genergy","title":"How much energy does Google’s AI use? We did the math","url":"https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference","note":"Собствена оценка на компанията.","publisher":"Google Cloud Blog","published_at":"2025-08-21","language":"en","retrieved_at":"2026-10-23"},{"key":"x-iea","title":"Energy and AI: Executive summary","url":"https://www.iea.org/reports/energy-and-ai/executive-summary","note":"","publisher":"Международна агенция по енергетика (IEA)","published_at":"2025-04","language":"en","retrieved_at":"2026-10-23"},{"key":"x-eu","title":"AI Act","url":"https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai","note":"","publisher":"Европейска комисия (Shaping Europe’s digital future)","language":"en","retrieved_at":"2026-10-23","archive_url":"https://web.archive.org/web/20261013170745/https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai"},{"key":"x-glasswing","title":"Project Glasswing: Securing critical software for the AI era","url":"https://www.anthropic.com/glasswing","note":"Твърденията за откритите уязвимости са на компанията.","publisher":"Anthropic","published_at":"2026-04-07","language":"en","retrieved_at":"2026-10-23"},{"key":"x-fable","title":"Claude Fable 5 and Claude Mythos 5","url":"https://www.anthropic.com/news/claude-fable-5-mythos-5","note":"","publisher":"Anthropic","published_at":"2026-06-09","language":"en","retrieved_at":"2026-10-23"},{"key":"x-exp-a","title":"Statement on the US government directive to suspend access to Fable 5 and Mythos 5","url":"https://www.anthropic.com/news/fable-mythos-access","note":"Позиция на самата компания.","publisher":"Anthropic","published_at":"2026-06-12","language":"en","retrieved_at":"2026-10-23"},{"key":"x-exp-b","title":"Redeploying Fable 5","url":"https://www.anthropic.com/news/redeploying-fable-5","note":"Позиция на самата компания.","publisher":"Anthropic","published_at":"2026-06-30","language":"en","retrieved_at":"2026-10-23"},{"key":"x-argon","title":"Introducing Gemini 4 Argon","url":"https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-argon/","note":"","publisher":"Google","published_at":"2026-09-30","language":"en","retrieved_at":"2026-10-23"}],"citations":[{"id":"brit-def","source_key":"brit","locator":"","excerpt":"large language model (LLM), a deep-learning algorithm that uses massive amounts of parameters and training data to understand and predict text.","note":""},{"id":"brit-prob","source_key":"brit","locator":"","excerpt":"LLMs aim to produce the most probable outcome of words for a given prompt.","note":""},{"id":"wp-chatbots","source_key":"wp","locator":"","excerpt":"They are the basis for many modern chatbots, such as ChatGPT, Claude, Gemini, Grok, Qwen and DeepSeek.","note":""},{"id":"brit-halluc","source_key":"brit","locator":"","excerpt":"Occasionally, LLMs will present false or misleading information as fact, a common phenomenon known as a hallucination.","note":""},{"id":"brit-large","source_key":"brit","locator":"","excerpt":"The word large refers to the parameters, or variables and weights, used by the model to influence the prediction outcome.","note":""},{"id":"brit-tokens","source_key":"brit","locator":"","excerpt":"Large also refers to the sheer amount of data used to train an LLM, which can be multiple petabytes in size and contain trillions of tokens, which are the basic units of text or code, usually a few characters long, that are processed by the model.","note":""},{"id":"brit-predict","source_key":"brit","locator":"","excerpt":"Smaller language models, such as the predictive text feature in text-messaging applications, may fill in the blank in the sentence “The sick man called for an ambulance to take him to the _____” with the word hospital. LLMs function in the same way but on a much larger, more nuanced scale. Instead of predicting a single word, an LLM can predict more-complex content, such as the most likely multi-paragraph response or translation.","note":""},{"id":"wp-transformer","source_key":"wp","locator":"","excerpt":"LLMs are typically based on the transformer neural network architecture.","note":""},{"id":"vaswani","source_key":"vaswani","locator":"","excerpt":"We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. ... [v1] Mon, 12 Jun 2017","note":""},{"id":"brit-attention","source_key":"brit","locator":"","excerpt":"Transformers take advantage of a concept called self-attention, which allows LLMs to analyze relationships between words in an input and assign them weights to determine relative importance.","note":""},{"id":"brit-eliza","source_key":"brit","locator":"","excerpt":"The first language models, such as the Massachusetts Institute of Technology’s Eliza program from 1966, used a predetermined set of rules and heuristics to rephrase users’ words into a question based on certain keywords. Such rule-based models were followed by statistical models, which used probabilities to predict the most likely words.","note":""},{"id":"brit-first","source_key":"brit","locator":"","excerpt":"The first large language models emerged as a consequence of the introduction of transformer models in 2017. The new speeds provided by transformers allowed for even more parameters and data to be incorporated into models, paving the way for the introduction of the first LLMs, which included Google’s BERT (Bidirectional Encoder Representations from Transformers) and OpenAI’s GPT (Generative Pre-trained Transformer), the following year.","note":""},{"id":"gpt3","source_key":"gpt3","locator":"","excerpt":"Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model ... [v1] Thu, 28 May 2020","note":""},{"id":"gpt3-fewshot","source_key":"gpt3","locator":"","excerpt":"Here we show that scaling up language models greatly improves task-agnostic, few-shot performance, sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches.","note":""},{"id":"kaplan","source_key":"kaplan","locator":"","excerpt":"We study empirical scaling laws for language model performance on the cross-entropy loss. The loss scales as a power-law with model size, dataset size, and the amount of compute used for training ... Thu, 23 Jan 2020","note":""},{"id":"chatgpt","source_key":"chatgpt","locator":"","excerpt":"November 30, 2022 Product Introducing ChatGPT ... We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests.","note":""},{"id":"wp-chatgpt","source_key":"wp","locator":"","excerpt":"But it was the consumer-facing chatbot ChatGPT in late 2022 that received extensive media coverage and public attention by 2023.","note":""},{"id":"wp-o1","source_key":"wp","locator":"","excerpt":"In 2024, OpenAI released the reasoning model OpenAI o1, which generates long chains of thought before returning a final answer.","note":""},{"id":"brit-train","source_key":"brit","locator":"","excerpt":"An LLM is initially trained with textual content. The training process may involve unsupervised learning (the initial process of forming connections between unlabeled and unstructured data) as well as supervised learning (the process of fine-tuning the model to allow for more targeted analysis).","note":""},{"id":"instruct-problem","source_key":"instruct","locator":"","excerpt":"Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user.","note":""},{"id":"instruct","source_key":"instruct","locator":"","excerpt":"We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. ... [v1] Fri, 4 Mar 2022","note":""},{"id":"nist","source_key":"nist","locator":"","excerpt":"Confabulation: The production of confidently stated but erroneous or false content (known colloquially as “hallucinations” or “fabrications”) by which users may be misled or deceived.","note":""},{"id":"chatgpt-limit","source_key":"chatgpt","locator":"","excerpt":"ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers.","note":""},{"id":"ji","source_key":"ji","locator":"","excerpt":"However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. ... [v1] Tue, 8 Feb 2022","note":""},{"id":"rag","source_key":"rag","locator":"","excerpt":"However, their ability to access and precisely manipulate knowledge is still limited ... Additionally, providing provenance for their decisions and updating their world knowledge remain open research problems. ... We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retriever.","note":""},{"id":"brit-risks","source_key":"brit","locator":"","excerpt":"A growing number of artists and creators have claimed that their work is being used to train LLMs without their consent. ... Models may perpetuate stereotypes and biases that are present in the information they are trained on. ... Other issues outlined by experts include information hazards, wherein LLMs may disclose private information present in training data; malicious use, wherein bad actors use the models to bolster disinformation campaigns or commit fraud; and economic harms","note":""},{"id":"bender","source_key":"bender","locator":"","excerpt":"Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency ... We provide recommendations including weighing the environmental and financial costs first, investing resources into curating and carefully documenting datasets rather than ingesting everything on the web","note":""},{"id":"wei","source_key":"wei","locator":"","excerpt":"This paper instead discusses an unpredictable phenomenon that we refer to as emergent abilities of large language models. We consider an ability to be emergent if it is not present in smaller models but is present in larger models. Thus, emergent abilities cannot be predicted simply by extrapolating the performance of smaller models. ... Wed, 15 Jun 2022","note":""},{"id":"schaeffer","source_key":"schaeffer","locator":"","excerpt":"Here, we present an alternative explanation for emergent abilities: that for a particular task and model family, when analyzing fixed model outputs, emergent abilities appear due to the researcher's choice of metric rather than due to fundamental changes in model behavior with scale. Specifically, nonlinear or discontinuous metrics produce apparent emergent abilities, whereas linear or continuous metrics produce smooth, continuous predictable changes in model performance. ... [v1] Fri, 28 Apr 2023","note":""},{"id":"x-iasr-its","source_key":"x-iasr","locator":"","excerpt":"Over the past year, they have further improved capabilities through ‘inference-time scaling’: allowing models to use more computing power in order to generate intermediate steps before giving a final answer. This technique has led to particularly large performance gains on more complex reasoning tasks in mathematics, software engineering, and science.","note":""},{"id":"x-aii26-adopt","source_key":"x-aii26","locator":"","excerpt":"Generative AI reached 53% population adoption within three years, faster than the PC or the internet, though the pace varies by country and correlates strongly with GDP per capita.","note":""},{"id":"x-wp-token","source_key":"wp","locator":"","excerpt":"As machine learning algorithms process numbers rather than text, the text must be converted to numbers. In the first step, a vocabulary is decided upon, then integer indices are arbitrarily but uniquely assigned to each vocabulary entry, and finally, an embedding is associated with the integer index. Algorithms include byte-pair encoding (BPE) and WordPiece.","note":""},{"id":"x-wp-gpt2ctx","source_key":"wp","locator":"","excerpt":"In order to find out which tokens are relevant to each other within the scope of the context window ... For example, the small (i.e. 117M parameter sized) GPT-2 model has had twelve attention heads and a context window of only 1k tokens.","note":""},{"id":"x-gemini15","source_key":"x-gemini15","locator":"","excerpt":"Submitted on 8 Mar 2024 ... we introduce the Gemini 1.5 family of models ... we find continued improvement in next-token prediction and near-perfect retrieval (>99%) up to at least 10M tokens, a generational leap over existing models such as Claude 3.0 (200k) and GPT-4 Turbo (128k).","note":""},{"id":"x-litm","source_key":"x-litm","locator":"","excerpt":"Submitted on 6 Jul 2023 ... In particular, we observe that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.","note":""},{"id":"x-wp-autoreg","source_key":"wp","locator":"","excerpt":"Autoregressive models, such as GPTs, are trained to guess how a sequence continues; for example, whether the word sequence \"I like to eat\" is more likely to be followed by the word \"bread\" or the word \"rocks\". Masked models, such as BERT, ... are trained to guess parts that are missing from a sequence","note":""},{"id":"x-vaswani-par","source_key":"vaswani","locator":"","excerpt":"Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train.","note":""},{"id":"x-wp-moe","source_key":"wp","locator":"","excerpt":"A mixture of experts (MoE) is a machine learning architecture in which multiple specialized neural networks (\"experts\") work together, with a gating mechanism that routes each input to the most appropriate expert(s). Mixtures of experts can reduce inference costs, as only a fraction of the parameters are used for each input.","note":""},{"id":"x-dsv3-moe","source_key":"x-dsv3","locator":"","excerpt":"We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token.","note":""},{"id":"x-wp-gpt2","source_key":"wp","locator":"","excerpt":"BERT is an encoder-only model. ... Although decoder-only GPT-1 was introduced in 2018, it was GPT-2 in 2019 that caught widespread attention because OpenAI claimed to have initially deemed it too powerful to release publicly, out of fear of malicious use.","note":""},{"id":"x-nber-growth","source_key":"x-nber","locator":"","excerpt":"We document the growth of ChatGPT’s consumer product from its launch in November 2022 through July 2025, when it had been adopted by around 10% of the world’s adult population.","note":""},{"id":"x-oai-pretrain","source_key":"x-oaihall","locator":"","excerpt":"Language models first learn through pretraining, a process of predicting the next word in huge amounts of text. Unlike traditional machine learning problems, there are no “true/false” labels attached to each statement. The model sees only positive examples of fluent language and must approximate the overall distribution.","note":""},{"id":"x-llama3","source_key":"x-llama3","locator":"","excerpt":"April 18, 2024 ... Llama 3 is pretrained on over 15T tokens that were all collected from publicly available sources. Our training dataset is seven times larger than that used for Llama 2","note":""},{"id":"x-instruct-steps","source_key":"instruct","locator":"","excerpt":"we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback.","note":""},{"id":"x-cai","source_key":"x-cai","locator":"","excerpt":"The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. ... use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF).","note":""},{"id":"x-kaplan-alloc","source_key":"kaplan","locator":"","excerpt":"Submitted on 23 Jan 2020 ... Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.","note":""},{"id":"x-chinchilla-law","source_key":"x-chinchilla","locator":"","excerpt":"Submitted on 29 Mar 2022 ... We find that current large language models are significantly undertrained ... By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled.","note":""},{"id":"x-chinchilla-model","source_key":"x-chinchilla","locator":"","excerpt":"Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and ... more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B)","note":""},{"id":"x-iasr-disagree","source_key":"x-iasr","locator":"","excerpt":"experts disagree about whether exponential increases in inputs will continue. Some expect that current training techniques will plateau, or that bottlenecks in data and energy will limit future progress. Yet others think that progress will accelerate further, since the application of AI systems to AI research itself could create positive feedback loops.","note":""},{"id":"x-villalobos","source_key":"x-villalobos","locator":"","excerpt":"Our findings indicate that if current LLM development trends continue, models will be trained on datasets roughly equal in size to the available stock of public human text data between 2026 and 2032, or slightly earlier if models are overtrained.","note":""},{"id":"x-verge","source_key":"x-verge","locator":"","excerpt":"Dec 14, 2024 ... Pre-training as we know it will unquestionably end,” Sutskever said onstage. ... He compared the situation to fossil fuels: just as oil is a finite resource, the internet contains a finite amount of human-generated content.","note":""},{"id":"x-cot","source_key":"x-cot","locator":"","excerpt":"Submitted on 28 Jan 2022 ... We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. ... prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems","note":""},{"id":"x-o1","source_key":"x-o1","locator":"","excerpt":"September 12, 2024 ... Our large-scale reinforcement learning algorithm teaches the model how to think productively using its chain of thought in a highly data-efficient training process. We have found that the performance of o1 consistently improves with more reinforcement learning (train-time compute) and with more time spent thinking (test-time compute). ... On the 2024 AIME exams, ... only solved on average 12% (1.8/15) of problems. o1 averaged 74% (11.1/15) with a single sample per problem","note":""},{"id":"x-r1","source_key":"x-r1","locator":"","excerpt":"Submitted on 22 Jan 2025 ... Here we show that the reasoning abilities of LLMs can be incentivized through pure reinforcement learning (RL), obviating the need for human-labeled reasoning trajectories. The proposed RL framework facilitates the emergent development of advanced reasoning patterns, such as self-reflection, verification, and dynamic strategy adaptation. Consequently, the trained model achieves superior performance on verifiable tasks such as mathematics, coding competitions, and STEM fields, surpassing its counterparts trained via conventional supervised learning on human demonstrations.","note":""},{"id":"x-iasr-synth","source_key":"x-iasr","locator":"","excerpt":"The recent wave of inference-time scaling techniques demonstrates this approach: models were trained on millions of self-generated reasoning chains where each step could be verified. ... However, in domains where answers are harder or impossible to verify, such as creative writing, strategic planning, and scientific hypothesis generation, synthetic data risks causing model collapse, where errors compound through successive generations of training.","note":""},{"id":"x-wp-understand","source_key":"wp","locator":"","excerpt":"A Microsoft team argued in 2023 that GPT-4 ... could reasonably be viewed as an early (yet still incomplete) version of an artificial general intelligence system ... some skeptics of LLM understanding believe that existing LLMs are ... simply remixing and recombining existing writing ... a phenomenon known as stochastic parrot","note":""},{"id":"x-wp-sutskever","source_key":"wp","locator":"","excerpt":"Ilya Sutskever argues that predicting the next word sometimes involves reasoning and deep insights, for example if the LLM has to predict the name of the criminal in an unknown detective novel after processing the entire story leading up to the revelation.","note":""},{"id":"x-anth-lang","source_key":"x-anth","locator":"","excerpt":"Mar 27, 2025 ... try to build a kind of AI microscope ... Claude sometimes thinks in a conceptual space that is shared between languages, suggesting it has a kind of universal “language of thought.” ... Claude will plan what it will say many words ahead, and write to get to that destination. We show this in the realm of poetry, where it thinks of possible rhyming words in advance and writes the next line to get there. This is powerful evidence that even though models are trained to output one word at a time","note":""},{"id":"x-anth-math","source_key":"x-anth","locator":"","excerpt":"Strikingly, Claude seems to be unaware of the sophisticated \"mental math\" strategies that it learned during training. If you ask how it figured out that 36+59 is 95, it describes the standard algorithm involving carrying the 1. ... develops its own internal strategies to do so.","note":""},{"id":"x-anth-limit","source_key":"x-anth","locator":"","excerpt":"Even on short, simple prompts, our method only captures a fraction of the total computation performed by Claude","note":""},{"id":"x-aii26-swe","source_key":"x-aii26","locator":"","excerpt":"New: The Official Chinese Version of the 2026 AI Index Report ... On a key coding benchmark—SWE-bench Verified—performance rose from 60% to near 100% in a single year.","note":""},{"id":"x-iasr-jagged","source_key":"x-iasr","locator":"","excerpt":"Leading AI systems achieved gold-medal performance on International Mathematical Olympiad questions. ... Performance nevertheless remains ‘jagged’, with leading systems still failing at some seemingly simple tasks.","note":""},{"id":"x-oai-hall","source_key":"x-oaihall","locator":"","excerpt":"OpenAI September 5, 2025 ... Our new research paper ... argues that language models hallucinate because standard training and evaluation procedures reward guessing over acknowledging uncertainty. ... the guessing model ends up looking better on scoreboards than a careful model that admits uncertainty.","note":""},{"id":"x-oai-facts","source_key":"x-oaihall","locator":"","excerpt":"Spelling and parentheses follow consistent patterns, so errors there disappear with scale. But arbitrary low-frequency facts, like a pet’s birthday, cannot be predicted from patterns alone and hence lead to hallucinations. ... They are not, because language models can abstain when uncertain.","note":""},{"id":"x-iasr-hall","source_key":"x-iasr","locator":"","excerpt":"Since the publication of the previous Report (January 2025), AI systems have generally become more reliable and, as a result, have seen greatly increased commercial deployment. Many kinds of failures, such as hallucinations, have generally become less likely, but systems still commonly make mistakes when performing more complex tasks.","note":""},{"id":"x-wp-bias","source_key":"wp","locator":"","excerpt":"Gender bias manifests through stereotypical occupational associations, wherein models disproportionately assign teaching roles to women and engineering roles to men ... Due to the dominance of English-language content in LLM training data, models exaggerate English-language perspectives and downplay non-English perspectives.","note":""},{"id":"x-iasr-lang","source_key":"x-iasr","locator":"","excerpt":"Their performance also tends to decline when prompted in languages other than English, which are less represented in training datasets.","note":""},{"id":"x-iasr-def","source_key":"x-iasr","locator":"","excerpt":"involves making the base model accessible to others ... either as open-weight (downloadable parameters) or closed-weight (API access only).","note":""},{"id":"x-aii25-gap","source_key":"x-aii25","locator":"","excerpt":"Open-weight models are also closing the gap with closed models, reducing the performance difference from 8% to just 1.7% on some benchmarks in a single year.","note":""},{"id":"x-iasr-open","source_key":"x-iasr","locator":"","excerpt":"Open-weight models pose distinct challenges. They offer significant research and commercial benefits, particularly for lesser-resourced actors. However, they cannot be recalled once released, their safeguards are easier to remove","note":""},{"id":"x-tnw","source_key":"x-tnw","locator":"","excerpt":"April 8, 2026 ... In a break from Meta’s Llama heritage, it is closed source. ... Meta’s Llama series established the template for open-source AI model development through 2025 ... Meta has indicated it hopes to release future versions of the model under an open-source licence, framing the current closure as temporary rather than strategic. The more candid reading is that open-source models, however valuable for ecosystem development, sacrifice the competitive advantage that comes from keeping architectural innovations proprietary","note":""},{"id":"x-aii24-cost","source_key":"x-aii24","locator":"","excerpt":"According to AI Index estimates, the training costs of state-of-the-art AI models have reached unprecedented levels. For example, OpenAI’s GPT-4 used an estimated $78 million worth of compute to train, while Google’s Gemini Ultra cost $191 million for compute.","note":""},{"id":"x-dsv3-cost","source_key":"x-dsv3","locator":"","excerpt":"Comprehensive evaluations reveal that DeepSeek-V3 outperforms other open-source models and achieves performance comparable to leading closed-source models. Despite its excellent performance, DeepSeek-V3 requires only 2.788M H800 GPU hours for its full training.","note":""},{"id":"x-aii25-inf","source_key":"x-aii25","locator":"","excerpt":"the inference cost for a system performing at the level of GPT-3.5 dropped over 280-fold between November 2022 and October 2024.","note":""},{"id":"x-genergy","source_key":"x-genergy","locator":"","excerpt":"August 21, 2025 ... we estimate the median Gemini Apps text prompt uses 0.24 watt-hours (Wh) of energy, emits 0.03 grams of carbon dioxide equivalent (gCO2e), and consumes 0.26 milliliters (or about five drops) of water ... over a recent 12 month period, the energy and total carbon footprint of the median Gemini Apps text prompt dropped by 33x and 44x, respectively ... When we apply this non-comprehensive methodology that only considers active TPU and GPU consumption, we estimate the median Gemini text prompt uses 0.10 Wh of energy ... This is an optimistic scenario at best and substantially underestimates the real operational footprint of AI.","note":""},{"id":"x-iea","source_key":"x-iea","locator":"","excerpt":"Data centres accounted for around 1.5% of the world’s electricity consumption in 2024, or 415 terawatt-hours (TWh). ... Data centre electricity consumption is set to more than double to around 945 TWh by 2030. This is slightly more than Japan’s total electricity consumption today. AI is the most important driver of this growth","note":""},{"id":"x-iasr-users","source_key":"x-iasr","locator":"","excerpt":"AI has been adopted faster than previous technologies like the personal computer, with at least 700 million people now using leading AI systems weekly. In some countries over 50% of the population uses AI, though across much of Africa, Asia, and Latin America adoption rates likely remain below 10%.","note":""},{"id":"x-nber-use","source_key":"x-nber","locator":"","excerpt":"We find steady growth in work-related messages but even faster growth in non-work-related messages, which have grown from 53% to more than 70% of all usage. ... We classify messages by conversation topic and find that “Practical Guidance,” “Seeking Information,” and “Writing” are the three most common topics and collectively account for nearly 80% of all conversations. ... I am an employee of OpenAI and this paper was written as part of my responsibilities there.","note":""},{"id":"x-aii26-gap","source_key":"x-aii26","locator":"","excerpt":"When it comes to how people do their jobs, 73% of experts expect a positive impact, compared with just 23% of the public, a 50-point gap.","note":""},{"id":"x-eu","source_key":"x-eu","locator":"","excerpt":"the AI Act puts in place rules ... on transparency and copyright ... for providers of GPAI models. For GPAI models that may pose systemic risks, providers should assess and mitigate those risks. The AI Act rules on GPAI became effective in August 2025.","note":""},{"id":"x-glasswing","source_key":"x-glasswing","locator":"","excerpt":"April 7, 2026 ... Today we’re announcing Project Glasswing1 ... We formed Project Glasswing because of capabilities we’ve observed in a new frontier model trained by Anthropic that we believe could reshape cybersecurity. Claude Mythos2 Preview is a general-purpose, unreleased frontier model that reveals a stark fact: AI models have reached a level of coding capability where they can surpass all but the most skilled humans at finding and exploiting software vulnerabilities. Mythos Preview has already found thousands of high-severity vulnerabilities, including some in every major operating system and web browser.","note":""},{"id":"x-fable","source_key":"x-fable","locator":"","excerpt":"Jun 9, 2026 ... Today we’re launching Claude Fable 5: a Mythos-class1 model that we’ve made safe for general use. ... We’ve therefore launched the model with safeguards that mean queries on some topics will instead receive a response from our next-most-capable model, Claude Opus 4.8. ... For a small group of cyberdefenders and infrastructure providers, we’re also launching Claude Mythos 5. It’s the same underlying model as Fable 5, but with the safeguards lifted in some areas.","note":""},{"id":"x-exp-1","source_key":"x-exp-b","locator":"","excerpt":"Jun 30, 2026 ... On Friday, June 12, the US government applied export controls to our newest models, Claude Fable 5 and Claude Mythos 5. This required us to restrict access to foreign nationals, whether inside or outside the United States. Because the order took effect immediately and we had no reliable way to verify nationality in real-time, we suspended access to both models for all users.","note":""},{"id":"x-exp-2","source_key":"x-exp-a","locator":"","excerpt":"legal directive and are removing access to Fable 5 and Mythos 5 for all users. However, we disagree that the finding of a narrow potential jailbreak should be cause for recalling a commercial model deployed to hundreds of millions of people.","note":""},{"id":"x-exp-3","source_key":"x-exp-b","locator":"","excerpt":"came after the government became aware of a report in which Amazon researchers had found a method of bypassing Fable 5 ... Our testing confirmed that many less capable models ... could identify the same vulnerabilities as Fable 5 did in the report.","note":""},{"id":"x-exp-4","source_key":"x-exp-b","locator":"","excerpt":"As of today, June 30, the export controls on Fable 5 and Mythos 5 have been lifted. Fable 5 will be available starting tomorrow, Wednesday, July 1, to users globally","note":""},{"id":"x-argon","source_key":"x-argon","locator":"","excerpt":"Sep 30, 2026 ... Today, we’re announcing our new frontier model, Gemini 4 Argon, which is rolling out to a set of trusted cyber defenders through our Fairwind Program. ... Safely releasing frontier capabilities at this level requires a phased approach. We are actively engaged in the U.S. government’s voluntary process for pre-release model access while we gradually expand access.","note":""}],"status":"published","featured":false,"revision":2,"created_at":"2026-10-23T12:50:11.340Z","updated_at":"2026-10-23T13:19:59.663Z"}