Голям езиков модел ================== Големият езиков модел (на английски large language model, LLM) е алгоритъм за дълбоко обучение, който използва огромен брой параметри и обучаващи данни, за да разбира и предсказва текст. Моделът се стреми да даде най-вероятното продължение от думи за дадена заявка. Големите езикови модели са в основата на съвременните чатботове като ChatGPT, Claude, Gemini, Grok, Qwen и DeepSeek. Те могат да представят невярна или подвеждаща информация като факт — явление, известно като „халюцинация“. През последните години водещите модели се подобряват и чрез т.нар. мащабиране по време на извод: те използват повече изчисления, за да генерират междинни стъпки преди окончателния отговор, което носи особено големи подобрения в математиката, програмирането и науката. Технологията се разпространява с безпрецедентна скорост — според Станфордския доклад AI Index генеративният изкуствен интелект достига 53% от населението за три години, по-бързо от персоналния компютър и интернет, макар темпът силно да варира между държавите. Как работи ---------- Думата „голям“ се отнася до параметрите — променливите и теглата, които моделът използва, за да повлияе на предсказанието. Тя се отнася и до огромния обем обучаващи данни, който може да е няколко петабайта и да съдържа трилиони токени — основните единици текст или код, обикновено дълги няколко знака. За да бъде обработен от мрежата, текстът се превръща в числа: определя се речник, всяка единица в него получава уникален целочислен индекс, а на индекса се съпоставя вектор, наречен вграждане; сред най-използваните алгоритми за разделянето на текста са кодирането с двойки байтове (BPE) и WordPiece. Механизмът на вниманието определя кои токени са свързани помежду си в границите на т.нар. контекстен прозорец — обема текст, който моделът обработва наведнъж; малката версия на GPT-2 със 117 милиона параметъра например разполага с едва около хиляда токена контекст. Контекстните прозорци нарастват бързо: през 2024 г. Gemini 1.5 запазва почти безупречно извличане на информация (над 99%) при контекст от поне 10 милиона токена, при 200 хиляди за Claude 3.0 и 128 хиляди за GPT-4 Turbo. Дългият контекст обаче не означава, че моделите го използват еднакво добре: изследване от 2023 г. установява, че резултатите са най-добри, когато нужната информация е в началото или в края на входния текст, и значително се влошават, когато тя е в средата, дори при модели, създадени специално за дълъг контекст. По-малките езикови модели, като предсказването на текст в приложенията за съобщения, допълват празното място в изречение с една дума; големият езиков модел работи по същия начин, но в много по-голям мащаб и може да предскаже по-сложно съдържание, например най-вероятния отговор от няколко абзаца или превод. Авторегресивните модели, като тези от семейството GPT, се обучават да познават как продължава дадена последователност — например дали след „Обичам да ям“ по-вероятно следва „хляб“, или „камъни“; маскираните модели, като BERT, вместо това познават липсващи части от последователността. Повечето такива модели се основават на архитектурата „трансформър“. Тя е предложена през юни 2017 г. в статията „Attention Is All You Need“ на изследователи от Google като проста мрежова архитектура, основана изцяло на механизми на вниманието, без рекурентност и конволюции. Трансформърите използват „самовнимание“ (self-attention), което позволява на модела да анализира връзките между думите във входа и да им даде тегла според относителната им важност. Според авторите на статията новата архитектура дава по-качествен машинен превод, по-лесно се паралелизира и се обучава значително по-бързо. При архитектурата „смес от експерти“ (mixture of experts, MoE) механизъм за маршрутизиране насочва всеки вход към най-подходящите специализирани подмрежи, така че за всеки вход се използва само част от параметрите и разходите за изпълнение намаляват. Така DeepSeek-V3 например има общо 671 милиарда параметъра, от които за всеки токен се активират 37 милиарда. История ------- Първите езикови програми, като „Елиза“ на Масачузетския технологичен институт от 1966 г., използват предварително зададени правила, за да преформулират думите на потребителя във въпрос; след тях идват статистическите модели, които предсказват най-вероятните думи чрез вероятности. Първите големи езикови модели се появяват вследствие на трансформърите през 2017 г.; година по-късно са представени BERT на Google и GPT на OpenAI. BERT съдържа само енкодер, а моделите GPT — само декодер; през 2019 г. GPT-2 привлича широко внимание, след като OpenAI заявява, че първоначално го смята за твърде мощен, за да бъде публикуван свободно, от страх от злоупотреби. През 2020 г. OpenAI представя GPT-3 — авторегресивен езиков модел със 175 милиарда параметъра, десет пъти повече от всеки предишен неразреден езиков модел. Авторите показват, че увеличаването на мащаба значително подобрява способността на модела да решава нови задачи само от няколко примера. Същата година изследователи от OpenAI описват „закони на мащабирането“: грешката на модела намалява по степенен закон с размера на модела, обема на данните и изчислителната мощ за обучение. На 30 ноември 2022 г. OpenAI представя ChatGPT — модел, който разговаря в диалогова форма и може да отговаря на допълнителни въпроси, да признава грешките си, да оспорва неверни предпоставки и да отказва неуместни заявки. Именно този чатбот за широката публика, а не по-ранните модели, получава широко медийно внимание. До юли 2025 г. ChatGPT е възприет от около 10% от възрастното население на света. През 2024 г. OpenAI пуска o1 — „разсъждаващ“ модел, който генерира дълги вериги от мисли, преди да даде окончателен отговор. Обучение и настройка -------------------- Обучението започва с текстово съдържание и може да включва обучение без учител — създаване на връзки между неразметени и неструктурирани данни — и обучение с учител, при което моделът се донастройва за по-целенасочен анализ. Основният етап е предварителното обучение — предсказване на следващата дума в огромни количества текст, при което, за разлика от традиционните задачи на машинното обучение, към твърденията няма етикети „вярно“ или „невярно“ и моделът вижда само примери за плавен език, чието общо разпределение трябва да приближи. Обемът на данните расте бързо: Llama 3 на Meta от април 2024 г. е обучен върху над 15 трилиона токена от публично достъпни източници — седем пъти повече данни, отколкото Llama 2. По-големият модел не следва непременно по-добре намеренията на потребителя: той може да генерира неверни, токсични или просто безполезни отговори. През 2022 г. OpenAI описва InstructGPT — модели, донастроени с човешка обратна връзка чрез обучение с подкрепление (RLHF). В човешките оценки отговорите на InstructGPT с 1,3 милиарда параметъра са предпочитани пред тези на GPT-3 със 175 милиарда, макар моделът да има 100 пъти по-малко параметри. Методът има два етапа: GPT-3 първо се дообучава с учител върху написани от хора примери за желаното поведение, а след това хора подреждат отговорите на модела по качество и тези класирания се използват за обучението с подсилване. При подхода на Anthropic, наречен „конституционен ИИ“, единственият човешки надзор върху безвредността на отговорите е списък от правила или принципи: друг модел преценява кой от два отговора е по-добър, а тези оценки служат като сигнал за награда при т.нар. обучение с подсилване от обратна връзка от ИИ (RLAIF). Закони на мащабирането и границите на данните --------------------------------------------- Работата на изследователите от OpenAI за законите на мащабирането (Джаред Каплан и колеги, 2020 г.) води и до практическа препоръка: при фиксиран изчислителен бюджет е оптимално да се обучават много големи модели върху сравнително умерено количество данни. През 2022 г. екип на DeepMind стига до различен извод: след обучение на над 400 модела той заключава, че тогавашните големи модели са значително недообучени и че размерът на модела и броят на токените за обучение трябва да растат еднакво, т.е. при всяко удвояване на модела данните също трябва да се удвояват. Техният модел Chinchilla със 70 милиарда параметъра, обучен с четири пъти повече данни при същия изчислителен бюджет като Gopher, превъзхожда значително по-големите Gopher (280 милиарда параметъра) и GPT-3 (175 милиарда). Експертите не са единодушни дали експоненциалният ръст на ресурсите ще продължи: едни очакват сегашните техники на обучение да достигнат плато или данните и енергията да ограничат напредъка, а други — ускорение, защото прилагането на ИИ в самите изследвания на ИИ може да създаде положителна обратна връзка. Изследователи от Epoch AI прогнозират, че ако тенденциите продължат, между 2026 и 2032 г. моделите ще се обучават върху масиви, равни по размер на целия наличен запас от публичен текст, създаден от хора. През декември 2024 г. съоснователят и бивш главен научен директор на OpenAI Иля Суцкевер заявява на конференцията NeurIPS, че „предварителното обучение, както го познаваме, несъмнено ще приключи“, като сравнява данните с изкопаемите горива, защото интернет съдържа ограничено количество създадено от хора съдържание. Разсъждаващи модели ------------------- През 2022 г. изследователи от Google показват, че подсказването с „верига от мисли“ — поредица от междинни стъпки на разсъждение — значително подобрява способността на големите модели за сложни разсъждения: модел с 540 милиарда параметъра, получил само осем такива примера, постига най-добрия тогава резултат на теста GSM8K с текстови математически задачи. Според OpenAI моделът o1 се учи чрез мащабно обучение с подсилване да използва продуктивно веригата си от мисли, а резултатите му растат както с повече обучение, така и с повече време за „мислене“ при отговора; на математическия изпит AIME от 2024 г. той решава средно 74% от задачите при един опит, срещу 12% за GPT-4o. През януари 2025 г. DeepSeek съобщава, че способностите за разсъждение могат да бъдат развити чрез чисто обучение с подсилване, без човешки примери за разсъждения, като у модела спонтанно възникват самопроверка и смяна на стратегията, а при проверими задачи като математика, състезателно програмиране и природни науки той превъзхожда моделите, обучени по традиционния начин върху човешки примери. Според Международния доклад за безопасността на ИИ новата вълна от тези техники разчита на обучение върху милиони самостоятелно генерирани вериги от разсъждения, всяка стъпка от които може да бъде проверена, но в области, където отговорите трудно се проверяват — като творческото писане и стратегическото планиране — синтетичните данни крият риск от „колапс на модела“, при който грешките се натрупват през поколенията обучение. Разбиране и интерпретируемост ----------------------------- Мненията дали моделите „разбират“ езика се разминават: екип на Microsoft твърди през 2023 г., че GPT-4 може основателно да се разглежда като ранна, все още непълна версия на система с общ изкуствен интелект, докато скептиците смятат, че моделите само прекомбинират съществуващ текст — явление, наречено „стохастичен папагал“. Иля Суцкевер твърди, че предсказването на следващата дума понякога изисква разсъждение и дълбоко разбиране — например когато моделът трябва да посочи престъпника в непознат криминален роман, след като е обработил цялата история до разкритието. През март 2025 г. Anthropic публикува изследвания с т.нар. микроскоп за ИИ, според които моделът Claude понякога мисли в общо за различните езици концептуално пространство, своеобразен „език на мисълта“, и при писане на стихове планира римата няколко думи напред, макар да е обучен да генерира по една дума. Обясненията на модела за собствените му разсъждения обаче не винаги отговарят на действителните изчисления: запитан как е пресметнал, че 36+59 е 95, Claude описва стандартния алгоритъм с пренос на единица, докато всъщност е развил собствени вътрешни стратегии. Самите автори признават, че методът им улавя само част от изчисленията на модела дори при кратки и прости заявки. Възможности и „назъбената“ граница ---------------------------------- Според доклада AI Index 2026 на Станфордския университет резултатите в един от ключовите тестове по програмиране, SWE-bench Verified, се повишават от 60% до почти 100% само за една година. Възможностите обаче остават „назъбени“: системи, които постигат резултат на ниво златен медал на Международната математическа олимпиада, все още се провалят на някои привидно прости задачи. Ограничения и рискове --------------------- Американският Национален институт за стандарти и технологии (NIST) нарича явлението „конфабулация“: създаване на уверено заявено, но погрешно или невярно съдържание, известно разговорно като „халюцинации“, което може да подведе или измами потребителите. Самата OpenAI предупреждава още при представянето на ChatGPT, че той понякога дава правдоподобно звучащи, но неверни или безсмислени отговори. Обзор на изследванията от 2022 г. отбелязва, че генерирането на текст чрез дълбоко обучение е склонно да „халюцинира“ непредвиден текст, което влошава работата на системите и не отговаря на очакванията на потребителите в много реални ситуации. Според изследователи на OpenAI от септември 2025 г. халюцинациите се дължат на това, че стандартните процедури за обучение и оценяване възнаграждават налучкването повече от признаването на несигурност, така че в класациите моделът, който налучква, изглежда по-добре от внимателния модел, който признава, че не знае. Правописът и скобите следват постоянни закономерности и грешките в тях изчезват с мащаба, докато произволни редки факти, като рождената дата на нечий домашен любимец, не могат да се предскажат по закономерности и водят до халюцинации; според авторите те все пак не са неизбежни, защото моделите могат да се въздържат от отговор, когато не са сигурни. Международният доклад за безопасността на ИИ отчита, че след предишния доклад от януари 2025 г. много видове грешки, включително халюцинациите, са станали по-редки, но системите все още често грешат при по-сложни задачи. Един от отговорите е генерирането, подсилено с извличане (retrieval-augmented generation, RAG): изследователите посочват, че знанието в параметрите на модела е трудно за точно използване, а посочването на източник и обновяването на знанието остават нерешени проблеми, и предлагат моделът да се комбинира с външна памет — векторен индекс на текстове, от който се извличат откъси. Подобен подход използва и WikiB: отговорите на въпроси се изграждат от откъси от статиите и източниците им. Сред етичните и социалните рискове „Британика“ посочва използването на произведения на автори за обучение без съгласието им, затвърждаването на стереотипи и пристрастия от обучаващите данни, разкриването на лична информация, злонамерена употреба за дезинформация и измами и икономически вреди. В статията „За опасностите от стохастичните папагали: могат ли езиковите модели да бъдат твърде големи?“ (2021) Емили Бендър, Тимнит Гебру и съавтори препоръчват първо да се претеглят екологичните и финансовите разходи и да се отделят ресурси за подбиране и внимателно документиране на данните, вместо да се поглъща всичко от мрежата. Пристрастията се проявяват например в непропорционалното свързване на преподаването с жени, а на инженерството — с мъже, или в преувеличаването на англоезичните гледни точки заради преобладаването на английски текстове в данните за обучение. Представянето на моделите обикновено се влошава и на езици, различни от английския, които са по-слабо представени в тези данни. Спорът за „възникващите способности“ ------------------------------------ Изследователи от Google и други институции описват през 2022 г. „възникващи способности“ — способности, които ги няма при по-малките модели, но се появяват при по-големите и затова не могат да бъдат предсказани чрез екстраполация. Изследователи от Станфордския университет предлагат през 2023 г. друго обяснение: тези способности се появяват заради избора на метрика от изследователите, а не заради основна промяна в поведението на модела с мащаба; нелинейните метрики създават привидни скокове, докато линейните показват плавни и предвидими промени. Отворени и затворени модели --------------------------- Моделите се публикуват или с отворени тегла, при които параметрите могат да бъдат изтеглени, или като затворени, достъпни само чрез приложен програмен интерфейс (API). Изоставането на отворените модели бързо намалява: по данни на AI Index разликата спрямо затворените при някои тестове пада от 8% на 1,7% само за една година. Според Международния доклад за безопасността на ИИ отворените модели носят значителни ползи за изследванията и бизнеса, особено за участници с по-малко ресурси, но не могат да бъдат изтеглени обратно след публикуването си, а защитите им се премахват по-лесно. През април 2026 г. Meta, чиято серия Llama дотогава е образец за отворени модели, пуска Muse Spark като затворен модел и представя това като временно, а не стратегическо решение, докато според The Next Web по-вероятното обяснение е, че отвореният код жертва конкурентното предимство от запазването на архитектурните иновации в тайна. Разходи и енергия ----------------- Обучението на най-големите модели поскъпва: според оценки на AI Index изчисленията за обучението на GPT-4 на OpenAI струват около 78 милиона долара, а за Gemini Ultra на Google — 191 милиона долара. В същото време DeepSeek съобщава, че пълното обучение на DeepSeek-V3 изисква едва 2,788 милиона часа работа на графични процесори H800, въпреки че моделът постига резултати, сравними с водещите затворени модели. Цената на използването спада още по-бързо: разходите за изпълнение на система с нивото на GPT-3.5 намаляват над 280 пъти между ноември 2022 г. и октомври 2024 г. Според собствена методология, публикувана от Google през август 2025 г., средната текстова заявка към приложенията Gemini изразходва 0,24 ватчаса енергия и 0,26 милилитра вода, като за 12 месеца енергията на такава заявка е намаляла 33 пъти; при по-тесен метод, отчитащ само активните чипове, оценката пада до 0,10 ватчаса — сценарий, който компанията определя като в най-добрия случай оптимистичен. В глобален мащаб Международната агенция по енергетика оценява, че през 2024 г. центровете за данни консумират около 1,5% от световната електроенергия, или 415 тераватчаса, и прогнозира, че до 2030 г. потреблението им ще се увеличи повече от два пъти до около 945 тераватчаса — малко повече от сегашното потребление на Япония, като изкуственият интелект е най-важният двигател на този ръст. Значение за обществото ---------------------- Според Международния доклад за безопасността на ИИ изкуственият интелект се разпространява по-бързо от предишни технологии като персоналния компютър: поне 700 милиона души използват водещи системи всяка седмица, но в голяма част от Африка, Азия и Латинска Америка делът на ползвателите вероятно остава под 10%. Изследване на употребата на ChatGPT, в което участват и служители на OpenAI, установява, че несвързаните с работа съобщения растат по-бързо от служебните и делът им нараства от 53% до над 70%, а най-честите теми — практически съвети, търсене на информация и писане — заедно обхващат близо 80% от разговорите. Очакванията на експертите и обществото силно се разминават: 73% от експертите очакват положително въздействие на ИИ върху начина, по който хората вършат работата си, срещу едва 23% от обществото. В Европейския съюз Законът за изкуствения интелект въвежда правила за доставчиците на модели с общо предназначение, включително за прозрачност и авторско право, а доставчиците на модели, които могат да носят системни рискове, трябва да ги оценяват и ограничават; тези правила са в сила от август 2025 г. Развитие през 2026 г. --------------------- На 7 април 2026 г. Anthropic обявява Project Glasswing заради възможностите на непубликувания си модел Claude Mythos Preview, който според компанията превъзхожда всички освен най-опитните хора в откриването и използването на софтуерни уязвимости и вече е открил хиляди сериозни уязвимости, включително във всяка голяма операционна система и уеб браузър. През юни 2026 г. компанията пуска за общо ползване Claude Fable 5 — модел от същия клас, но със защити, при които заявките по някои теми получават отговор от следващия по възможности модел, Claude Opus 4.8, докато Claude Mythos 5, същият модел с частично премахнати ограничения, е предоставен само на малка група специалисти по киберзащита и доставчици на инфраструктура. На 12 юни 2026 г. правителството на САЩ налага ограничения за износ на двата модела, които изискват достъпът на чуждестранни граждани да бъде спрян, и тъй като не може да проверява гражданството в реално време, Anthropic спира Fable 5 и Mythos 5 за всички потребители. Компанията изпълнява разпореждането, но заявява несъгласие, че откриването на тесен потенциален начин за заобикаляне на защитите е основание за изтегляне на търговски модел, използван от стотици милиони хора. Според Anthropic разпореждането следва доклад, в който изследователи от Amazon намират начин да заобиколят защитите на Fable 5, а тестовете на самата компания показват, че и по-слабо способни модели откриват същите уязвимости. Ограниченията са отменени на 30 юни 2026 г., а от 1 юли Fable 5 отново е достъпен за потребителите по света. На 30 септември 2026 г. Google представя Gemini 4 Argon, който първоначално е достъпен само за доверени специалисти по киберзащита, като обяснява, че безопасното пускане на възможности на такова ниво изисква поетапен подход, и участва в доброволния процес на правителството на САЩ за достъп до моделите преди публикуването им. Вижте също ----------- OpenAI: https://wikib.online/article/openai Самоусъвършенстващ се изкуствен интелект: https://wikib.online/article/samousavarshenstvasht-se-izkustven-intelekt Оценяване и сравняване на системи с изкуствен интелект: https://wikib.online/article/otsenyavane-i-sravnyavane-na-sistemi-s-izkustven-intelekt Законът на ЕС за изкуствен интелект: https://wikib.online/article/es-zakon-za-izkustven-intelekt Общ изкуствен интелект (AGI): https://wikib.online/article/obsht-izkustven-intelekt-agi Физическите граници на изкуствения интелект: https://wikib.online/article/fizicheskite-granitsi-na-izkustveniya-intelekt Подравняване на изкуствения интелект: https://wikib.online/article/podravnyavane-na-izkustveniya-intelekt Anthropic: https://wikib.online/article/anthropic Контрол на автономните агенти с изкуствен интелект: https://wikib.online/article/kontrol-na-avtonomnite-agenti-s-izkustven-intelekt Масачузетс: сенатор внася законопроект, написан с помощта на ChatGPT, за регулиране на ИИ: https://wikib.online/article/masachuzets-chatgpt-zakonoproekt-ai Доказателства към твърденията ----------------------------- 1. Large language model https://www.britannica.com/topic/large-language-model 2. Large language model https://www.britannica.com/topic/large-language-model 3. Large language model https://en.wikipedia.org/wiki/Large_language_model 4. Large language model https://www.britannica.com/topic/large-language-model 5. Large language model https://www.britannica.com/topic/large-language-model 6. Large language model https://www.britannica.com/topic/large-language-model 7. Large language model https://www.britannica.com/topic/large-language-model 8. Large language model https://en.wikipedia.org/wiki/Large_language_model 9. Attention Is All You Need (Vaswani et al.) https://arxiv.org/abs/1706.03762 10. Large language model https://www.britannica.com/topic/large-language-model 11. Large language model https://www.britannica.com/topic/large-language-model 12. Large language model https://www.britannica.com/topic/large-language-model 13. Language Models are Few-Shot Learners (Brown et al.) https://arxiv.org/abs/2005.14165 14. Language Models are Few-Shot Learners (Brown et al.) https://arxiv.org/abs/2005.14165 15. Scaling Laws for Neural Language Models (Kaplan et al.) https://arxiv.org/abs/2001.08361 16. Introducing ChatGPT https://openai.com/index/chatgpt/ 17. Large language model https://en.wikipedia.org/wiki/Large_language_model 18. Large language model https://en.wikipedia.org/wiki/Large_language_model 19. Large language model https://www.britannica.com/topic/large-language-model 20. Training language models to follow instructions with human feedback (Ouyang et al.) https://arxiv.org/abs/2203.02155 21. Training language models to follow instructions with human feedback (Ouyang et al.) https://arxiv.org/abs/2203.02155 22. NIST AI 600-1: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf 23. Introducing ChatGPT https://openai.com/index/chatgpt/ 24. Survey of Hallucination in Natural Language Generation (Ji et al.) https://arxiv.org/abs/2202.03629 25. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al.) https://arxiv.org/abs/2005.11401 26. Large language model https://www.britannica.com/topic/large-language-model 27. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (Bender, Gebru, McMillan-Major, Shmitchell) https://dl.acm.org/doi/10.1145/3442188.3445922 28. Emergent Abilities of Large Language Models (Wei et al.) https://arxiv.org/abs/2206.07682 29. Are Emergent Abilities of Large Language Models a Mirage? (Schaeffer, Miranda, Koyejo) https://arxiv.org/abs/2304.15004 30. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 31. The 2026 AI Index Report https://hai.stanford.edu/ai-index/2026-ai-index-report 32. Large language model https://en.wikipedia.org/wiki/Large_language_model 33. Large language model https://en.wikipedia.org/wiki/Large_language_model 34. Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context https://arxiv.org/abs/2403.05530 35. Lost in the Middle: How Language Models Use Long Contexts (Liu et al.) https://arxiv.org/abs/2307.03172 36. Large language model https://en.wikipedia.org/wiki/Large_language_model 37. Attention Is All You Need (Vaswani et al.) https://arxiv.org/abs/1706.03762 38. Large language model https://en.wikipedia.org/wiki/Large_language_model 39. DeepSeek-V3 Technical Report https://arxiv.org/abs/2412.19437 40. Large language model https://en.wikipedia.org/wiki/Large_language_model 41. How People Use ChatGPT (NBER Working Paper 34255) https://www.nber.org/papers/w34255 42. Why language models hallucinate https://openai.com/index/why-language-models-hallucinate/ 43. Introducing Meta Llama 3: The most capable openly available LLM to date https://ai.meta.com/blog/meta-llama-3/ 44. Training language models to follow instructions with human feedback (Ouyang et al.) https://arxiv.org/abs/2203.02155 45. Constitutional AI: Harmlessness from AI Feedback (Bai et al.) https://arxiv.org/abs/2212.08073 46. Scaling Laws for Neural Language Models (Kaplan et al.) https://arxiv.org/abs/2001.08361 47. Training Compute-Optimal Large Language Models (Hoffmann et al.) https://arxiv.org/abs/2203.15556 48. Training Compute-Optimal Large Language Models (Hoffmann et al.) https://arxiv.org/abs/2203.15556 49. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 50. Will we run out of data? Limits of LLM scaling based on human-generated data (Villalobos et al.) https://arxiv.org/abs/2211.04325 51. OpenAI cofounder Ilya Sutskever predicts the end of AI pre-training https://www.theverge.com/2024/12/13/24320811/what-ilya-sutskever-sees-openai-model-data-training 52. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (Wei et al.) https://arxiv.org/abs/2201.11903 53. Learning to reason with LLMs https://openai.com/index/learning-to-reason-with-llms/ 54. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning https://arxiv.org/abs/2501.12948 55. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 56. Large language model https://en.wikipedia.org/wiki/Large_language_model 57. Large language model https://en.wikipedia.org/wiki/Large_language_model 58. Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model 59. Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model 60. Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model 61. The 2026 AI Index Report https://hai.stanford.edu/ai-index/2026-ai-index-report 62. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 63. Why language models hallucinate https://openai.com/index/why-language-models-hallucinate/ 64. Why language models hallucinate https://openai.com/index/why-language-models-hallucinate/ 65. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 66. Large language model https://en.wikipedia.org/wiki/Large_language_model 67. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 68. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 69. The 2025 AI Index Report https://hai.stanford.edu/ai-index/2025-ai-index-report 70. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 71. Meta’s Muse Spark is here — and it’s closed source https://thenextweb.com/news/meta-muse-spark-msl-first-model 72. The 2024 AI Index Report https://hai.stanford.edu/ai-index/2024-ai-index-report 73. DeepSeek-V3 Technical Report https://arxiv.org/abs/2412.19437 74. The 2025 AI Index Report https://hai.stanford.edu/ai-index/2025-ai-index-report 75. How much energy does Google’s AI use? We did the math https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference 76. Energy and AI: Executive summary https://www.iea.org/reports/energy-and-ai/executive-summary 77. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 78. How People Use ChatGPT (NBER Working Paper 34255) https://www.nber.org/papers/w34255 79. The 2026 AI Index Report https://hai.stanford.edu/ai-index/2026-ai-index-report 80. AI Act https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai 81. Project Glasswing: Securing critical software for the AI era https://www.anthropic.com/glasswing 82. Claude Fable 5 and Claude Mythos 5 https://www.anthropic.com/news/claude-fable-5-mythos-5 83. Redeploying Fable 5 https://www.anthropic.com/news/redeploying-fable-5 84. Statement on the US government directive to suspend access to Fable 5 and Mythos 5 https://www.anthropic.com/news/fable-mythos-access 85. Redeploying Fable 5 https://www.anthropic.com/news/redeploying-fable-5 86. Redeploying Fable 5 https://www.anthropic.com/news/redeploying-fable-5 87. Introducing Gemini 4 Argon https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-argon/ Каноничен URL: https://wikib.online/article/golyam-ezikov-model Ревизия: 2 Статус: published Език: bg Лиценз: CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/)