Машинно обучение ================ Машинното обучение (на английски machine learning, ML) е област на изкуствения интелект, която разработва и изучава статистически алгоритми, способни да се учат от данни и да обобщават към нови, невиждани данни, и така да изпълняват задачи, без да са изрично програмирани за тях. Вместо програмистът да предвиди верния отговор за всеки възможен вход, системата получава примери за желаното поведение и сама настройва параметрите си така, че да се подобрява с опита. Основите на областта са статистиката и методите на математическата оптимизация, а една от основните ѝ теоретични рамки е т.нар. вероятно приблизително вярно (PAC) обучение. С развитието на дълбокото обучение невронните мрежи надминават по качество повечето по-стари подходи и от края на 2000-те и началото на 2010-те години машинното обучение доминира в изкуствения интелект толкова силно, че двата термина често се използват като синоними, макар да не означават едно и също. Методите му се използват в здравеопазването, производството, образованието, финансовото моделиране, полицейската дейност и маркетинга, както и в емпиричните науки — от биологията до космологията и социалните науки. Значението на областта е признато с Нобеловата награда за физика за 2024 г., присъдена на Джон Хопфийлд и Джефри Хинтън „за основополагащи открития и изобретения, които правят възможно машинното обучение с изкуствени невронни мрежи“. Сред най-обсъжданите открити въпроси е дали експоненциалният ръст на изчисленията, данните и алгоритмичната ефективност ще продължи да носи напредък: едни експерти очакват сегашните техники да достигнат плато, а други — ускорение, ако системите с ИИ започнат да ускоряват самите изследвания на ИИ. Определение и място сред сродните области ----------------------------------------- Широко цитираното формално определение на Том Мичъл гласи: „Казва се, че компютърна програма се учи от опит E по отношение на клас задачи T и мярка за представяне P, ако представянето ѝ при задачите от T, измерено с P, се подобрява с опита E“. Определението е операционно, а не когнитивно — то описва какво прави системата, а не дали тя „мисли“ — и следва предложението на Алън Тюринг в статията „Изчислителни машини и интелект“ въпросът „Могат ли машините да мислят?“ да бъде заменен с въпроса дали машина може убедително да имитира човек в отговорите си на човешки въпроси. В по-късен текст Мичъл определя централния въпрос на дисциплината така: как да се изградят компютърни системи, които автоматично се подобряват с опита, и кои са фундаменталните закони, управляващи всички процеси на учене. Според Мичъл машинното обучение е естествено продължение на пресечната точка между информатиката и статистиката: информатиката се занимава предимно с това как компютрите да се програмират ръчно, а машинното обучение — с това как те сами да се програмират от опит и известна начална структура. Статистиката пита какво може да се заключи от данните при определени допускания и с каква надеждност, докато машинното обучение добавя въпроси за изчислителните архитектури и алгоритми, за съчетаването на много подзадачи в по-голяма система и за изчислимостта. Двете области използват сходни методи, но имат различна основна цел: статистиката прави изводи за цялата съвкупност по извадка, а машинното обучение търси обобщаеми закономерности за прогнозиране; при класическия статистически анализ моделът се избира предварително, а при машинното обучение данните сами оформят модела. Лео Брейман разграничава две парадигми на моделиране — „модел на данните“ и „алгоритмичен модел“, към който спадат методи като случайните гори, — а част от статистиците възприемат методите на машинното обучение, от което се оформя областта „статистическо обучение“. Някои от най-използваните методи са много по-стари от самия термин: методът на най-малките квадрати — алгебрична процедура за напасване на линейни уравнения към данни — е изложен ясно за първи път от Лежандър през 1805 г. и до десет години се превръща в стандартен инструмент на астрономията и геодезията във Франция, Италия и Прусия. Машинното обучение е тясно свързано и с оптимизацията: много задачи се формулират като минимизиране на функция на загубата върху обучаващите примери, а тази функция изразява разминаването между прогнозите на модела и действителните случаи. За разлика от чистата оптимизация обаче целта е моделът да се представя добре и върху нови данни, а теоретичното описание на това обобщаване — особено при алгоритмите за дълбоко обучение — остава активна изследователска тема. Сродната област извличане на данни (data mining) се съсредоточава върху изследователския анализ на данни чрез обучение без учител. Източниците подреждат областта различно: краткото определение на „Британика“ описва машинното обучение като дисциплина в рамките на изкуствения интелект, занимаваща се със софтуер, който може да се учи самостоятелно, и все още посочва експертните системи и програмите за извличане на данни като най-честите му приложения, а изкуствените невронни мрежи и генетичните алгоритми — като най-разпространените подходи. Българската Уикипедия пренасочва „Машинно обучение“ към статия за „машинно самообучение“, което определя като общ термин за „изкуствено“ генериране на знания, но самата статия е отбелязана като вероятен машинен превод с неуточнени специални термини. Как работи машинното обучение ----------------------------- При обучението с учител алгоритъмът изгражда математически модел по данни, които съдържат както входовете, така и желаните изходи: всеки обучаващ пример има един или повече входа и желан изход, наричан сигнал на учителя, а в модела всеки пример се представя като масив или вектор, наричан вектор от признаци. Целта е обученият модел да предсказва точно изхода за нови, невиждани данни, което изисква от алгоритъма да обобщава ефективно от обучаващите примери; това качество се измерва с т.нар. грешка на обобщаване. Типичните задачи са класификация — предсказване на категория, например дали дадено писмо е спам, — и регресия — предсказване на числова стойност, например цената на жилище. Самото обучение обикновено е итеративна оптимизация, а един от най-важните методи е стохастичното градиентно спускане: вместо точния градиент, изчислен по целия набор от данни, то използва негова оценка от случайно избрана част от данните, което при задачи с много измерения рязко намалява изчислителната тежест и ускорява итерациите за сметка на по-бавна сходимост. Идеята води началото си от алгоритъма на Робинс–Монро от 1950-те години, а в съчетание с алгоритъма за обратно разпространение на грешката стохастичното градиентно спускане е де факто стандартът за обучение на изкуствени невронни мрежи. За да се провери дали моделът наистина обобщава, данните се разделят на части: валидиращото множество може да служи за т.нар. ранно спиране — обучението се прекратява, когато грешката върху него започне да расте, което е признак за преобучаване, — а тестовото множество дава безпристрастна оценка на модела, обучен върху обучаващото множество. Основната опасност е преобучаването (overfitting): анализ, който съответства твърде точно на конкретен набор от данни и затова не успява да опише допълнителни данни или надеждно да предскаже бъдещи наблюдения, защото несъзнателно приема част от случайния шум за структура. Обратният проблем — недообучаването — възниква, когато моделът не може да улови основната структура на данните, например когато линеен модел се напасва към нелинейни данни. Срещу преобучаването се използват сравняване на модели, кръстосана проверка, регуляризация, ранно спиране, подрязване, байесови априорни разпределения и отпадане (dropout), като част от техниките изрично наказват прекалено сложните модели, а други проверяват способността на модела да обобщава върху данни, които не са използвани при обучението. Класическата теория описва проблема чрез компромиса между отклонение и дисперсия: с увеличаването на броя на настройваемите параметри моделът става по-гъвкав и пасва по-добре на обучаващите данни, т.е. има по-малко отклонение, но резултатът му се променя повече всеки път, когато се вземе нова извадка за обучение, т.е. дисперсията расте. Тъй като обучаващите набори са крайни, а бъдещето е несигурно, теорията на ученето обикновено не дава гаранции за представянето на алгоритмите, а вероятностни граници; за най-добро обобщаване сложността на хипотезата трябва да съответства на сложността на функцията, която стои зад данните. Основна рамка е вероятно приблизително вярното (PAC) обучение, предложено през 1984 г. от Лесли Валиант, при което обучаемият получава примери и трябва да избере хипотеза, която с голяма вероятност има малка грешка на обобщаване. Практиката на дълбокото обучение обаче не се вписва лесно в тази картина: в статия, представена на конференцията ICLR през 2017 г., Чиюан Джан и съавтори показват, че съвременни конволюционни мрежи за класификация на изображения лесно запомнят дори напълно случайни етикети на обучаващите данни и че традиционните обяснения не могат да покажат защо големите мрежи все пак обобщават добре на практика. Михаил Белкин и колеги обясняват противоречието с кривата на „двойното спускане“: в съвременната практика много богати модели като невронните мрежи се обучават да пасват точно на данните, което класически би се смятало за преобучаване, но след тази точка по-нататъшното увеличаване на капацитета отново подобрява резултатите — според авторите това очертава границите на класическите анализи. Видове обучение --------------- Традиционно се разграничават три основни парадигми: обучение с учител, обучение без учител и обучение с подсилване. При обучението с учител алгоритъмът се учи да съпоставя входните данни на определен изход по примерни двойки вход–изход, като думата „учител“ препраща към ролята на онзи, който предоставя данните с верните отговори и така насочва алгоритъма към правилни прогнози. При обучението без учител алгоритъмът не получава етикети и сам трябва да открие структура във входните данни, като това може да е цел само по себе си — откриване на скрити закономерности — или средство за научаване на полезни признаци. Данните за такова обучение обикновено се събират евтино „от природата“ — например огромни текстови корпуси, събрани чрез обхождане на уеб, — а някои изследователи смятат и самоконтролираното обучение за разновидност на обучението без учител. Обучението с подсилване изучава как интелигентен агент да предприема действия в динамична среда така, че да максимизира сигнал за награда: агентът се учи от взаимодействието си със средата и постоянно избира между изпробването на нови действия, за да опознае средата (изследване), и използването на вече наученото (експлоатация). За разлика от обучението с учител данните тук не посочват верния изход, а само дали дадено действие е правилно, а при поредица от действия наградата често се отнася до цялата поредица, така че системата сама трябва да разпредели заслугата или вината между отделните ходове. За концептуалните и алгоритмичните основи на обучението с подсилване Андрю Барто и Ричард Сътън получават наградата „Тюринг“ за 2024 г., след като в поредица от статии от 1980-те години нататък въвеждат основните му идеи, изграждат математическите му основи и разработват важни алгоритми. Според ACM практическите му успехи през последните петнадесет години идват от съчетаването му с дълбокото обучение: най-известният пример е победата на AlphaGo над най-добрите играчи на го през 2016 и 2017 г., а ChatGPT се обучава на два етапа, като във втория се използва обучение с подсилване от човешка обратна връзка (RLHF), за да се уловят човешките очаквания (вж. подравняване на ИИ). През януари 2025 г. DeepSeek показва, че способността на езиковите модели да разсъждават може да се развие чрез чисто обучение с подсилване, без човешки примери за разсъждения, като у модела възникват напреднали модели на разсъждение — саморефлексия, проверка и смяна на стратегията, — а той постига по-добри резултати при проверими задачи като математика и състезателно програмиране. Между двата полюса стоят слабото или полуконтролираното обучение, при което само малка част от данните е етикетирана, и самоконтролираното обучение. Полуконтролираното обучение е особено полезно, когато етикетирането изисква квалифициран човешки труд — например преписване на аудиозапис — или физически експеримент като определянето на триизмерната структура на белтък, докато неетикетираните данни се набавят сравнително евтино. При самоконтролираното обучение моделът се обучава върху задача, при която сигналът за обучение се създава от самите данни, а не от външни етикети: входните данни обикновено се преобразуват така, че да се получат двойки свързани примери, единият от които служи за вход, а другият — за сигнал на учителя. В програмна статия на Meta AI от 4 март 2021 г., озаглавена „Самоконтролираното обучение: тъмната материя на интелекта“, се твърди, че обучението с учител е тясно място за изграждането на по-общи модели, защото на практика е невъзможно всичко на света да бъде етикетирано, а за някои задачи, като превода за езици с малко ресурси, етикетираните данни просто не стигат. Този подход стои зад пробива в обработката на език: моделът BERT от 2018 г. се обучава предварително върху неетикетиран текст, като използва едновременно контекста отляво и отдясно на всяка дума, и след добавянето на само един изходен слой постига най-добри резултати на единадесет задачи за обработка на естествен език. Големите езикови модели, на които се основават чатботове като ChatGPT, Claude и Gemini, обикновено използват архитектурата „трансформър“, обучават се предварително да предсказват следващата дума и след това често се дообучават да следват инструкции и да действат като асистенти. През 2021 г. група изследователи, водена от Риши Бомасани, въвежда понятието „фундаментални модели“ за модели, обучени върху широки данни в голям мащаб и приспособими към широк кръг задачи; според тях мащабът им поражда нови възникващи способности, но и хомогенизация, при която дефектите на базовия модел се наследяват от всички изградени върху него приложения. Основни методи и модели ----------------------- Най-простият метод е линейната регресия, при която през данните се прекарва права, най-добре пасваща според математически критерий като обикновените най-малки квадрати; тя често се разширява с регуляризация, за да се ограничат преобучаването и отклонението, както при гребеновата регресия (ridge regression). За нелинейни задачи се използват полиномиална регресия, логистична регресия — често прилагана за статистическа класификация — или ядрена регресия. Дърветата на решенията са предсказващ модел, който води от наблюденията към изводи: при класификационните дървета листата съдържат етикетите на класовете, а клоните — комбинациите от признаци, които водят до тях, докато регресионните дървета предсказват непрекъснати стойности. Случайните гори изграждат по време на обучението множество дървета и обединяват отговорите им — при класификация се избира класът, посочен от най-много дървета, а при регресия се усредняват прогнозите, — като така коригират склонността на отделните дървета към преобучаване. Първият алгоритъм за случайни гори е създаден през 1995 г. от Тин Кам Хо, а разширението на Лео Брейман и Адел Кътлър съчетава идеята на Брейман за „багинг“ със случаен избор на признаци. Усилването на дървета (tree boosting) е друг високоефективен и широко използван метод; системата XGBoost, представена през 2016 г., се използва масово от специалистите по данни за постигане на най-добри резултати в състезания по машинно обучение и се мащабира до милиарди примери с много по-малко ресурси от съществуващите системи. Въпреки възхода на дълбокото обучение при табличните данни дърветата остават трудни за надминаване: сравнително изследване от 2022 г. върху 45 набора от данни установява, че моделите на основата на дървета, като XGBoost и случайните гори, остават най-добрият избор при данни със среден размер (около 10 хиляди примера) дори без да се отчита по-голямата им скорост. Машините с опорни вектори (SVM), разработени в AT&T Bell Laboratories и основани на статистическата теория на Вапник и Червоненкис, търсят разделителна граница с максимален отстъп между класовете и чрез т.нар. ядрен трик могат ефективно да извършват и нелинейна класификация. Типичен метод за обучение без учител е групирането по метода на k-средните (k-means), което разделя n наблюдения в k групи така, че всяко наблюдение да принадлежи към групата с най-близкия център; стандартният алгоритъм е предложен от Стюарт Лойд от Bell Labs още през 1957 г., а терминът е използван за първи път от Джеймс Маккуин през 1967 г. Изкуствените невронни мрежи са вдъхновени от устройството на мозъка: невроните са представени от възли с различни стойности, които си влияят чрез връзки, сравними със синапси, като връзките могат да стават по-силни или по-слаби, а мрежата се обучава например чрез засилване на връзките между едновременно активни възли. Дълбокото обучение използва многослойни невронни мрежи — „дълбоки“ заради множеството слоеве, от три до няколкостотин или дори хиляди — за задачи като класификация, регресия и обучение на представяния. Според обзора на Ян ЛеКун, Йошуа Бенджио и Джефри Хинтън в Nature от 2015 г. многото слоеве позволяват на моделите сами да научават представяния на данните с няколко нива на абстракция, а алгоритъмът за обратно разпространение на грешката показва как машината да промени вътрешните си параметри, с което рязко се подобряват разпознаването на реч и на обекти, а също откриването на лекарства и геномиката. Методът за обратно разпространение на грешката е популяризиран от Дейвид Румелхарт, Джефри Хинтън и Роналд Уилямс в Nature през 1986 г.: процедурата многократно коригира теглата на връзките, за да намали разликата между действителния и желания изход, а скритите неврони сами започват да представят важни признаци на задачата — способност, която отличава метода от по-ранния перцептрон. Приоритетът е спорен: съвременната форма на метода е публикувана още през 1970 г. от Сепо Линайнма като „обратен режим на автоматичното диференциране“, а през 1982 г. Пол Уербос го прилага към многослойни перцептрони по начина, който става стандартен. Конволюционните невронни мрежи научават признаци чрез оптимизиране на филтри (ядра) и са де факто стандартът в компютърното зрение и обработката на изображения, макар в някои случаи вече да се заменят от по-нови архитектури като трансформъра; споделените тегла ги предпазват от изчезващите и експлодиращите градиенти на по-ранните мрежи. За последователности като текст и реч се използват рекурентни мрежи, а мрежите с дълга краткосрочна памет (LSTM) на Зеп Хохрайтер и Юрген Шмидхубер — с ранна версия от 1995 г. и най-цитирана публикация от 1997 г. — смекчават проблема с изчезващия градиент и могат да пазят информация в продължение на хиляди времеви стъпки. Архитектурата „трансформър“ е представена от изследователи на Google на конференцията NeurIPS през 2017 г. в статията „Attention Is All You Need“. Тя се основава изцяло на механизми на вниманието, без рекурентни и конволюционни слоеве, и в експериментите с машинен превод е по-качествена, по-лесно се паралелизира и изисква значително по-малко време за обучение. Генеративните модели се учат не само да разпознават, но и да създават данни: генеративно-състезателните мрежи (GAN), предложени през 2014 г. от Иън Гудфелоу и колеги, обучават едновременно генератор, който улавя разпределението на данните, и дискриминатор, който оценява вероятността даден пример да идва от истинските данни, а не от генератора. През 2020 г. Джонатан Хо и колеги постигат висококачествен синтез на изображения с дифузионни вероятностни модели — клас модели, вдъхновени от неравновесната термодинамика. История ------- Историята на машинното обучение се корени в десетилетия опити да се разберат човешките познавателни процеси: през 1949 г. канадският психолог Доналд Хеб описва в книгата „Организацията на поведението“ теоретична невронна структура, а неговата теория за взаимодействието между невроните поставя основите на начина, по който работят много алгоритми — свързани изкуствени неврони, чиито връзки се засилват или отслабват според данните. Изкуственият неврон и изкуствената невронна мрежа са изобретени още през 1943 г. от Уорън Маккълок и Уолтър Питс. Терминът „машинно обучение“ е въведен през 1959 г. от Артър Самюъл, служител на IBM и пионер в компютърните игри и изкуствения интелект, чиято програма от 1950-те години изчислява шансовете за победа на всяка от страните в играта на дама. Програмата на Самюъл е сред първите успешни самообучаващи се програми в света и ранна демонстрация на основната идея на изкуствения интелект. Често цитираната фраза, че машинното обучение позволява на компютрите да се учат, „без да бъдат изрично програмирани“, обикновено се приписва на Самюъл, но в публикацията му от 1959 г. тя не се среща дословно и вероятно е по-късен преразказ. През юли 1958 г. Службата за военноморски изследвания на САЩ демонстрира перцептрона на изследователя психолог Франк Розенблат: компютър IBM 704 с тегло 5 тона, захранван с перфокарти, след 50 опита сам се научава да различава карти, маркирани отляво, от карти, маркирани отдясно. Розенблат описва перцептрона подробно в статия от 1958 г., а екипът му построява специализирания аналогов компютър Mark I Perceptron, сглобен и тестван в Корнелската аеронавигационна лаборатория в Бъфало между юни и 14 декември 1959 г. Изявленията му пред пресата предизвикват разгорещени спорове в младата общност на ИИ: въз основа на тях The New York Times описва перцептрона като „зародиш на електронен компютър“, който ВМС очакват да може „да ходи, говори, вижда, пише, да се възпроизвежда и да осъзнава съществуването си“. През 1969 г. Марвин Мински и Сиймур Пейпърт показват в книгата „Перцептрони“, че този клас мрежи не може да научи функцията „изключващо или“ (XOR); макар двамата да знаят, че многослойните перцептрони могат да я представят, често неточно цитираната книга предизвиква значителен спад на интереса и финансирането за невронните мрежи, който продължава около десетилетие. Такива периоди на намалено финансиране и интерес се наричат „зими на ИИ“: областта преминава през няколко цикъла на шумни очаквания, последвани от разочарование, критика, съкращения на средствата и подновен интерес години или дори десетилетия по-късно. Сред ключовите епизоди са рязкото свиване на изследванията на ИИ във Великобритания след доклада на Лайтхил през 1973 г., сривът на пазара на LISP машини през 1987 г. и изоставянето на много експертни системи през 1990-те. Към 1980 г. в изкуствения интелект доминират експертните системи и логическият подход, основан на знания, а статистиката е в немилост; статистическото направление продължава извън ИИ — в разпознаването на образи и информационното търсене, — а изследванията на невронни мрежи са продължени от учени от други дисциплини като Джон Хопфийлд, Дейвид Румелхарт и Джефри Хинтън, чийто главен успех идва в средата на 1980-те с преоткриването на обратното разпространение. През 1990-те машинното обучение се утвърждава като самостоятелна област, сменя целта си от постигане на изкуствен интелект към решаване на практически задачи и се насочва от символните подходи, наследени от ИИ, към методи от статистиката, размитата логика и теорията на вероятностите. Липсата на данни също е пречка: през 2006 г. изследователката Фей-Фей Ли започва работа по ImageNet, защото в момент, когато повечето изследвания се съсредоточават върху моделите и алгоритмите, иска да разшири данните за обучение; в проекта над 14 милиона изображения са анотирани ръчно, като в етикетирането чрез Amazon Mechanical Turk участват 49 хиляди работници от 167 държави. Ключово значение има и хардуерът (вж. полупроводниците и надпреварата за чипове): през 2009 г. Раина, Мадхаван и Андрю Нг обучават дълбока доверителна мрежа със 100 милиона параметъра върху 30 графични процесора Nvidia GeForce GTX 280 до 70 пъти по-бързо — едно от ранните доказателства за дълбоко обучение с графични процесори. През 2012 г. мрежата AlexNet, разработена от Алекс Крижевски, Иля Суцкевер и Джефри Хинтън, постига значително по-добри резултати в състезанието ImageNet по разпознаване на изображения и допринася за широкото възприемане на дълбоките невронни мрежи. Мрежата е подадена на 30 септември 2012 г. и печели с грешка 15,3% при пет допустими отговора, с повече от 10,8 процентни пункта по-добре от второто място, като е разделена на две копия, всяко на отделен графичен процесор, защото не се побира в паметта на един Nvidia GTX 580. Според The Economist след това „изведнъж хората започват да обръщат внимание не само в общността на ИИ, а в цялата технологична индустрия“, а само три години по-късно много дълбока мрежа на Microsoft с над 100 слоя печели състезанието с грешка 3,57%. Следват бързо и други пробиви: техниките word2vec за векторно представяне на думи (2013), генеративно-състезателните мрежи (2014), победата на AlphaGo над професионален играч на го (2016) и трансформърът (2017). Програмата AlphaGo на DeepMind, съчетаваща дълбоки невронни мрежи с търсене по метода „Монте Карло“, печели 99,8% от партиите срещу други програми за го и побеждава европейския шампион с 5 на 0 — за първи път компютърна програма побеждава професионален играч на го на пълна дъска, постижение, смятано дотогава за отдалечено поне с десетилетие. Наградата „Тюринг“ за 2018 г., често наричана „Нобеловата награда на информатиката“ и носеща 1 милион долара, е присъдена на Йошуа Бенджио, Джефри Хинтън и Ян ЛеКун за концептуалните и инженерните пробиви, превърнали дълбоките невронни мрежи в ключов компонент на изчислителната техника. Според ACM интересът им към невронните мрежи първоначално е посрещнат със скептицизъм, но идеите им водят до големи технологични пробиви и методологията им днес е доминиращата парадигма в областта. Нобеловият комитет обяснява, че Хопфийлд създава асоциативна памет, която съхранява и възстановява изображения и други модели в данните, като използва физиката на атомните спинове, а Хинтън надгражда мрежата на Хопфийлд в т.нар. машина на Болцман, която с инструменти от статистическата физика се научава да разпознава характерни елементи в даден тип данни. Нобеловата награда за химия за 2024 г. е присъдена наполовина на Дейвид Бейкър за изчислителен дизайн на белтъци и наполовина на Демис Хасабис и Джон Джъмпър от Google DeepMind за предсказване на структурата на белтъците: представеният през 2020 г. модел AlphaFold2 предсказва структурата на практически всички 200 милиона известни белтъка и е използван от над два милиона души в 190 държави. Мащабиране и спорът за границите му ----------------------------------- През март 2019 г. Ричард Сътън формулира т.нар. „горчив урок“: най-големият урок от 70 години изследвания на ИИ е, че общите методи, които използват изчисления, в крайна сметка са най-ефективни, и то с голяма разлика, защото цената на изчисленията непрекъснато пада експоненциално. Като пример той посочва компютърния шах, където методите, победили световния шампион Каспаров през 1997 г., се основават на масивно, дълбоко търсене, а не на човешкото разбиране на играта, и компютърното го, където същото се повтаря с 20 години закъснение. През януари 2020 г. Джаред Каплан и колеги установяват, че загубата на езиковите модели намалява по степенен закон с увеличаването на размера на модела, обема на данните и изчисленията за обучение, като някои тенденции обхващат повече от седем порядъка, а при фиксиран изчислителен бюджет е оптимално да се обучават много големи модели върху сравнително умерено количество данни. През 2022 г. екип на DeepMind стига до различен извод: след обучението на над 400 модела с от 70 милиона до над 16 милиарда параметъра той заключава, че тогавашните големи модели са значително недообучени и че размерът на модела и броят на обучаващите токени трябва да растат еднакво — при всяко удвояване на модела данните също трябва да се удвояват. Моделът Chinchilla със 70 милиарда параметъра, обучен с четири пъти повече данни при същия изчислителен бюджет като Gopher, превъзхожда значително по-големите Gopher (280 милиарда), GPT-3 (175 милиарда) и Megatron-Turing NLG (530 милиарда). По данни на Epoch AI изчисленията за обучение на водещите езикови модели растат около 5 пъти годишно от 2020 г. насам, т.е. се удвояват приблизително на всеки 5,2 месеца. С мащаба често се свързват т.нар. възникващи способности, които по-големите модели сякаш придобиват внезапно, но Райлън Шефер и колеги твърдят през 2023 г., че те се дължат на избора на метрика от изследователя, а не на фундаментална промяна в поведението на модела: нелинейните или прекъснати метрики създават привидни скокове, докато линейните показват плавни и предвидими промени. Данните също имат предел: според Пабло Виялобос и колеги, ако тенденциите продължат, моделите ще се обучават върху набори, приблизително равни на целия наличен запас от публичен текст, създаден от хора, някъде между 2026 и 2032 г. През декември 2024 г. съоснователят на OpenAI Иля Суцкевер заявява на конференцията NeurIPS, че „предварителното обучение, както го познаваме, несъмнено ще приключи“, защото „сме достигнали пика на данните и повече няма да има“. Година по-късно Суцкевер описва периода от 2012 до 2020 г. като „ера на изследванията“, а от 2020 до 2025 г. — като „ера на мащабирането“, и твърди, че областта отново се връща към изследванията, тъй като не вярва, че стократно по-голям мащаб би преобразил всичко. Според него най-фундаменталният проблем е, че моделите „по някакъв начин обобщават драстично по-зле от хората“ — въпрос, който интервюиращият разделя на два: защо на моделите им трябват много повече данни, отколкото на хората, и защо е толкова по-трудно да бъдат научени на онова, което искаме. Сътън, носител на наградата „Тюринг“ за 2024 г., отива по-далеч и смята големите езикови модели за задънена улица: според него те могат да предсказват какво би казал човек, но не и какво ще се случи, нямат цел и „основна истина“, а по преразказа на интервюиращия — не могат да се учат в движение, затова е нужна нова архитектура за непрекъснато учене. Ян ЛеКун, който напуска Meta, съосновава AMI Labs, която през март 2026 г. набира 1,03 милиарда долара при оценка от 3,5 милиарда преди инвестицията, за да разработва „модели на света“ — ИИ, който се учи от реалността, а не само от езика, — на основата на архитектурата JEPA, предложена от ЛеКун през 2022 г. Сред най-гласовитите критици е Гари Маркъс, който през март 2022 г. публикува есето „Дълбокото обучение се удря в стена“ и защитава съчетаването на невронните мрежи с манипулирането на символи. Като пример за преувеличени очаквания той припомня, че през 2016 г. Хинтън призовава да се спре обучението на радиолози, защото до пет години дълбокото обучение ще ги превъзхожда, а до 2022 г. нито един радиолог не е заменен и консенсусът е, че машинното обучение в радиологията е по-трудно, отколкото изглежда. Международният доклад за безопасността на ИИ обобщава, че правдоподобните траектории варират от постепенен или дори застинал напредък до бързо ускорение, като технически предели или ограничения в енергията могат да спрат напредъка въпреки огромните инвестиции, а между експертите почти няма съгласие коя траектория е най-вероятна (вж. физическите граници на ИИ). Според същия доклад алгоритмичната ефективност се подобрява приблизително 2–6 пъти годишно, а обучаващите набори растат средно 2,5 пъти годишно. Приложения ---------- Машинният превод е един от най-видимите примери: невронната система на Google (GNMT), описана през 2016 г., намалява грешките в превода средно с 60% спрямо предишната фразова система на компанията при оценка от хора на изолирани прости изречения. Препоръчващите системи са друг ранен пример: през 2006 г. Netflix обявява състезанието Netflix Prize за програма, която подобрява поне с 10% точността на алгоритъма ѝ за препоръки на филми Cinematch, а голямата награда от 1 милион долара е спечелена през 2009 г. от съвместен екип на AT&T Labs-Research и отборите Big Chaos и Pragmatic Theory с ансамбъл от модели. В медицината Американската агенция по храните и лекарствата (FDA) одобрява през 2023 г. 223 медицински изделия с изкуствен интелект при само шест през 2015 г., сочат данните на Станфордския доклад AI Index 2025. По същите данни Waymo, един от най-големите оператори в САЩ, осигурява над 150 000 автономни пътувания седмично, а флотата роботаксита Apollo Go на Baidu обслужва много градове в Китай. Във финансите проучване на Bank of England и британския Орган за финансово поведение от ноември 2024 г. установява, че 75% от фирмите вече използват изкуствен интелект при 58% през 2022 г., като най-често той се прилага за оптимизация на вътрешните процеси (41%), киберсигурност (37%) и откриване на измами (33%). В науката освен предсказването на структурата на белтъците машинното обучение променя и прогнозирането на времето: моделът GraphCast на Google DeepMind, представен през ноември 2023 г., прави десетдневна прогноза за по-малко от минута на една машина, докато конвенционалният подход изисква часове на суперкомпютър със стотици машини, и в сравнение със златния стандарт HRES е по-точен при над 90% от 1380 тестови променливи и срокове на прогнозата. На 25 февруари 2025 г. Европейският център за средносрочни прогнози за времето (ECMWF) въвежда в експлоатация своята система AIFS, основана на машинно обучение, която работи успоредно с традиционния физичен модел, надминава съвременните физични модели по много показатели — включително траекториите на тропическите циклони, с подобрения до 20%, — и изразходва около хиляда пъти по-малко енергия за една прогноза. Внедряването на изкуствения интелект, включително на машинното обучение, в българския бизнес изостава: според Евростат през 2025 г. технологии с изкуствен интелект използват 19,95% от предприятията в ЕС, но едва 8,55% от българските — сред трите най-ниски дяла заедно с Румъния (5,21%) и Полша (8,36%), докато в Дания делът е 42,03%. В проучването на Евростат машинното обучение, например дълбокото обучение за анализ на данни, е отделна категория технологии с изкуствен интелект. Същевременно софийският институт INSAIT представя през януари 2024 г. BgGPT — първия отворен голям езиков модел за български език, обучен в първата си версия върху над 3 милиарда изречения на български и със 7 милиарда параметъра, който организациите могат да използват и локално, без да споделят чувствителни данни (вж. отворени и локални модели). Ограничения и рискове --------------------- Въпреки успехите си програмите за машинно обучение често не дават очакваните резултати, а причините са многобройни: липса на подходящи данни или на достъп до тях, пристрастия в данните, проблеми с поверителността, лошо избрани задачи и алгоритми, неподходящи инструменти и хора, липса на ресурси и проблеми с оценяването. Сред известните провали са смъртта на пешеходец, когото самоуправляващ се автомобил на Uber не разпознава през 2018 г., и опитите за прилагане на системата IBM Watson в здравеопазването, които не дават резултат въпреки години и милиарди долари инвестиции. Установено е и че възможностите на съвременните системи са „назъбени“: те достигат или надминават експертно ниво на стандартизирани изпити по редица професионални и научни дисциплини, но се провалят на някои елементарни задачи, понякога дават невярна информация и се представят по-слабо на езици, които са по-рядко срещани в данните им за обучение. Моделите наследяват особеностите на данните си: система, обучена върху сегашните клиенти, може да не предвиди нуждите на нови групи, които липсват в данните, а когато се обучава върху данни, създадени от хора, машинното обучение е склонно да възприеме вградените и несъзнателните предразсъдъци, вече налични в обществото. Още през 1988 г. британската Комисия за расово равенство установява, че медицинското училище „Сейнт Джордж“ използва компютърна програма, обучена върху решенията на предишните членове на приемната комисия, която е отказала прием на близо 60 кандидати, оказали се жени или с неевропейски звучащи имена. През 2018 г. Джой Буоламуини и Тимнит Гебру показват, че три търговски системи за определяне на пола по лице грешат най-често при жените с по-тъмна кожа — с грешка до 34,7%, — докато максималната грешка при мъжете със светла кожа е 0,8%, а широко използваните дотогава еталонни набори се състоят предимно от хора със светла кожа (79,6% и 86,2%). Изследване в Science от 2019 г. установява, че широко използван търговски алгоритъм за насочване на пациенти със сложни здравни нужди към допълнителни грижи, засягащ милиони хора, е расово пристрастен: при една и съща оценка на риска чернокожите пациенти са значително по-болни от белите, защото алгоритъмът предсказва разходите за лечение вместо самото заболяване, а поради неравния достъп до грижи за чернокожите пациенти се харчат по-малко пари. Премахването на тази разлика би увеличило дела на чернокожите пациенти, получаващи допълнителна помощ, от 17,7 на 46,5%. Подобни проблеми възникват в полицейската дейност и правосъдието (вж. COMPAS): предиктивният алгоритъм на компанията Geolitica, обучен върху исторически данни за престъпленията, води до „непропорционално високи нива на прекомерно полицейско присъствие“ в общности с ниски доходи и малцинства. Стенфордската енциклопедия по философия отбелязва, че когато система с ИИ вземе решение като „отказва ви се кредитна карта“, засегнатият често не може да разбере как е получен резултатът, а при машинното обучение изходът е непрозрачен дори за самите програмисти, които не знаят кои закономерности в данните системата е използвала; при такава непрозрачност всяко пристрастие в решенията е трудно за откриване. Комисия на британската Камара на лордовете заявява, че система, която може да има „съществено въздействие върху живота на човек“, не би била приемлива, ако не дава „пълно и задоволително обяснение“ на решенията си. Синтия Рудин твърди, че вместо да се обясняват впоследствие „черни кутии“, използвани за решения с висок залог в здравеопазването и наказателното правосъдие, трябва да се проектират модели, разбираеми по начало, защото опитите за обясняване на черни кутии могат да увековечат лоши практики и да причинят катастрофални вреди на обществото. Изследванията на интерпретируемостта се опитват да надникнат в самите модели: през март 2025 г. Anthropic съобщава, че моделът Claude понякога мисли в общо за различните езици концептуално пространство и планира римите си няколко думи напред, но признава, че дори при кратки и прости заявки методът улавя само част от изчисленията на модела. Моделите често се държат неочаквано зле, когато бъдат внедрени в реална среда; Александър Д’Амур и 39 съавтори обясняват това с „недоопределеността“: един и същ процес на обучение може да даде много модели с еднакво добри резултати върху данните от обучаващата област, които обаче се държат много различно при реалната употреба. Свързано явление е „ученето по преки пътища“: правила за решение, които се представят добре на стандартните тестове, но не се пренасят в по-трудни условия като реалния свят, като според авторите това може да е обща черта на учещите системи — и биологичните, и изкуствените. През 2013 г. Кристиан Сегеди и колеги, сред които Иля Суцкевер и Иън Гудфелоу, показват, че дълбоките невронни мрежи научават до голяма степен прекъснати съответствия между вход и изход и могат да бъдат накарани да класифицират погрешно изображение чрез незабележима промяна. При такива „състезателни примери“ — входове с малки, но умишлено най-неблагоприятни изменения — моделите дават грешен отговор с висока увереност, а Гудфелоу и колеги твърдят, че основната причина е не нелинейността или преобучаването, а линейният характер на невронните мрежи. Моделите могат и да запомнят обучаващите си данни: през 2020 г. Никълас Карлини и колеги извличат от езиковия модел GPT-2 стотици дословни текстови поредици от данните му за обучение, включително лична информация като имена, телефонни номера и имейл адреси. Изследване в Nature от юли 2024 г. показва, че безразборното обучение върху съдържание, генерирано от модели, причинява необратими дефекти — т.нар. колапс на модела, при който изчезват „опашките“ на първоначалното разпределение, т.е. редките случаи. Машинното обучение допринася и за криза на възпроизводимостта в науката: Саяш Капур и Арвинд Нараянан откриват грешки, свързани с изтичане на данни, в 17 научни области, засягащи общо 329 статии и в някои случаи водещи до крайно преувеличени заключения. Още през 2019 г. Ема Стръбел и колеги предупреждават, че подобренията в точността на големите модели зависят от изключително големи изчислителни ресурси със съответно голяма консумация на енергия, което ги прави скъпи както финансово, така и екологично заради въглеродния отпечатък. Според Международната агенция по енергетика потреблението на електроенергия от центровете за данни ще се удвои до около 945 TWh до 2030 г. — малко повече от сегашното потребление на цяла Япония, — като изкуственият интелект е най-важният двигател на този ръст. Най-оспорваният теоретичен въпрос е дали големите предварително обучени езикови модели „разбират“ езика и физическите и социалните ситуации, които той описва, в някакъв съществен смисъл — Мелани Мичъл и Дейвид Кракауер описват разгорещен дебат по този въпрос в изследователската общност. Емили Бендър и Александър Колер (2020) смятат, че успехите на тези модели пораждат шум, в който те се описват като „разбиращи“ езика или улавящи „смисъл“, докато система, обучена само върху езиковата форма, по принцип няма как да научи смисъла. Мичъл и Кракауер предлагат вместо отговор с „да“ или „не“ да се развие нова наука за интелекта, която да изучава различните видове разбиране, техните силни страни и ограничения и предизвикателството да се интегрират различни форми на познание. В Европейския съюз Законът за изкуствения интелект (Регламент (ЕС) 2024/1689) — първата всеобхватна правна рамка за ИИ в света — въвежда правила според риска с четири нива, влиза в сила на 1 август 2024 г. и започва да се прилага на 2 август 2026 г. с някои изключения. Развитие през 2025–2026 г. -------------------------- Според Международния доклад за безопасността на ИИ през последната година възможностите се подобряват главно чрез нови техники след първоначалното обучение и особено чрез т.нар. мащабиране по време на извод — моделите използват повече изчисления, за да генерират междинни стъпки преди окончателния отговор, — което носи особено големи подобрения при сложни задачи по математика, софтуерно инженерство и наука. Способностите обаче остават „назъбени“: водещите системи постигат резултат на ниво златен медал на Международната олимпиада по математика, а агентите с ИИ вече надеждно изпълняват някои програмистки задачи, за които на човек са нужни около половин час, но същите системи все още се провалят на някои привидно прости задачи. Станфордският доклад AI Index 2026 дава конкретни примери: на теста по програмиране SWE-bench Verified резултатите се повишават от 60% до почти 100% само за една година, а Gemini Deep Think печели златен медал на олимпиадата, но най-добрият модел разчита правилно аналогов часовник едва в 50,1% от случаите (вж. оценяване на системи с ИИ). Според същия доклад индустрията създава над 90% от забележителните водещи модели през 2025 г., организационното възприемане на ИИ достига 88%, а документираните инциденти с ИИ нарастват до 362 от 233 през 2024 г. Разликата в представянето между американските и китайските модели на практика изчезва: от началото на 2025 г. те неколкократно си разменят първенството, а към март 2026 г. най-добрият модел на Anthropic води само с 2,7%. Машинното обучение започва да автоматизира и самото научно откритие: през март 2026 г. Nature публикува системата The AI Scientist, която сама създава изследователски идеи, пише код, провежда експерименти, анализира данните, пише целия ръкопис и рецензира собствената си работа, а създаден от нея ръкопис преминава първия кръг на рецензиране за семинар към водеща конференция по машинно обучение с 70% приемаемост. Според The Brussels Times от 16 октомври 2026 г. Европейската комисия обявява на Европейската среща за ИИ в науката в Дъблин инициативата RAISE (Resource for AI Science in Europe), с която индустрията и филантропските организации да разширят достъпа на изследователите до инструменти и ресурси за изкуствен интелект, а Mistral AI и CERN обявяват партньорство за разработване на най-големия фундаментален модел във физиката. Нарастващите възможности променят и начина на пускане на моделите: на 30 септември 2026 г. Google представя Gemini 4 Argon, който първоначално се предоставя само на доверени специалисти по киберзащита, като компанията поставя безопасността и строгото тестване пред по-широкото публично пускане. В същото време набира сила търсенето на алтернативи на чисто езиковите модели, макар и с предупреждения за нов шум: изпълнителният директор на AMI Labs Александър Льобрюн прогнозира, че „моделите на света“ ще станат следващата модна дума и до половин година всяка компания ще се нарича така, за да набира средства. Вижте също ----------- Голям езиков модел: https://wikib.online/article/golyam-ezikov-model Физическите граници на изкуствения интелект: https://wikib.online/article/fizicheskite-granitsi-na-izkustveniya-intelekt Автономна наука: изкуственият интелект в научните открития: https://wikib.online/article/avtonomna-nauka Центровете за данни и енергията за изкуствения интелект: https://wikib.online/article/tsentrove-za-danni-i-energiyata-za-izkustveniya-intelekt Отворени и локални модели на изкуствения интелект: https://wikib.online/article/otvoreni-i-lokalni-modeli-na-izkustveniya-intelekt Подравняване на изкуствения интелект: https://wikib.online/article/podravnyavane-na-izkustveniya-intelekt Google DeepMind: https://wikib.online/article/google-deepmind Оценяване и сравняване на системи с изкуствен интелект: https://wikib.online/article/otsenyavane-i-sravnyavane-na-sistemi-s-izkustven-intelekt Полупроводниците и надпреварата за чипове: https://wikib.online/article/poluprovodnitsi-i-nadprevarata-za-chipove Законът на ЕС за изкуствен интелект: https://wikib.online/article/es-zakon-za-izkustven-intelekt Доказателства към твърденията ----------------------------- 1. Machine learning https://en.wikipedia.org/wiki/Machine_learning 2. Machine learning: Trends, perspectives, and prospects (M. I. Jordan, T. M. Mitchell) http://www.cs.cmu.edu/~tom/pubs/Science-ML-2015.pdf 3. Machine learning https://en.wikipedia.org/wiki/Machine_learning 4. Machine learning https://en.wikipedia.org/wiki/Machine_learning 5. Machine learning: Trends, perspectives, and prospects (M. I. Jordan, T. M. Mitchell) http://www.cs.cmu.edu/~tom/pubs/Science-ML-2015.pdf 6. Press release: The Nobel Prize in Physics 2024 https://www.nobelprize.org/prizes/physics/2024/press-release/ 7. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 8. Machine learning https://en.wikipedia.org/wiki/Machine_learning 9. Machine learning https://en.wikipedia.org/wiki/Machine_learning 10. The Discipline of Machine Learning (CMU-ML-06-108) http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf 11. The Discipline of Machine Learning (CMU-ML-06-108) http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf 12. The Discipline of Machine Learning (CMU-ML-06-108) http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf 13. Machine learning https://en.wikipedia.org/wiki/Machine_learning 14. Machine learning https://en.wikipedia.org/wiki/Machine_learning 15. Least squares https://en.wikipedia.org/wiki/Least_squares 16. Machine learning https://en.wikipedia.org/wiki/Machine_learning 17. Machine learning https://en.wikipedia.org/wiki/Machine_learning 18. Machine learning https://en.wikipedia.org/wiki/Machine_learning 19. machine learning https://www.britannica.com/technology/machine-learning 20. Машинно самообучение https://bg.wikipedia.org/wiki/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5 21. Machine learning https://en.wikipedia.org/wiki/Machine_learning 22. Supervised learning https://en.wikipedia.org/wiki/Supervised_learning 23. Supervised learning https://en.wikipedia.org/wiki/Supervised_learning 24. Stochastic gradient descent https://en.wikipedia.org/wiki/Stochastic_gradient_descent 25. Stochastic gradient descent https://en.wikipedia.org/wiki/Stochastic_gradient_descent 26. Training, validation, and test data sets https://en.wikipedia.org/wiki/Training,_validation,_and_test_data_sets 27. Overfitting https://en.wikipedia.org/wiki/Overfitting 28. Overfitting https://en.wikipedia.org/wiki/Overfitting 29. Overfitting https://en.wikipedia.org/wiki/Overfitting 30. Bias–variance tradeoff https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff 31. Machine learning https://en.wikipedia.org/wiki/Machine_learning 32. Probably approximately correct learning https://en.wikipedia.org/wiki/Probably_approximately_correct_learning 33. Understanding deep learning requires rethinking generalization (Zhang et al.) https://arxiv.org/abs/1611.03530 34. Reconciling modern machine learning practice and the bias-variance trade-off (Belkin et al.) https://arxiv.org/abs/1812.11118 35. Reinforcement learning https://en.wikipedia.org/wiki/Reinforcement_learning 36. Supervised learning https://en.wikipedia.org/wiki/Supervised_learning 37. Machine learning https://en.wikipedia.org/wiki/Machine_learning 38. Unsupervised learning https://en.wikipedia.org/wiki/Unsupervised_learning 39. Reinforcement learning https://en.wikipedia.org/wiki/Reinforcement_learning 40. Machine learning: Trends, perspectives, and prospects (M. I. Jordan, T. M. Mitchell) http://www.cs.cmu.edu/~tom/pubs/Science-ML-2015.pdf 41. ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology https://awards.acm.org/about/2024-turing 42. ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology https://awards.acm.org/about/2024-turing 43. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning https://arxiv.org/abs/2501.12948 44. Unsupervised learning https://en.wikipedia.org/wiki/Unsupervised_learning 45. Weak supervision https://en.wikipedia.org/wiki/Weak_supervision 46. Self-supervised learning https://en.wikipedia.org/wiki/Self-supervised_learning 47. Self-supervised learning: The dark matter of intelligence https://ai.meta.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/ 48. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) https://arxiv.org/abs/1810.04805 49. Large language model https://en.wikipedia.org/wiki/Large_language_model 50. On the Opportunities and Risks of Foundation Models (Bommasani et al.) https://arxiv.org/abs/2108.07258 51. Machine learning https://en.wikipedia.org/wiki/Machine_learning 52. Machine learning https://en.wikipedia.org/wiki/Machine_learning 53. Decision tree learning https://en.wikipedia.org/wiki/Decision_tree_learning 54. Random forest https://en.wikipedia.org/wiki/Random_forest 55. Random forest https://en.wikipedia.org/wiki/Random_forest 56. XGBoost: A Scalable Tree Boosting System (Chen, Guestrin) https://arxiv.org/abs/1603.02754 57. Why do tree-based models still outperform deep learning on tabular data? (Grinsztajn, Oyallon, Varoquaux) https://arxiv.org/abs/2207.08815 58. Support vector machine https://en.wikipedia.org/wiki/Support_vector_machine 59. k-means clustering https://en.wikipedia.org/wiki/K-means_clustering 60. Press release: The Nobel Prize in Physics 2024 https://www.nobelprize.org/prizes/physics/2024/press-release/ 61. Deep learning https://en.wikipedia.org/wiki/Deep_learning 62. Deep learning (LeCun, Bengio, Hinton) https://www.nature.com/articles/nature14539 63. Learning representations by back-propagating errors (Rumelhart, Hinton, Williams) https://www.nature.com/articles/323533a0 64. Backpropagation https://en.wikipedia.org/wiki/Backpropagation 65. Convolutional neural network https://en.wikipedia.org/wiki/Convolutional_neural_network 66. Long short-term memory https://en.wikipedia.org/wiki/Long_short-term_memory 67. Large language model https://en.wikipedia.org/wiki/Large_language_model 68. Attention Is All You Need (Vaswani et al.) https://arxiv.org/abs/1706.03762 69. Generative Adversarial Networks (Goodfellow et al.) https://arxiv.org/abs/1406.2661 70. Denoising Diffusion Probabilistic Models (Ho, Jain, Abbeel) https://arxiv.org/abs/2006.11239 71. Machine learning https://en.wikipedia.org/wiki/Machine_learning 72. Perceptron https://en.wikipedia.org/wiki/Perceptron 73. Machine learning https://en.wikipedia.org/wiki/Machine_learning 74. Arthur Samuel (computer scientist) https://en.wikipedia.org/wiki/Arthur_Samuel_(computer_scientist) 75. Machine learning https://en.wikipedia.org/wiki/Machine_learning 76. Professor’s perceptron paved the way for AI – 60 years too soon https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon 77. Perceptron https://en.wikipedia.org/wiki/Perceptron 78. Perceptron https://en.wikipedia.org/wiki/Perceptron 79. Perceptron https://en.wikipedia.org/wiki/Perceptron 80. AI winter https://en.wikipedia.org/wiki/AI_winter 81. AI winter https://en.wikipedia.org/wiki/AI_winter 82. Machine learning https://en.wikipedia.org/wiki/Machine_learning 83. Machine learning https://en.wikipedia.org/wiki/Machine_learning 84. ImageNet https://en.wikipedia.org/wiki/ImageNet 85. Deep learning https://en.wikipedia.org/wiki/Deep_learning 86. Machine learning https://en.wikipedia.org/wiki/Machine_learning 87. AlexNet https://en.wikipedia.org/wiki/AlexNet 88. ImageNet https://en.wikipedia.org/wiki/ImageNet 89. Machine learning https://en.wikipedia.org/wiki/Machine_learning 90. Mastering the game of Go with deep neural networks and tree search (Silver et al.) https://www.nature.com/articles/nature16961 91. Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award https://awards.acm.org/about/2018-turing 92. Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award https://awards.acm.org/about/2018-turing 93. Press release: The Nobel Prize in Physics 2024 https://www.nobelprize.org/prizes/physics/2024/press-release/ 94. Press release: The Nobel Prize in Chemistry 2024 https://www.nobelprize.org/prizes/chemistry/2024/press-release/ 95. The Bitter Lesson http://www.incompleteideas.net/IncIdeas/BitterLesson.html 96. The Bitter Lesson http://www.incompleteideas.net/IncIdeas/BitterLesson.html 97. Scaling Laws for Neural Language Models (Kaplan et al.) https://arxiv.org/abs/2001.08361 98. Training Compute-Optimal Large Language Models (Hoffmann et al.) https://arxiv.org/abs/2203.15556 99. Training Compute-Optimal Large Language Models (Hoffmann et al.) https://arxiv.org/abs/2203.15556 100. Data on AI: trends https://epoch.ai/data-trends 101. Are Emergent Abilities of Large Language Models a Mirage? (Schaeffer, Miranda, Koyejo) https://arxiv.org/abs/2304.15004 102. Will we run out of data? Limits of LLM scaling based on human-generated data (Villalobos et al.) https://arxiv.org/abs/2211.04325 103. OpenAI cofounder Ilya Sutskever predicts the end of AI pre-training https://www.theverge.com/2024/12/13/24320811/what-ilya-sutskever-sees-openai-model-data-training 104. Ilya Sutskever — We're moving from the age of scaling to the age of research https://www.dwarkesh.com/p/ilya-sutskever-2 105. Ilya Sutskever — We're moving from the age of scaling to the age of research https://www.dwarkesh.com/p/ilya-sutskever-2 106. Richard Sutton – Father of RL thinks LLMs are a dead end https://www.dwarkesh.com/p/richard-sutton 107. Yann LeCun’s AMI Labs raises $1.03B to build world models https://techcrunch.com/2026/03/09/yann-lecuns-ami-labs-raises-1-03-billion-to-build-world-models/ 108. Deep Learning Is Hitting a Wall https://nautil.us/deep-learning-is-hitting-a-wall-238440/ 109. Deep Learning Is Hitting a Wall https://nautil.us/deep-learning-is-hitting-a-wall-238440/ 110. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 111. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 112. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (Wu et al.) https://arxiv.org/abs/1609.08144 113. Machine learning https://en.wikipedia.org/wiki/Machine_learning 114. The 2025 AI Index Report https://hai.stanford.edu/ai-index/2025-ai-index-report 115. The 2025 AI Index Report https://hai.stanford.edu/ai-index/2025-ai-index-report 116. Artificial intelligence in UK financial services - 2024 https://www.bankofengland.co.uk/report/2024/artificial-intelligence-in-uk-financial-services-2024 117. GraphCast: AI model for faster and more accurate global weather forecasting https://deepmind.google/discover/blog/graphcast-ai-model-for-faster-and-more-accurate-global-weather-forecasting/ 118. ECMWF’s AI forecasts become operational https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ai-forecasts-become-operational 119. Use of artificial intelligence in enterprises https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Use_of_artificial_intelligence_in_enterprises 120. Use of artificial intelligence in enterprises https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Use_of_artificial_intelligence_in_enterprises 121. INSAIT announced BgGPT – the first open AI model for Bulgarian language https://insait.ai/insait-announced-bggpt/ 122. Machine learning https://en.wikipedia.org/wiki/Machine_learning 123. Machine learning https://en.wikipedia.org/wiki/Machine_learning 124. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 125. Machine learning https://en.wikipedia.org/wiki/Machine_learning 126. Machine learning https://en.wikipedia.org/wiki/Machine_learning 127. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (Buolamwini, Gebru) http://proceedings.mlr.press/v81/buolamwini18a.html 128. Dissecting racial bias in an algorithm used to manage the health of populations (Obermeyer et al.) https://pubmed.ncbi.nlm.nih.gov/31649194/ 129. Dissecting racial bias in an algorithm used to manage the health of populations (Obermeyer et al.) https://pubmed.ncbi.nlm.nih.gov/31649194/ 130. Machine learning https://en.wikipedia.org/wiki/Machine_learning 131. Ethics of Artificial Intelligence and Robotics https://plato.stanford.edu/entries/ethics-ai/ 132. Machine learning https://en.wikipedia.org/wiki/Machine_learning 133. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead (Rudin) https://arxiv.org/abs/1811.10154 134. Tracing the thoughts of a large language model https://www.anthropic.com/research/tracing-thoughts-language-model 135. Underspecification Presents Challenges for Credibility in Modern Machine Learning (D'Amour et al.) https://arxiv.org/abs/2011.03395 136. Shortcut Learning in Deep Neural Networks (Geirhos et al.) https://arxiv.org/abs/2004.07780 137. Intriguing properties of neural networks (Szegedy et al.) https://arxiv.org/abs/1312.6199 138. Explaining and Harnessing Adversarial Examples (Goodfellow, Shlens, Szegedy) https://arxiv.org/abs/1412.6572 139. Extracting Training Data from Large Language Models (Carlini et al.) https://arxiv.org/abs/2012.07805 140. AI models collapse when trained on recursively generated data (Shumailov et al.) https://www.nature.com/articles/s41586-024-07566-y 141. Leakage and the Reproducibility Crisis in ML-based Science (Kapoor, Narayanan) https://arxiv.org/abs/2207.07048 142. Energy and Policy Considerations for Deep Learning in NLP (Strubell, Ganesh, McCallum) https://arxiv.org/abs/1906.02243 143. Energy and AI: Executive summary https://www.iea.org/reports/energy-and-ai/executive-summary 144. The Debate Over Understanding in AI's Large Language Models (Mitchell, Krakauer) https://arxiv.org/abs/2210.13966 145. Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Bender, Koller) https://aclanthology.org/2020.acl-main.463/ 146. The Debate Over Understanding in AI's Large Language Models (Mitchell, Krakauer) https://arxiv.org/abs/2210.13966 147. AI Act https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai 148. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 149. International AI Safety Report 2026 https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026 150. The 2026 AI Index Report https://hai.stanford.edu/ai-index/2026-ai-index-report 151. The 2026 AI Index Report https://hai.stanford.edu/ai-index/2026-ai-index-report 152. The 2026 AI Index Report https://hai.stanford.edu/ai-index/2026-ai-index-report 153. Towards end-to-end automation of AI research (Lu et al.) https://www.nature.com/articles/s41586-026-10265-5 154. EU initiative pushes AI tools for science but demands ethical research https://www.brusselstimes.com/2364624/eu-initiative-pushes-ai-tools-for-science-but-demands-ethical-research 155. Gemini 4 Argon: our next era of frontier intelligence https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-argon/ 156. Yann LeCun’s AMI Labs raises $1.03B to build world models https://techcrunch.com/2026/03/09/yann-lecuns-ami-labs-raises-1-03-billion-to-build-world-models/ Каноничен URL: https://wikib.online/article/mashinno-obuchenie Ревизия: 1 Статус: published Език: bg Лиценз: CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/)