{"id":"41c821d6-78bc-4626-a373-d0d28f1af943","slug":"mashinno-obuchenie","title":"Машинно обучение","category":"Технологии · Изкуствен интелект","tags":["машинно обучение","изкуствен интелект","дълбоко обучение","невронни мрежи","обучение с подсилване","самоконтролирано обучение","закони на мащабирането","статистическо обучение","алгоритмична пристрастност"],"lead":"Машинното обучение (на английски machine learning, ML) е област на изкуствения интелект, която разработва и изучава статистически алгоритми, способни да се учат от данни и да обобщават към нови, невиждани данни, и така да изпълняват задачи, без да са изрично програмирани за тях[^wpml-def]. Вместо програмистът да предвиди верния отговор за всеки възможен вход, системата получава примери за желаното поведение и сама настройва параметрите си така, че да се подобрява с опита[^jm-def]. Основите на областта са статистиката и методите на математическата оптимизация, а една от основните ѝ теоретични рамки е т.нар. вероятно приблизително вярно (PAC) обучение[^wpml-found]. С развитието на дълбокото обучение невронните мрежи надминават по качество повечето по-стари подходи и от края на 2000-те и началото на 2010-те години машинното обучение доминира в изкуствения интелект толкова силно, че двата термина често се използват като синоними, макар да не означават едно и също[^wpml-dom]. Методите му се използват в здравеопазването, производството, образованието, финансовото моделиране, полицейската дейност и маркетинга, както и в емпиричните науки — от биологията до космологията и социалните науки[^jm-apps]. Значението на областта е признато с Нобеловата награда за физика за 2024 г., присъдена на Джон Хопфийлд и Джефри Хинтън „за основополагащи открития и изобретения, които правят възможно машинното обучение с изкуствени невронни мрежи“[^nobel-phys]. Сред най-обсъжданите открити въпроси е дали експоненциалният ръст на изчисленията, данните и алгоритмичната ефективност ще продължи да носи напредък: едни експерти очакват сегашните техники да достигнат плато, а други — ускорение, ако системите с ИИ започнат да ускоряват самите изследвания на ИИ[^iasr-disagree].","sections":[{"id":"opredelenie-i-myasto-sred-srodnite-oblasti","title":"Определение и място сред сродните области","paragraphs":["Широко цитираното формално определение на Том Мичъл гласи: „Казва се, че компютърна програма се учи от опит E по отношение на клас задачи T и мярка за представяне P, ако представянето ѝ при задачите от T, измерено с P, се подобрява с опита E“[^wpml-mitchell]. Определението е операционно, а не когнитивно — то описва какво прави системата, а не дали тя „мисли“ — и следва предложението на Алън Тюринг в статията „Изчислителни машини и интелект“ въпросът „Могат ли машините да мислят?“ да бъде заменен с въпроса дали машина може убедително да имитира човек в отговорите си на човешки въпроси[^wpml-turing]. В по-късен текст Мичъл определя централния въпрос на дисциплината така: как да се изградят компютърни системи, които автоматично се подобряват с опита, и кои са фундаменталните закони, управляващи всички процеси на учене[^mitchell-q].","Според Мичъл машинното обучение е естествено продължение на пресечната точка между информатиката и статистиката: информатиката се занимава предимно с това как компютрите да се програмират ръчно, а машинното обучение — с това как те сами да се програмират от опит и известна начална структура[^mitchell-cs]. Статистиката пита какво може да се заключи от данните при определени допускания и с каква надеждност, докато машинното обучение добавя въпроси за изчислителните архитектури и алгоритми, за съчетаването на много подзадачи в по-голяма система и за изчислимостта[^mitchell-stat]. Двете области използват сходни методи, но имат различна основна цел: статистиката прави изводи за цялата съвкупност по извадка, а машинното обучение търси обобщаеми закономерности за прогнозиране; при класическия статистически анализ моделът се избира предварително, а при машинното обучение данните сами оформят модела[^wpml-stats]. Лео Брейман разграничава две парадигми на моделиране — „модел на данните“ и „алгоритмичен модел“, към който спадат методи като случайните гори, — а част от статистиците възприемат методите на машинното обучение, от което се оформя областта „статистическо обучение“[^wpml-breiman]. Някои от най-използваните методи са много по-стари от самия термин: методът на най-малките квадрати — алгебрична процедура за напасване на линейни уравнения към данни — е изложен ясно за първи път от Лежандър през 1805 г. и до десет години се превръща в стандартен инструмент на астрономията и геодезията във Франция, Италия и Прусия[^ls].","Машинното обучение е тясно свързано и с оптимизацията: много задачи се формулират като минимизиране на функция на загубата върху обучаващите примери, а тази функция изразява разминаването между прогнозите на модела и действителните случаи[^wpml-loss]. За разлика от чистата оптимизация обаче целта е моделът да се представя добре и върху нови данни, а теоретичното описание на това обобщаване — особено при алгоритмите за дълбоко обучение — остава активна изследователска тема[^wpml-gen]. Сродната област извличане на данни (data mining) се съсредоточава върху изследователския анализ на данни чрез обучение без учител[^wpml-dm].","Източниците подреждат областта различно: краткото определение на „Британика“ описва машинното обучение като дисциплина в рамките на изкуствения интелект, занимаваща се със софтуер, който може да се учи самостоятелно, и все още посочва експертните системи и програмите за извличане на данни като най-честите му приложения, а изкуствените невронни мрежи и генетичните алгоритми — като най-разпространените подходи[^britannica]. Българската Уикипедия пренасочва „Машинно обучение“ към статия за „машинно самообучение“, което определя като общ термин за „изкуствено“ генериране на знания, но самата статия е отбелязана като вероятен машинен превод с неуточнени специални термини[^wpbg]."]},{"id":"kak-raboti-mashinnoto-obuchenie","title":"Как работи машинното обучение","paragraphs":["При обучението с учител алгоритъмът изгражда математически модел по данни, които съдържат както входовете, така и желаните изходи: всеки обучаващ пример има един или повече входа и желан изход, наричан сигнал на учителя, а в модела всеки пример се представя като масив или вектор, наричан вектор от признаци[^wpml-sup]. Целта е обученият модел да предсказва точно изхода за нови, невиждани данни, което изисква от алгоритъма да обобщава ефективно от обучаващите примери; това качество се измерва с т.нар. грешка на обобщаване[^sup-goal]. Типичните задачи са класификация — предсказване на категория, например дали дадено писмо е спам, — и регресия — предсказване на числова стойност, например цената на жилище[^sup-tasks].","Самото обучение обикновено е итеративна оптимизация, а един от най-важните методи е стохастичното градиентно спускане: вместо точния градиент, изчислен по целия набор от данни, то използва негова оценка от случайно избрана част от данните, което при задачи с много измерения рязко намалява изчислителната тежест и ускорява итерациите за сметка на по-бавна сходимост[^sgd-def]. Идеята води началото си от алгоритъма на Робинс–Монро от 1950-те години, а в съчетание с алгоритъма за обратно разпространение на грешката стохастичното градиентно спускане е де факто стандартът за обучение на изкуствени невронни мрежи[^sgd-std].","За да се провери дали моделът наистина обобщава, данните се разделят на части: валидиращото множество може да служи за т.нар. ранно спиране — обучението се прекратява, когато грешката върху него започне да расте, което е признак за преобучаване, — а тестовото множество дава безпристрастна оценка на модела, обучен върху обучаващото множество[^tvt]. Основната опасност е преобучаването (overfitting): анализ, който съответства твърде точно на конкретен набор от данни и затова не успява да опише допълнителни данни или надеждно да предскаже бъдещи наблюдения, защото несъзнателно приема част от случайния шум за структура[^overfit]. Обратният проблем — недообучаването — възниква, когато моделът не може да улови основната структура на данните, например когато линеен модел се напасва към нелинейни данни[^underfit]. Срещу преобучаването се използват сравняване на модели, кръстосана проверка, регуляризация, ранно спиране, подрязване, байесови априорни разпределения и отпадане (dropout), като част от техниките изрично наказват прекалено сложните модели, а други проверяват способността на модела да обобщава върху данни, които не са използвани при обучението[^overfit-reg].","Класическата теория описва проблема чрез компромиса между отклонение и дисперсия: с увеличаването на броя на настройваемите параметри моделът става по-гъвкав и пасва по-добре на обучаващите данни, т.е. има по-малко отклонение, но резултатът му се променя повече всеки път, когато се вземе нова извадка за обучение, т.е. дисперсията расте[^bv]. Тъй като обучаващите набори са крайни, а бъдещето е несигурно, теорията на ученето обикновено не дава гаранции за представянето на алгоритмите, а вероятностни граници; за най-добро обобщаване сложността на хипотезата трябва да съответства на сложността на функцията, която стои зад данните[^wpml-theory]. Основна рамка е вероятно приблизително вярното (PAC) обучение, предложено през 1984 г. от Лесли Валиант, при което обучаемият получава примери и трябва да избере хипотеза, която с голяма вероятност има малка грешка на обобщаване[^pac].","Практиката на дълбокото обучение обаче не се вписва лесно в тази картина: в статия, представена на конференцията ICLR през 2017 г., Чиюан Джан и съавтори показват, че съвременни конволюционни мрежи за класификация на изображения лесно запомнят дори напълно случайни етикети на обучаващите данни и че традиционните обяснения не могат да покажат защо големите мрежи все пак обобщават добре на практика[^zhang]. Михаил Белкин и колеги обясняват противоречието с кривата на „двойното спускане“: в съвременната практика много богати модели като невронните мрежи се обучават да пасват точно на данните, което класически би се смятало за преобучаване, но след тази точка по-нататъшното увеличаване на капацитета отново подобрява резултатите — според авторите това очертава границите на класическите анализи[^belkin]."]},{"id":"vidove-obuchenie","title":"Видове обучение","paragraphs":["Традиционно се разграничават три основни парадигми: обучение с учител, обучение без учител и обучение с подсилване[^rl-three]. При обучението с учител алгоритъмът се учи да съпоставя входните данни на определен изход по примерни двойки вход–изход, като думата „учител“ препраща към ролята на онзи, който предоставя данните с верните отговори и така насочва алгоритъма към правилни прогнози[^sup-def]. При обучението без учител алгоритъмът не получава етикети и сам трябва да открие структура във входните данни, като това може да е цел само по себе си — откриване на скрити закономерности — или средство за научаване на полезни признаци[^wpml-unsup]. Данните за такова обучение обикновено се събират евтино „от природата“ — например огромни текстови корпуси, събрани чрез обхождане на уеб, — а някои изследователи смятат и самоконтролираното обучение за разновидност на обучението без учител[^unsup].","Обучението с подсилване изучава как интелигентен агент да предприема действия в динамична среда така, че да максимизира сигнал за награда: агентът се учи от взаимодействието си със средата и постоянно избира между изпробването на нови действия, за да опознае средата (изследване), и използването на вече наученото (експлоатация)[^rl-def]. За разлика от обучението с учител данните тук не посочват верния изход, а само дали дадено действие е правилно, а при поредица от действия наградата често се отнася до цялата поредица, така че системата сама трябва да разпредели заслугата или вината между отделните ходове[^jm-rl]. За концептуалните и алгоритмичните основи на обучението с подсилване Андрю Барто и Ричард Сътън получават наградата „Тюринг“ за 2024 г., след като в поредица от статии от 1980-те години нататък въвеждат основните му идеи, изграждат математическите му основи и разработват важни алгоритми[^acm24]. Според ACM практическите му успехи през последните петнадесет години идват от съчетаването му с дълбокото обучение: най-известният пример е победата на AlphaGo над най-добрите играчи на го през 2016 и 2017 г., а ChatGPT се обучава на два етапа, като във втория се използва обучение с подсилване от човешка обратна връзка (RLHF), за да се уловят човешките очаквания (вж. [[podravnyavane-na-izkustveniya-intelekt|подравняване на ИИ]])[^acm24-rl]. През януари 2025 г. DeepSeek показва, че способността на езиковите модели да разсъждават може да се развие чрез чисто обучение с подсилване, без човешки примери за разсъждения, като у модела възникват напреднали модели на разсъждение — саморефлексия, проверка и смяна на стратегията, — а той постига по-добри резултати при проверими задачи като математика и състезателно програмиране[^r1].","Между двата полюса стоят слабото или полуконтролираното обучение, при което само малка част от данните е етикетирана, и самоконтролираното обучение[^unsup-semi]. Полуконтролираното обучение е особено полезно, когато етикетирането изисква квалифициран човешки труд — например преписване на аудиозапис — или физически експеримент като определянето на триизмерната структура на белтък, докато неетикетираните данни се набавят сравнително евтино[^weak]. При самоконтролираното обучение моделът се обучава върху задача, при която сигналът за обучение се създава от самите данни, а не от външни етикети: входните данни обикновено се преобразуват така, че да се получат двойки свързани примери, единият от които служи за вход, а другият — за сигнал на учителя[^ssl].","В програмна статия на Meta AI от 4 март 2021 г., озаглавена „Самоконтролираното обучение: тъмната материя на интелекта“, се твърди, че обучението с учител е тясно място за изграждането на по-общи модели, защото на практика е невъзможно всичко на света да бъде етикетирано, а за някои задачи, като превода за езици с малко ресурси, етикетираните данни просто не стигат[^metassl]. Този подход стои зад пробива в обработката на език: моделът BERT от 2018 г. се обучава предварително върху неетикетиран текст, като използва едновременно контекста отляво и отдясно на всяка дума, и след добавянето на само един изходен слой постига най-добри резултати на единадесет задачи за обработка на естествен език[^bert]. [[golyam-ezikov-model|Големите езикови модели]], на които се основават чатботове като ChatGPT, Claude и Gemini, обикновено използват архитектурата „трансформър“, обучават се предварително да предсказват следващата дума и след това често се дообучават да следват инструкции и да действат като асистенти[^llm-pre]. През 2021 г. група изследователи, водена от Риши Бомасани, въвежда понятието „фундаментални модели“ за модели, обучени върху широки данни в голям мащаб и приспособими към широк кръг задачи; според тях мащабът им поражда нови възникващи способности, но и хомогенизация, при която дефектите на базовия модел се наследяват от всички изградени върху него приложения[^fm]."]},{"id":"osnovni-metodi-i-modeli","title":"Основни методи и модели","paragraphs":["Най-простият метод е линейната регресия, при която през данните се прекарва права, най-добре пасваща според математически критерий като обикновените най-малки квадрати; тя често се разширява с регуляризация, за да се ограничат преобучаването и отклонението, както при гребеновата регресия (ridge regression)[^wpml-reg]. За нелинейни задачи се използват полиномиална регресия, логистична регресия — често прилагана за статистическа класификация — или ядрена регресия[^wpml-logit].","Дърветата на решенията са предсказващ модел, който води от наблюденията към изводи: при класификационните дървета листата съдържат етикетите на класовете, а клоните — комбинациите от признаци, които водят до тях, докато регресионните дървета предсказват непрекъснати стойности[^dt]. Случайните гори изграждат по време на обучението множество дървета и обединяват отговорите им — при класификация се избира класът, посочен от най-много дървета, а при регресия се усредняват прогнозите, — като така коригират склонността на отделните дървета към преобучаване[^rf]. Първият алгоритъм за случайни гори е създаден през 1995 г. от Тин Кам Хо, а разширението на Лео Брейман и Адел Кътлър съчетава идеята на Брейман за „багинг“ със случаен избор на признаци[^rf-hist]. Усилването на дървета (tree boosting) е друг високоефективен и широко използван метод; системата XGBoost, представена през 2016 г., се използва масово от специалистите по данни за постигане на най-добри резултати в състезания по машинно обучение и се мащабира до милиарди примери с много по-малко ресурси от съществуващите системи[^xgb]. Въпреки възхода на дълбокото обучение при табличните данни дърветата остават трудни за надминаване: сравнително изследване от 2022 г. върху 45 набора от данни установява, че моделите на основата на дървета, като XGBoost и случайните гори, остават най-добрият избор при данни със среден размер (около 10 хиляди примера) дори без да се отчита по-голямата им скорост[^tabular].","Машините с опорни вектори (SVM), разработени в AT&T Bell Laboratories и основани на статистическата теория на Вапник и Червоненкис, търсят разделителна граница с максимален отстъп между класовете и чрез т.нар. ядрен трик могат ефективно да извършват и нелинейна класификация[^svm]. Типичен метод за обучение без учител е групирането по метода на k-средните (k-means), което разделя n наблюдения в k групи така, че всяко наблюдение да принадлежи към групата с най-близкия център; стандартният алгоритъм е предложен от Стюарт Лойд от Bell Labs още през 1957 г., а терминът е използван за първи път от Джеймс Маккуин през 1967 г.[^kmeans]","Изкуствените невронни мрежи са вдъхновени от устройството на мозъка: невроните са представени от възли с различни стойности, които си влияят чрез връзки, сравними със синапси, като връзките могат да стават по-силни или по-слаби, а мрежата се обучава например чрез засилване на връзките между едновременно активни възли[^nobel-nn]. Дълбокото обучение използва многослойни невронни мрежи — „дълбоки“ заради множеството слоеве, от три до няколкостотин или дори хиляди — за задачи като класификация, регресия и обучение на представяния[^dl-def]. Според обзора на Ян ЛеКун, Йошуа Бенджио и Джефри Хинтън в Nature от 2015 г. многото слоеве позволяват на моделите сами да научават представяния на данните с няколко нива на абстракция, а алгоритъмът за обратно разпространение на грешката показва как машината да промени вътрешните си параметри, с което рязко се подобряват разпознаването на реч и на обекти, а също откриването на лекарства и геномиката[^lbh].","Методът за обратно разпространение на грешката е популяризиран от Дейвид Румелхарт, Джефри Хинтън и Роналд Уилямс в Nature през 1986 г.: процедурата многократно коригира теглата на връзките, за да намали разликата между действителния и желания изход, а скритите неврони сами започват да представят важни признаци на задачата — способност, която отличава метода от по-ранния перцептрон[^rhw]. Приоритетът е спорен: съвременната форма на метода е публикувана още през 1970 г. от Сепо Линайнма като „обратен режим на автоматичното диференциране“, а през 1982 г. Пол Уербос го прилага към многослойни перцептрони по начина, който става стандартен[^bp-hist].","Конволюционните невронни мрежи научават признаци чрез оптимизиране на филтри (ядра) и са де факто стандартът в компютърното зрение и обработката на изображения, макар в някои случаи вече да се заменят от по-нови архитектури като трансформъра; споделените тегла ги предпазват от изчезващите и експлодиращите градиенти на по-ранните мрежи[^cnn]. За последователности като текст и реч се използват рекурентни мрежи, а мрежите с дълга краткосрочна памет (LSTM) на Зеп Хохрайтер и Юрген Шмидхубер — с ранна версия от 1995 г. и най-цитирана публикация от 1997 г. — смекчават проблема с изчезващия градиент и могат да пазят информация в продължение на хиляди времеви стъпки[^lstm]. Архитектурата „трансформър“ е представена от изследователи на Google на конференцията NeurIPS през 2017 г. в статията „Attention Is All You Need“[^llm-tr]. Тя се основава изцяло на механизми на вниманието, без рекурентни и конволюционни слоеве, и в експериментите с машинен превод е по-качествена, по-лесно се паралелизира и изисква значително по-малко време за обучение[^vaswani].","Генеративните модели се учат не само да разпознават, но и да създават данни: генеративно-състезателните мрежи (GAN), предложени през 2014 г. от Иън Гудфелоу и колеги, обучават едновременно генератор, който улавя разпределението на данните, и дискриминатор, който оценява вероятността даден пример да идва от истинските данни, а не от генератора[^gan]. През 2020 г. Джонатан Хо и колеги постигат висококачествен синтез на изображения с дифузионни вероятностни модели — клас модели, вдъхновени от неравновесната термодинамика[^ddpm]."]},{"id":"istoriya","title":"История","paragraphs":["Историята на машинното обучение се корени в десетилетия опити да се разберат човешките познавателни процеси: през 1949 г. канадският психолог Доналд Хеб описва в книгата „Организацията на поведението“ теоретична невронна структура, а неговата теория за взаимодействието между невроните поставя основите на начина, по който работят много алгоритми — свързани изкуствени неврони, чиито връзки се засилват или отслабват според данните[^wpml-hebb]. Изкуственият неврон и изкуствената невронна мрежа са изобретени още през 1943 г. от Уорън Маккълок и Уолтър Питс[^perc-mp]. Терминът „машинно обучение“ е въведен през 1959 г. от Артър Самюъл, служител на IBM и пионер в компютърните игри и изкуствения интелект, чиято програма от 1950-те години изчислява шансовете за победа на всяка от страните в играта на дама[^wpml-samuel]. Програмата на Самюъл е сред първите успешни самообучаващи се програми в света и ранна демонстрация на основната идея на изкуствения интелект[^samuel]. Често цитираната фраза, че машинното обучение позволява на компютрите да се учат, „без да бъдат изрично програмирани“, обикновено се приписва на Самюъл, но в публикацията му от 1959 г. тя не се среща дословно и вероятно е по-късен преразказ[^wpml-paraphrase].","През юли 1958 г. Службата за военноморски изследвания на САЩ демонстрира перцептрона на изследователя психолог Франк Розенблат: компютър IBM 704 с тегло 5 тона, захранван с перфокарти, след 50 опита сам се научава да различава карти, маркирани отляво, от карти, маркирани отдясно[^cornell]. Розенблат описва перцептрона подробно в статия от 1958 г., а екипът му построява специализирания аналогов компютър Mark I Perceptron, сглобен и тестван в Корнелската аеронавигационна лаборатория в Бъфало между юни и 14 декември 1959 г.[^perc-mark1] Изявленията му пред пресата предизвикват разгорещени спорове в младата общност на ИИ: въз основа на тях The New York Times описва перцептрона като „зародиш на електронен компютър“, който ВМС очакват да може „да ходи, говори, вижда, пише, да се възпроизвежда и да осъзнава съществуването си“[^perc-nyt].","През 1969 г. Марвин Мински и Сиймур Пейпърт показват в книгата „Перцептрони“, че този клас мрежи не може да научи функцията „изключващо или“ (XOR); макар двамата да знаят, че многослойните перцептрони могат да я представят, често неточно цитираната книга предизвиква значителен спад на интереса и финансирането за невронните мрежи, който продължава около десетилетие[^perc-minsky]. Такива периоди на намалено финансиране и интерес се наричат „зими на ИИ“: областта преминава през няколко цикъла на шумни очаквания, последвани от разочарование, критика, съкращения на средствата и подновен интерес години или дори десетилетия по-късно[^aiwinter]. Сред ключовите епизоди са рязкото свиване на изследванията на ИИ във Великобритания след доклада на Лайтхил през 1973 г., сривът на пазара на LISP машини през 1987 г. и изоставянето на много експертни системи през 1990-те[^aiwinter-list].","Към 1980 г. в изкуствения интелект доминират експертните системи и логическият подход, основан на знания, а статистиката е в немилост; статистическото направление продължава извън ИИ — в разпознаването на образи и информационното търсене, — а изследванията на невронни мрежи са продължени от учени от други дисциплини като Джон Хопфийлд, Дейвид Румелхарт и Джефри Хинтън, чийто главен успех идва в средата на 1980-те с преоткриването на обратното разпространение[^wpml-rift]. През 1990-те машинното обучение се утвърждава като самостоятелна област, сменя целта си от постигане на изкуствен интелект към решаване на практически задачи и се насочва от символните подходи, наследени от ИИ, към методи от статистиката, размитата логика и теорията на вероятностите[^wpml-1990].","Липсата на данни също е пречка: през 2006 г. изследователката Фей-Фей Ли започва работа по ImageNet, защото в момент, когато повечето изследвания се съсредоточават върху моделите и алгоритмите, иска да разшири данните за обучение; в проекта над 14 милиона изображения са анотирани ръчно, като в етикетирането чрез Amazon Mechanical Turk участват 49 хиляди работници от 167 държави[^imagenet]. Ключово значение има и хардуерът (вж. [[poluprovodnitsi-i-nadprevarata-za-chipove|полупроводниците и надпреварата за чипове]]): през 2009 г. Раина, Мадхаван и Андрю Нг обучават дълбока доверителна мрежа със 100 милиона параметъра върху 30 графични процесора Nvidia GeForce GTX 280 до 70 пъти по-бързо — едно от ранните доказателства за дълбоко обучение с графични процесори[^dl-gpu].","През 2012 г. мрежата AlexNet, разработена от Алекс Крижевски, Иля Суцкевер и Джефри Хинтън, постига значително по-добри резултати в състезанието ImageNet по разпознаване на изображения и допринася за широкото възприемане на дълбоките невронни мрежи[^wpml-2012]. Мрежата е подадена на 30 септември 2012 г. и печели с грешка 15,3% при пет допустими отговора, с повече от 10,8 процентни пункта по-добре от второто място, като е разделена на две копия, всяко на отделен графичен процесор, защото не се побира в паметта на един Nvidia GTX 580[^alexnet]. Според The Economist след това „изведнъж хората започват да обръщат внимание не само в общността на ИИ, а в цялата технологична индустрия“, а само три години по-късно много дълбока мрежа на Microsoft с над 100 слоя печели състезанието с грешка 3,57%[^imagenet-econ].","Следват бързо и други пробиви: техниките word2vec за векторно представяне на думи (2013), генеративно-състезателните мрежи (2014), победата на AlphaGo над професионален играч на го (2016) и трансформърът (2017)[^wpml-timeline]. Програмата AlphaGo на [[google-deepmind|DeepMind]], съчетаваща дълбоки невронни мрежи с търсене по метода „Монте Карло“, печели 99,8% от партиите срещу други програми за го и побеждава европейския шампион с 5 на 0 — за първи път компютърна програма побеждава професионален играч на го на пълна дъска, постижение, смятано дотогава за отдалечено поне с десетилетие[^alphago].","Наградата „Тюринг“ за 2018 г., често наричана „Нобеловата награда на информатиката“ и носеща 1 милион долара, е присъдена на Йошуа Бенджио, Джефри Хинтън и Ян ЛеКун за концептуалните и инженерните пробиви, превърнали дълбоките невронни мрежи в ключов компонент на изчислителната техника[^acm18]. Според ACM интересът им към невронните мрежи първоначално е посрещнат със скептицизъм, но идеите им водят до големи технологични пробиви и методологията им днес е доминиращата парадигма в областта[^acm18-skept]. Нобеловият комитет обяснява, че Хопфийлд създава асоциативна памет, която съхранява и възстановява изображения и други модели в данните, като използва физиката на атомните спинове, а Хинтън надгражда мрежата на Хопфийлд в т.нар. машина на Болцман, която с инструменти от статистическата физика се научава да разпознава характерни елементи в даден тип данни[^nobel-mech]. Нобеловата награда за химия за 2024 г. е присъдена наполовина на Дейвид Бейкър за изчислителен дизайн на белтъци и наполовина на Демис Хасабис и Джон Джъмпър от Google DeepMind за предсказване на структурата на белтъците: представеният през 2020 г. модел AlphaFold2 предсказва структурата на практически всички 200 милиона известни белтъка и е използван от над два милиона души в 190 държави[^nobel-chem]."]},{"id":"mashtabirane-i-sporat-za-granitsite-mu","title":"Мащабиране и спорът за границите му","paragraphs":["През март 2019 г. Ричард Сътън формулира т.нар. „горчив урок“: най-големият урок от 70 години изследвания на ИИ е, че общите методи, които използват изчисления, в крайна сметка са най-ефективни, и то с голяма разлика, защото цената на изчисленията непрекъснато пада експоненциално[^bitter]. Като пример той посочва компютърния шах, където методите, победили световния шампион Каспаров през 1997 г., се основават на масивно, дълбоко търсене, а не на човешкото разбиране на играта, и компютърното го, където същото се повтаря с 20 години закъснение[^bitter-ex].","През януари 2020 г. Джаред Каплан и колеги установяват, че загубата на езиковите модели намалява по степенен закон с увеличаването на размера на модела, обема на данните и изчисленията за обучение, като някои тенденции обхващат повече от седем порядъка, а при фиксиран изчислителен бюджет е оптимално да се обучават много големи модели върху сравнително умерено количество данни[^kaplan]. През 2022 г. екип на DeepMind стига до различен извод: след обучението на над 400 модела с от 70 милиона до над 16 милиарда параметъра той заключава, че тогавашните големи модели са значително недообучени и че размерът на модела и броят на обучаващите токени трябва да растат еднакво — при всяко удвояване на модела данните също трябва да се удвояват[^chinchilla]. Моделът Chinchilla със 70 милиарда параметъра, обучен с четири пъти повече данни при същия изчислителен бюджет като Gopher, превъзхожда значително по-големите Gopher (280 милиарда), GPT-3 (175 милиарда) и Megatron-Turing NLG (530 милиарда)[^chinchilla-res]. По данни на Epoch AI изчисленията за обучение на водещите езикови модели растат около 5 пъти годишно от 2020 г. насам, т.е. се удвояват приблизително на всеки 5,2 месеца[^epoch].","С мащаба често се свързват т.нар. възникващи способности, които по-големите модели сякаш придобиват внезапно, но Райлън Шефер и колеги твърдят през 2023 г., че те се дължат на избора на метрика от изследователя, а не на фундаментална промяна в поведението на модела: нелинейните или прекъснати метрики създават привидни скокове, докато линейните показват плавни и предвидими промени[^schaeffer]. Данните също имат предел: според Пабло Виялобос и колеги, ако тенденциите продължат, моделите ще се обучават върху набори, приблизително равни на целия наличен запас от публичен текст, създаден от хора, някъде между 2026 и 2032 г.[^villalobos] През декември 2024 г. съоснователят на OpenAI Иля Суцкевер заявява на конференцията NeurIPS, че „предварителното обучение, както го познаваме, несъмнено ще приключи“, защото „сме достигнали пика на данните и повече няма да има“[^verge].","Година по-късно Суцкевер описва периода от 2012 до 2020 г. като „ера на изследванията“, а от 2020 до 2025 г. — като „ера на мащабирането“, и твърди, че областта отново се връща към изследванията, тъй като не вярва, че стократно по-голям мащаб би преобразил всичко[^ilya]. Според него най-фундаменталният проблем е, че моделите „по някакъв начин обобщават драстично по-зле от хората“ — въпрос, който интервюиращият разделя на два: защо на моделите им трябват много повече данни, отколкото на хората, и защо е толкова по-трудно да бъдат научени на онова, което искаме[^ilya-gen]. Сътън, носител на наградата „Тюринг“ за 2024 г., отива по-далеч и смята големите езикови модели за задънена улица: според него те могат да предсказват какво би казал човек, но не и какво ще се случи, нямат цел и „основна истина“, а по преразказа на интервюиращия — не могат да се учат в движение, затова е нужна нова архитектура за непрекъснато учене[^sutton]. Ян ЛеКун, който напуска Meta, съосновава AMI Labs, която през март 2026 г. набира 1,03 милиарда долара при оценка от 3,5 милиарда преди инвестицията, за да разработва „модели на света“ — ИИ, който се учи от реалността, а не само от езика, — на основата на архитектурата JEPA, предложена от ЛеКун през 2022 г.[^ami]","Сред най-гласовитите критици е Гари Маркъс, който през март 2022 г. публикува есето „Дълбокото обучение се удря в стена“ и защитава съчетаването на невронните мрежи с манипулирането на символи[^marcus]. Като пример за преувеличени очаквания той припомня, че през 2016 г. Хинтън призовава да се спре обучението на радиолози, защото до пет години дълбокото обучение ще ги превъзхожда, а до 2022 г. нито един радиолог не е заменен и консенсусът е, че машинното обучение в радиологията е по-трудно, отколкото изглежда[^marcus-rad]. Международният доклад за безопасността на ИИ обобщава, че правдоподобните траектории варират от постепенен или дори застинал напредък до бързо ускорение, като технически предели или ограничения в енергията могат да спрат напредъка въпреки огромните инвестиции, а между експертите почти няма съгласие коя траектория е най-вероятна (вж. [[fizicheskite-granitsi-na-izkustveniya-intelekt|физическите граници на ИИ]])[^iasr-traj]. Според същия доклад алгоритмичната ефективност се подобрява приблизително 2–6 пъти годишно, а обучаващите набори растат средно 2,5 пъти годишно[^iasr-inputs]."]},{"id":"prilozheniya","title":"Приложения","paragraphs":["Машинният превод е един от най-видимите примери: невронната система на Google (GNMT), описана през 2016 г., намалява грешките в превода средно с 60% спрямо предишната фразова система на компанията при оценка от хора на изолирани прости изречения[^gnmt]. Препоръчващите системи са друг ранен пример: през 2006 г. Netflix обявява състезанието Netflix Prize за програма, която подобрява поне с 10% точността на алгоритъма ѝ за препоръки на филми Cinematch, а голямата награда от 1 милион долара е спечелена през 2009 г. от съвместен екип на AT&T Labs-Research и отборите Big Chaos и Pragmatic Theory с ансамбъл от модели[^wpml-netflix].","В медицината Американската агенция по храните и лекарствата (FDA) одобрява през 2023 г. 223 медицински изделия с изкуствен интелект при само шест през 2015 г., сочат данните на Станфордския доклад AI Index 2025[^aii25-fda]. По същите данни Waymo, един от най-големите оператори в САЩ, осигурява над 150 000 автономни пътувания седмично, а флотата роботаксита Apollo Go на Baidu обслужва много градове в Китай[^aii25-waymo]. Във финансите проучване на Bank of England и британския Орган за финансово поведение от ноември 2024 г. установява, че 75% от фирмите вече използват изкуствен интелект при 58% през 2022 г., като най-често той се прилага за оптимизация на вътрешните процеси (41%), киберсигурност (37%) и откриване на измами (33%)[^boe].","В науката освен предсказването на структурата на белтъците машинното обучение променя и прогнозирането на времето: моделът GraphCast на Google DeepMind, представен през ноември 2023 г., прави десетдневна прогноза за по-малко от минута на една машина, докато конвенционалният подход изисква часове на суперкомпютър със стотици машини, и в сравнение със златния стандарт HRES е по-точен при над 90% от 1380 тестови променливи и срокове на прогнозата[^graphcast]. На 25 февруари 2025 г. Европейският център за средносрочни прогнози за времето (ECMWF) въвежда в експлоатация своята система AIFS, основана на машинно обучение, която работи успоредно с традиционния физичен модел, надминава съвременните физични модели по много показатели — включително траекториите на тропическите циклони, с подобрения до 20%, — и изразходва около хиляда пъти по-малко енергия за една прогноза[^ecmwf].","Внедряването на изкуствения интелект, включително на машинното обучение, в българския бизнес изостава: според Евростат през 2025 г. технологии с изкуствен интелект използват 19,95% от предприятията в ЕС, но едва 8,55% от българските — сред трите най-ниски дяла заедно с Румъния (5,21%) и Полша (8,36%), докато в Дания делът е 42,03%[^eurostat]. В проучването на Евростат машинното обучение, например дълбокото обучение за анализ на данни, е отделна категория технологии с изкуствен интелект[^eurostat-ml]. Същевременно софийският институт INSAIT представя през януари 2024 г. BgGPT — първия отворен голям езиков модел за български език, обучен в първата си версия върху над 3 милиарда изречения на български и със 7 милиарда параметъра, който организациите могат да използват и локално, без да споделят чувствителни данни (вж. [[otvoreni-i-lokalni-modeli-na-izkustveniya-intelekt|отворени и локални модели]])[^insait]."]},{"id":"ogranicheniya-i-riskove","title":"Ограничения и рискове","paragraphs":["Въпреки успехите си програмите за машинно обучение често не дават очакваните резултати, а причините са многобройни: липса на подходящи данни или на достъп до тях, пристрастия в данните, проблеми с поверителността, лошо избрани задачи и алгоритми, неподходящи инструменти и хора, липса на ресурси и проблеми с оценяването[^wpml-limits]. Сред известните провали са смъртта на пешеходец, когото самоуправляващ се автомобил на Uber не разпознава през 2018 г., и опитите за прилагане на системата IBM Watson в здравеопазването, които не дават резултат въпреки години и милиарди долари инвестиции[^wpml-fail]. Установено е и че възможностите на съвременните системи са „назъбени“: те достигат или надминават експертно ниво на стандартизирани изпити по редица професионални и научни дисциплини, но се провалят на някои елементарни задачи, понякога дават невярна информация и се представят по-слабо на езици, които са по-рядко срещани в данните им за обучение[^iasr-jag2].","Моделите наследяват особеностите на данните си: система, обучена върху сегашните клиенти, може да не предвиди нуждите на нови групи, които липсват в данните, а когато се обучава върху данни, създадени от хора, машинното обучение е склонно да възприеме вградените и несъзнателните предразсъдъци, вече налични в обществото[^wpml-bias]. Още през 1988 г. британската Комисия за расово равенство установява, че медицинското училище „Сейнт Джордж“ използва компютърна програма, обучена върху решенията на предишните членове на приемната комисия, която е отказала прием на близо 60 кандидати, оказали се жени или с неевропейски звучащи имена[^wpml-stgeorge]. През 2018 г. Джой Буоламуини и Тимнит Гебру показват, че три търговски системи за определяне на пола по лице грешат най-често при жените с по-тъмна кожа — с грешка до 34,7%, — докато максималната грешка при мъжете със светла кожа е 0,8%, а широко използваните дотогава еталонни набори се състоят предимно от хора със светла кожа (79,6% и 86,2%)[^gs].","Изследване в Science от 2019 г. установява, че широко използван търговски алгоритъм за насочване на пациенти със сложни здравни нужди към допълнителни грижи, засягащ милиони хора, е расово пристрастен: при една и съща оценка на риска чернокожите пациенти са значително по-болни от белите, защото алгоритъмът предсказва разходите за лечение вместо самото заболяване, а поради неравния достъп до грижи за чернокожите пациенти се харчат по-малко пари[^obermeyer]. Премахването на тази разлика би увеличило дела на чернокожите пациенти, получаващи допълнителна помощ, от 17,7 на 46,5%[^obermeyer-fix]. Подобни проблеми възникват в полицейската дейност и правосъдието (вж. [[compas-algoritam-presadi-sasht|COMPAS]]): предиктивният алгоритъм на компанията Geolitica, обучен върху исторически данни за престъпленията, води до „непропорционално високи нива на прекомерно полицейско присъствие“ в общности с ниски доходи и малцинства[^wpml-police].","Стенфордската енциклопедия по философия отбелязва, че когато система с ИИ вземе решение като „отказва ви се кредитна карта“, засегнатият често не може да разбере как е получен резултатът, а при машинното обучение изходът е непрозрачен дори за самите програмисти, които не знаят кои закономерности в данните системата е използвала; при такава непрозрачност всяко пристрастие в решенията е трудно за откриване[^sep]. Комисия на британската Камара на лордовете заявява, че система, която може да има „съществено въздействие върху живота на човек“, не би била приемлива, ако не дава „пълно и задоволително обяснение“ на решенията си[^wpml-hol]. Синтия Рудин твърди, че вместо да се обясняват впоследствие „черни кутии“, използвани за решения с висок залог в здравеопазването и наказателното правосъдие, трябва да се проектират модели, разбираеми по начало, защото опитите за обясняване на черни кутии могат да увековечат лоши практики и да причинят катастрофални вреди на обществото[^rudin]. Изследванията на интерпретируемостта се опитват да надникнат в самите модели: през март 2025 г. Anthropic съобщава, че моделът Claude понякога мисли в общо за различните езици концептуално пространство и планира римите си няколко думи напред, но признава, че дори при кратки и прости заявки методът улавя само част от изчисленията на модела[^anth].","Моделите често се държат неочаквано зле, когато бъдат внедрени в реална среда; Александър Д’Амур и 39 съавтори обясняват това с „недоопределеността“: един и същ процес на обучение може да даде много модели с еднакво добри резултати върху данните от обучаващата област, които обаче се държат много различно при реалната употреба[^damour]. Свързано явление е „ученето по преки пътища“: правила за решение, които се представят добре на стандартните тестове, но не се пренасят в по-трудни условия като реалния свят, като според авторите това може да е обща черта на учещите системи — и биологичните, и изкуствените[^geirhos]. През 2013 г. Кристиан Сегеди и колеги, сред които Иля Суцкевер и Иън Гудфелоу, показват, че дълбоките невронни мрежи научават до голяма степен прекъснати съответствия между вход и изход и могат да бъдат накарани да класифицират погрешно изображение чрез незабележима промяна[^szegedy]. При такива „състезателни примери“ — входове с малки, но умишлено най-неблагоприятни изменения — моделите дават грешен отговор с висока увереност, а Гудфелоу и колеги твърдят, че основната причина е не нелинейността или преобучаването, а линейният характер на невронните мрежи[^goodfellow].","Моделите могат и да запомнят обучаващите си данни: през 2020 г. Никълас Карлини и колеги извличат от езиковия модел GPT-2 стотици дословни текстови поредици от данните му за обучение, включително лична информация като имена, телефонни номера и имейл адреси[^carlini]. Изследване в Nature от юли 2024 г. показва, че безразборното обучение върху съдържание, генерирано от модели, причинява необратими дефекти — т.нар. колапс на модела, при който изчезват „опашките“ на първоначалното разпределение, т.е. редките случаи[^shumailov]. Машинното обучение допринася и за криза на възпроизводимостта в науката: Саяш Капур и Арвинд Нараянан откриват грешки, свързани с изтичане на данни, в 17 научни области, засягащи общо 329 статии и в някои случаи водещи до крайно преувеличени заключения[^kapoor].","Още през 2019 г. Ема Стръбел и колеги предупреждават, че подобренията в точността на големите модели зависят от изключително големи изчислителни ресурси със съответно голяма консумация на енергия, което ги прави скъпи както финансово, така и екологично заради въглеродния отпечатък[^strubell]. Според Международната агенция по енергетика потреблението на електроенергия от [[tsentrove-za-danni-i-energiyata-za-izkustveniya-intelekt|центровете за данни]] ще се удвои до около 945 TWh до 2030 г. — малко повече от сегашното потребление на цяла Япония, — като изкуственият интелект е най-важният двигател на този ръст[^iea].","Най-оспорваният теоретичен въпрос е дали големите предварително обучени езикови модели „разбират“ езика и физическите и социалните ситуации, които той описва, в някакъв съществен смисъл — Мелани Мичъл и Дейвид Кракауер описват разгорещен дебат по този въпрос в изследователската общност[^mk]. Емили Бендър и Александър Колер (2020) смятат, че успехите на тези модели пораждат шум, в който те се описват като „разбиращи“ езика или улавящи „смисъл“, докато система, обучена само върху езиковата форма, по принцип няма как да научи смисъла[^bk]. Мичъл и Кракауер предлагат вместо отговор с „да“ или „не“ да се развие нова наука за интелекта, която да изучава различните видове разбиране, техните силни страни и ограничения и предизвикателството да се интегрират различни форми на познание[^mk-science].","В Европейския съюз [[es-zakon-za-izkustven-intelekt|Законът за изкуствения интелект]] (Регламент (ЕС) 2024/1689) — първата всеобхватна правна рамка за ИИ в света — въвежда правила според риска с четири нива, влиза в сила на 1 август 2024 г. и започва да се прилага на 2 август 2026 г. с някои изключения[^euaia]."]},{"id":"razvitie-prez-2025-2026-g","title":"Развитие през 2025–2026 г.","paragraphs":["Според Международния доклад за безопасността на ИИ през последната година възможностите се подобряват главно чрез нови техники след първоначалното обучение и особено чрез т.нар. мащабиране по време на извод — моделите използват повече изчисления, за да генерират междинни стъпки преди окончателния отговор, — което носи особено големи подобрения при сложни задачи по математика, софтуерно инженерство и наука[^iasr-its]. Способностите обаче остават „назъбени“: водещите системи постигат резултат на ниво златен медал на Международната олимпиада по математика, а агентите с ИИ вече надеждно изпълняват някои програмистки задачи, за които на човек са нужни около половин час, но същите системи все още се провалят на някои привидно прости задачи[^iasr-jagged].","Станфордският доклад AI Index 2026 дава конкретни примери: на теста по програмиране SWE-bench Verified резултатите се повишават от 60% до почти 100% само за една година, а Gemini Deep Think печели златен медал на олимпиадата, но най-добрият модел разчита правилно аналогов часовник едва в 50,1% от случаите (вж. [[otsenyavane-i-sravnyavane-na-sistemi-s-izkustven-intelekt|оценяване на системи с ИИ]])[^aii26-jag]. Според същия доклад индустрията създава над 90% от забележителните водещи модели през 2025 г., организационното възприемане на ИИ достига 88%, а документираните инциденти с ИИ нарастват до 362 от 233 през 2024 г.[^aii26-ind] Разликата в представянето между американските и китайските модели на практика изчезва: от началото на 2025 г. те неколкократно си разменят първенството, а към март 2026 г. най-добрият модел на Anthropic води само с 2,7%[^aii26-gap].","Машинното обучение започва да автоматизира и самото [[avtonomna-nauka|научно откритие]]: през март 2026 г. Nature публикува системата The AI Scientist, която сама създава изследователски идеи, пише код, провежда експерименти, анализира данните, пише целия ръкопис и рецензира собствената си работа, а създаден от нея ръкопис преминава първия кръг на рецензиране за семинар към водеща конференция по машинно обучение с 70% приемаемост[^aisci]. Според The Brussels Times от 16 октомври 2026 г. Европейската комисия обявява на Европейската среща за ИИ в науката в Дъблин инициативата RAISE (Resource for AI Science in Europe), с която индустрията и филантропските организации да разширят достъпа на изследователите до инструменти и ресурси за изкуствен интелект, а Mistral AI и CERN обявяват партньорство за разработване на най-големия фундаментален модел във физиката[^raise]. Нарастващите възможности променят и начина на пускане на моделите: на 30 септември 2026 г. Google представя Gemini 4 Argon, който първоначално се предоставя само на доверени специалисти по киберзащита, като компанията поставя безопасността и строгото тестване пред по-широкото публично пускане[^argon]. В същото време набира сила търсенето на алтернативи на чисто езиковите модели, макар и с предупреждения за нов шум: изпълнителният директор на AMI Labs Александър Льобрюн прогнозира, че „моделите на света“ ще станат следващата модна дума и до половин година всяка компания ще се нарича така, за да набира средства[^ami-buzz]."]}],"sources":[{"key":"wpml","title":"Machine learning","url":"https://en.wikipedia.org/wiki/Machine_learning","note":"Общ преглед; ключовите твърдения са сверени с първоизточници, където те са достъпни.","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"wpbg","title":"Машинно самообучение","url":"https://bg.wikipedia.org/wiki/%D0%9C%D0%B0%D1%88%D0%B8%D0%BD%D0%BD%D0%BE_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5","note":"Статията е отбелязана в самата Уикипедия като вероятен машинен превод; използвана е само за терминологията.","publisher":"Уикипедия (българска)","language":"bg","retrieved_at":"2026-10-24"},{"key":"britannica","title":"machine learning","url":"https://www.britannica.com/technology/machine-learning","note":"Текстът е прочетен от архивно копие в Wayback Machine; достъпен е само уводът.","publisher":"Encyclopædia Britannica (William L. Hosch)","published_at":"2026-09-18","language":"en","retrieved_at":"2026-10-24"},{"key":"samuel","title":"Arthur Samuel (computer scientist)","url":"https://en.wikipedia.org/wiki/Arthur_Samuel_(computer_scientist)","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"mitchell06","title":"The Discipline of Machine Learning (CMU-ML-06-108)","url":"http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf","note":"","publisher":"Carnegie Mellon University (Tom M. Mitchell)","published_at":"2006-07","language":"en","retrieved_at":"2026-10-24"},{"key":"jm15","title":"Machine learning: Trends, perspectives, and prospects (M. I. Jordan, T. M. Mitchell)","url":"http://www.cs.cmu.edu/~tom/pubs/Science-ML-2015.pdf","note":"","publisher":"Science 349 (6245); копие на сайта на Carnegie Mellon University","published_at":"2015-07-17","language":"en","retrieved_at":"2026-10-24"},{"key":"sep","title":"Ethics of Artificial Intelligence and Robotics","url":"https://plato.stanford.edu/entries/ethics-ai/","note":"","publisher":"Stanford Encyclopedia of Philosophy","language":"en","retrieved_at":"2026-10-24"},{"key":"overfit","title":"Overfitting","url":"https://en.wikipedia.org/wiki/Overfitting","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"bv","title":"Bias–variance tradeoff","url":"https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"sgd","title":"Stochastic gradient descent","url":"https://en.wikipedia.org/wiki/Stochastic_gradient_descent","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"tvt","title":"Training, validation, and test data sets","url":"https://en.wikipedia.org/wiki/Training,_validation,_and_test_data_sets","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"zhang","title":"Understanding deep learning requires rethinking generalization (Zhang et al.)","url":"https://arxiv.org/abs/1611.03530","note":"","publisher":"arXiv (ICLR 2017)","published_at":"2016-11-10","language":"en","retrieved_at":"2026-10-24"},{"key":"belkin","title":"Reconciling modern machine learning practice and the bias-variance trade-off (Belkin et al.)","url":"https://arxiv.org/abs/1812.11118","note":"","publisher":"arXiv (публикувано в PNAS, 2019)","published_at":"2018-12-28","language":"en","retrieved_at":"2026-10-24"},{"key":"pac","title":"Probably approximately correct learning","url":"https://en.wikipedia.org/wiki/Probably_approximately_correct_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"sup","title":"Supervised learning","url":"https://en.wikipedia.org/wiki/Supervised_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"unsup","title":"Unsupervised learning","url":"https://en.wikipedia.org/wiki/Unsupervised_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"rl","title":"Reinforcement learning","url":"https://en.wikipedia.org/wiki/Reinforcement_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"ssl","title":"Self-supervised learning","url":"https://en.wikipedia.org/wiki/Self-supervised_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"weak","title":"Weak supervision","url":"https://en.wikipedia.org/wiki/Weak_supervision","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"metassl","title":"Self-supervised learning: The dark matter of intelligence","url":"https://ai.meta.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/","note":"Програмен текст на изследователи на компанията.","publisher":"Meta AI","published_at":"2021-03-04","language":"en","retrieved_at":"2026-10-24"},{"key":"bert","title":"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.)","url":"https://arxiv.org/abs/1810.04805","note":"","publisher":"arXiv (Google AI Language)","published_at":"2018-10-11","language":"en","retrieved_at":"2026-10-24"},{"key":"fm","title":"On the Opportunities and Risks of Foundation Models (Bommasani et al.)","url":"https://arxiv.org/abs/2108.07258","note":"","publisher":"arXiv (Stanford University)","published_at":"2021-08-16","language":"en","retrieved_at":"2026-10-24"},{"key":"llmwp","title":"Large language model","url":"https://en.wikipedia.org/wiki/Large_language_model","note":"Общ преглед; ключовите твърдения са сверени с първоизточници, където те са достъпни.","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"dt","title":"Decision tree learning","url":"https://en.wikipedia.org/wiki/Decision_tree_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"rf","title":"Random forest","url":"https://en.wikipedia.org/wiki/Random_forest","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"xgb","title":"XGBoost: A Scalable Tree Boosting System (Chen, Guestrin)","url":"https://arxiv.org/abs/1603.02754","note":"","publisher":"arXiv (KDD 2016)","published_at":"2016-03-09","language":"en","retrieved_at":"2026-10-24"},{"key":"tabular","title":"Why do tree-based models still outperform deep learning on tabular data? (Grinsztajn, Oyallon, Varoquaux)","url":"https://arxiv.org/abs/2207.08815","note":"","publisher":"arXiv (NeurIPS 2022)","published_at":"2022-07-18","language":"en","retrieved_at":"2026-10-24"},{"key":"svm","title":"Support vector machine","url":"https://en.wikipedia.org/wiki/Support_vector_machine","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"kmeans","title":"k-means clustering","url":"https://en.wikipedia.org/wiki/K-means_clustering","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"ls","title":"Least squares","url":"https://en.wikipedia.org/wiki/Least_squares","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"dl","title":"Deep learning","url":"https://en.wikipedia.org/wiki/Deep_learning","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"bp","title":"Backpropagation","url":"https://en.wikipedia.org/wiki/Backpropagation","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"rhw","title":"Learning representations by back-propagating errors (Rumelhart, Hinton, Williams)","url":"https://www.nature.com/articles/323533a0","note":"Достъпно е резюмето.","publisher":"Nature 323","published_at":"1986-10-09","language":"en","retrieved_at":"2026-10-24"},{"key":"cnn","title":"Convolutional neural network","url":"https://en.wikipedia.org/wiki/Convolutional_neural_network","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"lstm","title":"Long short-term memory","url":"https://en.wikipedia.org/wiki/Long_short-term_memory","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"lbh","title":"Deep learning (LeCun, Bengio, Hinton)","url":"https://www.nature.com/articles/nature14539","note":"Достъпно е резюмето.","publisher":"Nature 521","published_at":"2015-05-27","language":"en","retrieved_at":"2026-10-24"},{"key":"vaswani","title":"Attention Is All You Need (Vaswani et al.)","url":"https://arxiv.org/abs/1706.03762","note":"","publisher":"arXiv (Google Brain / Google Research)","published_at":"2017-06-12","language":"en","retrieved_at":"2026-10-24"},{"key":"gan","title":"Generative Adversarial Networks (Goodfellow et al.)","url":"https://arxiv.org/abs/1406.2661","note":"","publisher":"arXiv (Université de Montréal)","published_at":"2014-06-10","language":"en","retrieved_at":"2026-10-24"},{"key":"ddpm","title":"Denoising Diffusion Probabilistic Models (Ho, Jain, Abbeel)","url":"https://arxiv.org/abs/2006.11239","note":"","publisher":"arXiv (UC Berkeley)","published_at":"2020-06-19","language":"en","retrieved_at":"2026-10-24"},{"key":"perceptron","title":"Perceptron","url":"https://en.wikipedia.org/wiki/Perceptron","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"cornell","title":"Professor’s perceptron paved the way for AI – 60 years too soon","url":"https://news.cornell.edu/stories/2019/09/professors-perceptron-paved-way-ai-60-years-too-soon","note":"","publisher":"Cornell Chronicle","published_at":"2019-09-25","language":"en","retrieved_at":"2026-10-24"},{"key":"aiwinter","title":"AI winter","url":"https://en.wikipedia.org/wiki/AI_winter","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"alexnet","title":"AlexNet","url":"https://en.wikipedia.org/wiki/AlexNet","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"imagenet","title":"ImageNet","url":"https://en.wikipedia.org/wiki/ImageNet","note":"","publisher":"Wikipedia (английска)","language":"en","retrieved_at":"2026-10-24"},{"key":"acm18","title":"Fathers of the Deep Learning Revolution Receive ACM A.M. Turing Award","url":"https://awards.acm.org/about/2018-turing","note":"Текстът е прочетен от архивно копие в Wayback Machine.","publisher":"Association for Computing Machinery (ACM)","published_at":"2019-03-27","language":"en","retrieved_at":"2026-10-24"},{"key":"acm24","title":"ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology","url":"https://awards.acm.org/about/2024-turing","note":"Текстът е прочетен от архивно копие в Wayback Machine.","publisher":"Association for Computing Machinery (ACM)","published_at":"2025-03-05","language":"en","retrieved_at":"2026-10-24"},{"key":"nobelphys","title":"Press release: The Nobel Prize in Physics 2024","url":"https://www.nobelprize.org/prizes/physics/2024/press-release/","note":"","publisher":"Кралската шведска академия на науките (NobelPrize.org)","published_at":"2024-10-08","language":"en","retrieved_at":"2026-10-24"},{"key":"nobelchem","title":"Press release: The Nobel Prize in Chemistry 2024","url":"https://www.nobelprize.org/prizes/chemistry/2024/press-release/","note":"","publisher":"Кралската шведска академия на науките (NobelPrize.org)","published_at":"2024-10-09","language":"en","retrieved_at":"2026-10-24"},{"key":"alphago","title":"Mastering the game of Go with deep neural networks and tree search (Silver et al.)","url":"https://www.nature.com/articles/nature16961","note":"Достъпно е резюмето.","publisher":"Nature 529","published_at":"2016-01-27","language":"en","retrieved_at":"2026-10-24"},{"key":"bitter","title":"The Bitter Lesson","url":"http://www.incompleteideas.net/IncIdeas/BitterLesson.html","note":"Есе с мнение на автора.","publisher":"Rich Sutton (личен сайт)","published_at":"2019-03-13","language":"en","retrieved_at":"2026-10-24"},{"key":"kaplan","title":"Scaling Laws for Neural Language Models (Kaplan et al.)","url":"https://arxiv.org/abs/2001.08361","note":"","publisher":"arXiv (OpenAI)","published_at":"2020-01-23","language":"en","retrieved_at":"2026-10-24"},{"key":"chinchilla","title":"Training Compute-Optimal Large Language Models (Hoffmann et al.)","url":"https://arxiv.org/abs/2203.15556","note":"","publisher":"arXiv (DeepMind)","published_at":"2022-03-29","language":"en","retrieved_at":"2026-10-24"},{"key":"epoch","title":"Data on AI: trends","url":"https://epoch.ai/data-trends","note":"","publisher":"Epoch AI","published_at":"2026","language":"en","retrieved_at":"2026-10-24"},{"key":"schaeffer","title":"Are Emergent Abilities of Large Language Models a Mirage? (Schaeffer, Miranda, Koyejo)","url":"https://arxiv.org/abs/2304.15004","note":"","publisher":"arXiv (Stanford University)","published_at":"2023-04-28","language":"en","retrieved_at":"2026-10-24"},{"key":"villalobos","title":"Will we run out of data? Limits of LLM scaling based on human-generated data (Villalobos et al.)","url":"https://arxiv.org/abs/2211.04325","note":"","publisher":"arXiv (Epoch AI)","published_at":"2022-10-26","language":"en","retrieved_at":"2026-10-24"},{"key":"verge","title":"OpenAI cofounder Ilya Sutskever predicts the end of AI pre-training","url":"https://www.theverge.com/2024/12/13/24320811/what-ilya-sutskever-sees-openai-model-data-training","note":"","publisher":"The Verge","published_at":"2024-12-13","language":"en","retrieved_at":"2026-10-24"},{"key":"ilya","title":"Ilya Sutskever — We're moving from the age of scaling to the age of research","url":"https://www.dwarkesh.com/p/ilya-sutskever-2","note":"Транскрипция на интервю.","publisher":"Dwarkesh Podcast","published_at":"2025-11-25","language":"en","retrieved_at":"2026-10-24"},{"key":"sutton","title":"Richard Sutton – Father of RL thinks LLMs are a dead end","url":"https://www.dwarkesh.com/p/richard-sutton","note":"Транскрипция на интервю; част от формулировките са преразказ на водещия.","publisher":"Dwarkesh Podcast","published_at":"2025-09-26","language":"en","retrieved_at":"2026-10-24"},{"key":"ami","title":"Yann LeCun’s AMI Labs raises $1.03B to build world models","url":"https://techcrunch.com/2026/03/09/yann-lecuns-ami-labs-raises-1-03-billion-to-build-world-models/","note":"","publisher":"TechCrunch","published_at":"2026-03-09","language":"en","retrieved_at":"2026-10-24"},{"key":"marcus","title":"Deep Learning Is Hitting a Wall","url":"https://nautil.us/deep-learning-is-hitting-a-wall-238440/","note":"Мнение на критик на дълбокото обучение.","publisher":"Nautilus (Gary Marcus)","published_at":"2022-03-10","language":"en","retrieved_at":"2026-10-24"},{"key":"iasr","title":"International AI Safety Report 2026","url":"https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026","note":"","publisher":"International AI Safety Report","published_at":"2026","language":"en","retrieved_at":"2026-10-24"},{"key":"gnmt","title":"Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (Wu et al.)","url":"https://arxiv.org/abs/1609.08144","note":"","publisher":"arXiv (Google)","published_at":"2016-09-26","language":"en","retrieved_at":"2026-10-24"},{"key":"aii25","title":"The 2025 AI Index Report","url":"https://hai.stanford.edu/ai-index/2025-ai-index-report","note":"","publisher":"Stanford HAI","published_at":"2025","language":"en","retrieved_at":"2026-10-24"},{"key":"aii26","title":"The 2026 AI Index Report","url":"https://hai.stanford.edu/ai-index/2026-ai-index-report","note":"","publisher":"Stanford HAI","published_at":"2026","language":"en","retrieved_at":"2026-10-24"},{"key":"graphcast","title":"GraphCast: AI model for faster and more accurate global weather forecasting","url":"https://deepmind.google/discover/blog/graphcast-ai-model-for-faster-and-more-accurate-global-weather-forecasting/","note":"Оценка на разработчика; подробностите са в статията в Science.","publisher":"Google DeepMind","published_at":"2023-11-14","language":"en","retrieved_at":"2026-10-24"},{"key":"ecmwf","title":"ECMWF’s AI forecasts become operational","url":"https://www.ecmwf.int/en/about/media-centre/news/2025/ecmwfs-ai-forecasts-become-operational","note":"","publisher":"Европейски център за средносрочни прогнози за времето (ECMWF)","published_at":"2025-02-25","language":"en","retrieved_at":"2026-10-24"},{"key":"boe","title":"Artificial intelligence in UK financial services - 2024","url":"https://www.bankofengland.co.uk/report/2024/artificial-intelligence-in-uk-financial-services-2024","note":"","publisher":"Bank of England и Financial Conduct Authority","published_at":"2024-11-21","language":"en","retrieved_at":"2026-10-24"},{"key":"eurostat","title":"Use of artificial intelligence in enterprises","url":"https://ec.europa.eu/eurostat/statistics-explained/index.php?title=Use_of_artificial_intelligence_in_enterprises","note":"","publisher":"Евростат (Statistics Explained)","published_at":"2025-12","language":"en","retrieved_at":"2026-10-24"},{"key":"insait","title":"INSAIT announced BgGPT – the first open AI model for Bulgarian language","url":"https://insait.ai/insait-announced-bggpt/","note":"Съобщение на разработчика.","publisher":"INSAIT","published_at":"2024-01-16","language":"en","retrieved_at":"2026-10-24"},{"key":"gs","title":"Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (Buolamwini, Gebru)","url":"http://proceedings.mlr.press/v81/buolamwini18a.html","note":"","publisher":"Proceedings of Machine Learning Research 81 (FAT* 2018)","published_at":"2018","language":"en","retrieved_at":"2026-10-24"},{"key":"obermeyer","title":"Dissecting racial bias in an algorithm used to manage the health of populations (Obermeyer et al.)","url":"https://pubmed.ncbi.nlm.nih.gov/31649194/","note":"Резюмето е прочетено от архивно копие в Wayback Machine.","publisher":"Science 366 (резюме в PubMed)","published_at":"2019-10-25","language":"en","retrieved_at":"2026-10-24"},{"key":"szegedy","title":"Intriguing properties of neural networks (Szegedy et al.)","url":"https://arxiv.org/abs/1312.6199","note":"","publisher":"arXiv (ICLR 2014)","published_at":"2013-12-21","language":"en","retrieved_at":"2026-10-24"},{"key":"goodfellow","title":"Explaining and Harnessing Adversarial Examples (Goodfellow, Shlens, Szegedy)","url":"https://arxiv.org/abs/1412.6572","note":"","publisher":"arXiv (ICLR 2015)","published_at":"2014-12-20","language":"en","retrieved_at":"2026-10-24"},{"key":"geirhos","title":"Shortcut Learning in Deep Neural Networks (Geirhos et al.)","url":"https://arxiv.org/abs/2004.07780","note":"","publisher":"arXiv (Nature Machine Intelligence, 2020)","published_at":"2020-04-16","language":"en","retrieved_at":"2026-10-24"},{"key":"damour","title":"Underspecification Presents Challenges for Credibility in Modern Machine Learning (D'Amour et al.)","url":"https://arxiv.org/abs/2011.03395","note":"","publisher":"arXiv (Journal of Machine Learning Research)","published_at":"2020-11-06","language":"en","retrieved_at":"2026-10-24"},{"key":"kapoor","title":"Leakage and the Reproducibility Crisis in ML-based Science (Kapoor, Narayanan)","url":"https://arxiv.org/abs/2207.07048","note":"","publisher":"arXiv (Princeton University)","published_at":"2022-07-14","language":"en","retrieved_at":"2026-10-24"},{"key":"rudin","title":"Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead (Rudin)","url":"https://arxiv.org/abs/1811.10154","note":"","publisher":"arXiv (Nature Machine Intelligence, 2019)","published_at":"2018-11-26","language":"en","retrieved_at":"2026-10-24"},{"key":"strubell","title":"Energy and Policy Considerations for Deep Learning in NLP (Strubell, Ganesh, McCallum)","url":"https://arxiv.org/abs/1906.02243","note":"","publisher":"arXiv (ACL 2019)","published_at":"2019-06-05","language":"en","retrieved_at":"2026-10-24"},{"key":"iea","title":"Energy and AI: Executive summary","url":"https://www.iea.org/reports/energy-and-ai/executive-summary","note":"","publisher":"Международна агенция по енергетика (IEA)","published_at":"2025-04","language":"en","retrieved_at":"2026-10-24"},{"key":"mk","title":"The Debate Over Understanding in AI's Large Language Models (Mitchell, Krakauer)","url":"https://arxiv.org/abs/2210.13966","note":"","publisher":"arXiv (PNAS, 2023)","published_at":"2022-10-14","language":"en","retrieved_at":"2026-10-24"},{"key":"bk","title":"Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data (Bender, Koller)","url":"https://aclanthology.org/2020.acl-main.463/","note":"","publisher":"ACL Anthology (ACL 2020)","published_at":"2020-07","language":"en","retrieved_at":"2026-10-24"},{"key":"shumailov","title":"AI models collapse when trained on recursively generated data (Shumailov et al.)","url":"https://www.nature.com/articles/s41586-024-07566-y","note":"","publisher":"Nature 631","published_at":"2024-07-24","language":"en","retrieved_at":"2026-10-24"},{"key":"carlini","title":"Extracting Training Data from Large Language Models (Carlini et al.)","url":"https://arxiv.org/abs/2012.07805","note":"","publisher":"arXiv (USENIX Security 2021)","published_at":"2020-12-14","language":"en","retrieved_at":"2026-10-24"},{"key":"anth","title":"Tracing the thoughts of a large language model","url":"https://www.anthropic.com/research/tracing-thoughts-language-model","note":"Изследване на разработчика на модела.","publisher":"Anthropic","published_at":"2025-03-27","language":"en","retrieved_at":"2026-10-24"},{"key":"euaia","title":"AI Act","url":"https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai","note":"","publisher":"Европейска комисия","language":"en","retrieved_at":"2026-10-24","archive_url":"https://web.archive.org/web/20261013170745/https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai"},{"key":"argon","title":"Gemini 4 Argon: our next era of frontier intelligence","url":"https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-argon/","note":"Съобщение на компанията.","publisher":"Google","published_at":"2026-09-30","language":"en","retrieved_at":"2026-10-24"},{"key":"aisci","title":"Towards end-to-end automation of AI research (Lu et al.)","url":"https://www.nature.com/articles/s41586-026-10265-5","note":"","publisher":"Nature 651","published_at":"2026-03-25","language":"en","retrieved_at":"2026-10-24"},{"key":"raise","title":"EU initiative pushes AI tools for science but demands ethical research","url":"https://www.brusselstimes.com/2364624/eu-initiative-pushes-ai-tools-for-science-but-demands-ethical-research","note":"","publisher":"The Brussels Times","published_at":"2026-10-16","language":"en","retrieved_at":"2026-10-24"},{"key":"r1","title":"DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning","url":"https://arxiv.org/abs/2501.12948","note":"","publisher":"arXiv (DeepSeek-AI)","published_at":"2025-01-22","language":"en","retrieved_at":"2026-10-24"}],"citations":[{"id":"wpml-def","source_key":"wpml","locator":"","excerpt":"Machine learning (ML) is a field of study in artificial intelligence concerned with the development and study of statistical algorithms that can learn from data and generalize to unseen data, and thus perform tasks without being explicitly programmed.","note":""},{"id":"jm-def","source_key":"jm15","locator":"","excerpt":"Machine learning addresses the question of how to build computers that improve automatically through experience. ... than to program it manually by anticipating the desired response for all possible inputs","note":""},{"id":"wpml-found","source_key":"wpml","locator":"","excerpt":"Statistics and mathematical optimisation methods compose the foundations of machine learning. ... From a theoretical viewpoint, probably approximately correct learning provides a mathematical and statistical framework for describing machine learning.","note":""},{"id":"wpml-dom","source_key":"wpml","locator":"","excerpt":"Advances in the field of deep learning have allowed neural networks, a class of statistical algorithms, to surpass many previous machine learning approaches in performance. The resulting dominance of machine learning within the field of AI from the late 2000s and early 2010s onwards was such that the terms \"machine learning\" and \"artificial intelligence\" are now often used interchangeably, even though they are not synonymous.","note":""},{"id":"jm-apps","source_key":"jm15","locator":"","excerpt":"The adoption of data-intensive machine-learning methods can be found throughout science, technology and commerce, leading to more evidence-based decision-making across many walks of life, including health care, manufacturing, education, financial modeling, policing, and marketing. ... There has been a similarly broad range of effects across empirical sciences, from biology to cosmology to social science","note":""},{"id":"nobel-phys","source_key":"nobelphys","locator":"","excerpt":"The Royal Swedish Academy of Sciences has decided to award the Nobel Prize in Physics 2024 to John J. Hopfield Princeton University, NJ, USA Geoffrey Hinton University of Toronto, Canada “for foundational discoveries and inventions that enable machine learning with artificial neural networks”","note":""},{"id":"iasr-disagree","source_key":"iasr","locator":"","excerpt":"The key inputs of AI progress – compute, algorithmic improvements, and data – have grown exponentially in recent years ... experts disagree about whether exponential increases in inputs will continue. Some expect that current training techniques will plateau, or that bottlenecks in data and energy will limit future progress. Yet others think that progress will accelerate further, since the application of AI systems to AI research itself could create positive feedback loops.","note":""},{"id":"wpml-mitchell","source_key":"wpml","locator":"","excerpt":"Tom M. Mitchell provided a widely quoted, ... more formal definition of the algorithms studied in the machine learning field: ... A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E.","note":""},{"id":"wpml-turing","source_key":"wpml","locator":"","excerpt":"This definition of the tasks in which machine learning is concerned is fundamentally operational rather than defining the field in cognitive terms. This follows Alan Turing's proposal in his paper \"Computing Machinery and Intelligence\", in which the question, \"Can machines think?\", is replaced by asking whether machines can convincingly imitate a human in its responses to human-posed questions.","note":""},{"id":"mitchell-q","source_key":"mitchell06","locator":"","excerpt":"The field of Machine Learning seeks to answer the question “How can we build computer systems that automatically improve with experience, and what are the fundamental laws that govern all learning processes?”","note":""},{"id":"mitchell-cs","source_key":"mitchell06","locator":"","excerpt":"Machine Learning is a natural outgrowth of the intersection of Computer Science and Statistics. ... Whereas Computer Science has focused primarily on how to manually program computers, Machine Learning focuses on the question of how to get computers to program themselves (from experience plus some initial structure).","note":""},{"id":"mitchell-stat","source_key":"mitchell06","locator":"","excerpt":"The question that largely defines Statistics is “What can be inferred from data plus a set of modeling assumptions, with what reliability?” ... Machine Learning incorporates additional questions about what computational architectures and algorithms can be used to most effectively capture, store, index, retrieve and merge these data, how multiple learning subtasks can be orchestrated in a larger system, and questions of computational tractability.","note":""},{"id":"wpml-stats","source_key":"wpml","locator":"","excerpt":"Machine learning and statistics are closely related fields in terms of methods, but distinct in their principal goal: statistics draws population inferences from a sample, while machine learning finds generalisable predictive patterns. ... Conventional statistical analyses require the a priori selection of a model most suitable for the study data set. ... In contrast, machine learning is not built on a pre-structured model; rather, the data shape the model by detecting underlying patterns.","note":""},{"id":"wpml-breiman","source_key":"wpml","locator":"","excerpt":"Leo Breiman distinguished two statistical modelling paradigms: the data model and the algorithmic model, ... wherein \"algorithmic model\" means more or less the machine learning algorithms like Random forest. ... Some statisticians have adopted methods from machine learning, producing the field of statistical learning.","note":""},{"id":"ls","source_key":"ls","locator":"","excerpt":"The first clear and concise exposition of the method of least squares was published by Legendre in 1805. ... The technique is described as an algebraic procedure for fitting linear equations to data ... Within ten years after Legendre's publication, the method of least squares had been adopted as a standard tool in astronomy and geodesy in France, Italy, and Prussia","note":""},{"id":"wpml-loss","source_key":"wpml","locator":"","excerpt":"Machine learning also has intimate ties to optimization: Many learning problems are formulated as minimisation of some loss function on a training set of examples. Loss functions express the discrepancy between the predictions of the model being trained and the actual problem instances","note":""},{"id":"wpml-gen","source_key":"wpml","locator":"","excerpt":"Characterizing the generalisation of various learning algorithms is an active topic of current research, especially for deep learning algorithms.","note":""},{"id":"wpml-dm","source_key":"wpml","locator":"","excerpt":"Data mining is a related field of study, focusing on exploratory data analysis (EDA) through unsupervised learning.","note":""},{"id":"britannica","source_key":"britannica","locator":"","excerpt":"machine learning, in artificial intelligence (a subject within computer science), discipline concerned with the implementation of computer software that can learn autonomously. Expert systems and data mining programs are the most common applications for improving algorithms through the use of machine learning. Among the most common approaches are the use of artificial neural networks (weighted decision paths) and genetic algorithms","note":""},{"id":"wpbg","source_key":"wpbg","locator":"","excerpt":"(пренасочване от Машинно обучение) Тази статия или секция вероятно е резултат от машинен превод, има неверен синтаксис и/или неуточнени специални термини ... Машинното самообучение (МС) е общ термин за „изкуствено“ генериране на знания","note":""},{"id":"wpml-sup","source_key":"wpml","locator":"","excerpt":"Supervised learning algorithms build a mathematical model of a set of data that contains both the inputs and the desired outputs. ... The data, known as training data, consists of a set of training examples. Each training example has one or more inputs and the desired output, also known as a supervisory signal. In the mathematical model, each training example is represented by an array or vector, sometimes called a feature vector","note":""},{"id":"sup-goal","source_key":"sup","locator":"","excerpt":"The goal of supervised learning is for the trained model to accurately predict the output for new, unseen data. ... This requires the algorithm to effectively generalize from the training examples, a quality measured by its generalization error.","note":""},{"id":"sup-tasks","source_key":"sup","locator":"","excerpt":"Supervised learning is commonly used for tasks such as classification (predicting a category, e.g., spam or not spam), regression (predicting a numerical value, e.g., a house price)","note":""},{"id":"sgd-def","source_key":"sgd","locator":"","excerpt":"Stochastic gradient descent (often abbreviated SGD) is an iterative method for optimizing an objective function with suitable smoothness properties ... It can be regarded as a stochastic approximation of gradient descent optimization, since it replaces the actual gradient (calculated from the entire data set) by an estimate thereof, calculated from a randomly selected subset of the data. Especially in high-dimensional optimization problems this reduces the very high computational burden, achieving faster iterations in exchange for a lower convergence rate.","note":""},{"id":"sgd-std","source_key":"sgd","locator":"","excerpt":"The basic idea behind stochastic approximation can be traced back to the Robbins–Monro algorithm of the 1950s. ... When combined with the backpropagation algorithm, it is the de facto standard algorithm for training artificial neural networks.","note":""},{"id":"tvt","source_key":"tvt","locator":"","excerpt":"Validation data sets can be used for regularization by early stopping (stopping training when the error on the validation data set increases, as this is a sign of over-fitting to the training data set). ... Finally, the test data set is a data set used to provide an unbiased evaluation of a model fit on the training data set.","note":""},{"id":"overfit","source_key":"overfit","locator":"","excerpt":"overfitting is the production of an analysis that corresponds too closely or exactly to a particular set of data and may therefore fail to fit to additional data or predict future observations reliably. ... The essence of overfitting is to unknowingly extract some of the residual variation (i.e., noise) as if that variation represents the underlying model structure.","note":""},{"id":"underfit","source_key":"overfit","locator":"","excerpt":"Underfitting occurs when a mathematical model cannot adequately capture the underlying structure of the data. ... Underfitting would occur, for example, when fitting a linear model to nonlinear data.","note":""},{"id":"overfit-reg","source_key":"overfit","locator":"","excerpt":"To lessen the chance or amount of overfitting, several techniques are available (e.g., model comparison, cross-validation, regularization, early stopping, pruning, Bayesian priors, or dropout). The basis of some techniques is to either (1) explicitly penalize overly complex models or (2) test the model's ability to generalize by evaluating its performance on a set of data not used for training","note":""},{"id":"bv","source_key":"bv","locator":"","excerpt":"In general, as the number of tunable parameters in a model increases, it becomes more flexible, and can better fit a training data set. That is, the model has lower error or lower bias. However, for more flexible models, there will tend to be greater variance to the model fit each time we take a set of samples to create a new training data set.","note":""},{"id":"wpml-theory","source_key":"wpml","locator":"","excerpt":"Because training sets are finite and the future is uncertain, learning theory usually does not yield guarantees of the performance of algorithms. Instead, probabilistic bounds on the performance are quite common. ... For the best performance in the context of generalisation, the complexity of the hypothesis should match the complexity of the function underlying the data.","note":""},{"id":"pac","source_key":"pac","locator":"","excerpt":"probably approximately correct (PAC) learning is a framework for mathematical analysis of machine learning. It was proposed in 1984 by Leslie Valiant. ... In this framework, the learner receives samples and must select a generalization function (called the hypothesis) from a certain class of possible functions. The goal is that, with high probability (the \"probably\" part), the selected function will have low generalization error","note":""},{"id":"zhang","source_key":"zhang","locator":"","excerpt":"Chiyuan Zhang ... we show how these traditional approaches fail to explain why large neural networks generalize well in practice. Specifically, our experiments establish that state-of-the-art convolutional networks for image classification trained with stochastic gradient methods easily fit a random labeling of the training data. ... Comments: Published in ICLR 2017","note":""},{"id":"belkin","source_key":"belkin","locator":"","excerpt":"Mikhail Belkin ... However, in the modern practice, very rich models such as neural networks are trained to exactly fit (i.e., interpolate) the data. Classically, such models would be considered over-fit, and yet they often obtain high accuracy on test data. ... This \"double descent\" curve subsumes the textbook U-shaped bias-variance trade-off curve by showing how increasing model capacity beyond the point of interpolation results in improved performance. ... This connection between the performance and the structure of machine learning models delineates the limits of classical analyses","note":""},{"id":"rl-three","source_key":"rl","locator":"","excerpt":"Reinforcement learning is one of the three basic machine learning paradigms, alongside supervised learning and unsupervised learning.","note":""},{"id":"sup-def","source_key":"sup","locator":"","excerpt":"In machine learning, supervised learning (SL) is a type of machine learning paradigm where an algorithm learns to map input data to a specific output based on example input-output pairs. This process involves training a statistical model using labeled data, meaning each piece of input data is provided with the correct output. The term \"supervised\" refers to the role of a teacher or supervisor who provides this training data, guiding the algorithm towards correct predictions.","note":""},{"id":"wpml-unsup","source_key":"wpml","locator":"","excerpt":"No labels are given to the learning algorithm, leaving it on its own to find structure in its input. Unsupervised learning can be a goal in itself (discovering hidden patterns in data) or a means towards an end (feature learning).","note":""},{"id":"unsup","source_key":"unsup","locator":"","excerpt":"Some researchers consider self-supervised learning a form of unsupervised learning. ... Typically, the dataset is harvested cheaply \"in the wild\", such as massive text corpus obtained by web crawling","note":""},{"id":"rl-def","source_key":"rl","locator":"","excerpt":"is concerned with how an intelligent agent should take actions in a dynamic environment in order to maximize a reward signal. ... reinforcement learning involves training an agent through interactions with its environment. To learn to maximize rewards from these interactions, the agent makes decisions between trying new actions to learn more about the environment (exploration), or using current knowledge of the environment to take the best action (exploitation).","note":""},{"id":"jm-rl","source_key":"jm15","locator":"","excerpt":"A third major machine-learning paradigm is reinforcement learning ... provide only an indication as to whether an action is correct or not ... More generally, in the setting of sequences of inputs, it is assumed that reward signals refer to the entire sequence; ... of credit or blame to individual actions in the sequence is not directly provided","note":""},{"id":"acm24","source_key":"acm24","locator":"","excerpt":"ACM has named Andrew G. Barto and Richard S. Sutton as the recipients of the 2024 ACM A.M. Turing Award for developing the conceptual and algorithmic foundations of reinforcement learning. In a series of papers beginning in the 1980s, Barto and Sutton introduced the main ideas, constructed the mathematical foundations, and developed important algorithms for reinforcement learning","note":""},{"id":"acm24-rl","source_key":"acm24","locator":"","excerpt":"in the practical applications of RL came about in the past fifteen years by merging RL with deep learning algorithms ... The most prominent example of RL was the victory by the AlphaGo computer program over the best human Go players in 2016 and 2017. Another major achievement recently has been the development of the chatbot ChatGPT. ChatGPT is a large language model (LLM) trained in two phases, the second of which employs a technique called reinforcement learning from human feedback (RLHF), to capture human expectations.","note":""},{"id":"r1","source_key":"r1","locator":"","excerpt":"Submitted on 22 Jan 2025 ... Here we show that the reasoning abilities of LLMs can be incentivized through pure reinforcement learning (RL), obviating the need for human-labeled reasoning trajectories. The proposed RL framework facilitates the emergent development of advanced reasoning patterns, such as self-reflection, verification, and dynamic strategy adaptation. Consequently, the trained model achieves superior performance on verifiable tasks such as mathematics, coding competitions","note":""},{"id":"unsup-semi","source_key":"unsup","locator":"","excerpt":"Other frameworks in the spectrum of supervisions include weak- or semi-supervision, where a small portion of the data is tagged, and self-supervision.","note":""},{"id":"weak","source_key":"weak","locator":"","excerpt":"The acquisition of labeled data for a learning problem often requires a skilled human agent (e.g. to transcribe an audio segment) or a physical experiment (e.g. determining the 3D structure of a protein or determining whether there is oil at a particular location). The cost associated with the labeling process thus may render large, fully labeled training sets infeasible, whereas acquisition of unlabeled data is relatively inexpensive. In such situations, semi-supervised learning can be of great practical value.","note":""},{"id":"ssl","source_key":"ssl","locator":"","excerpt":"Self-supervised learning (SSL) is a paradigm in machine learning where a model is trained on a task using the data itself to generate supervisory signals, rather than relying on externally-provided labels. ... The input data is typically augmented or transformed in a way that creates pairs of related samples, where one sample serves as the input, and the other is used to formulate the supervisory signal.","note":""},{"id":"metassl","source_key":"metassl","locator":"","excerpt":"Self-supervised learning: The dark matter of intelligence March 4, 2021 ... Supervised learning is a bottleneck for building more intelligent generalist models that can do multiple tasks and acquire new skills without massive amounts of labeled data. Practically speaking, it’s impossible to label everything in the world. There are also some tasks for which there’s simply not enough labeled data, such as training translation systems for low-resource languages.","note":""},{"id":"bert","source_key":"bert","locator":"","excerpt":"Submitted on 11 Oct 2018 ... Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be fine-tuned with just one additional output layer to create state-of-the-art models for a wide range of tasks ... It obtains new state-of-the-art results on eleven natural language processing tasks","note":""},{"id":"llm-pre","source_key":"llmwp","locator":"","excerpt":"They are the basis for many modern chatbots, such as ChatGPT, Claude, Gemini, Grok, Qwen and DeepSeek. LLMs are typically based on the transformer neural network architecture. ... Generative pre-trained transformers (GPTs) are a type of LLM that is pre-trained to predict the next word. ... GPTs are then often fine-tuned to follow instructions and to behave as assistants.","note":""},{"id":"fm","source_key":"fm","locator":"","excerpt":"Submitted on 16 Aug 2021 ... Rishi Bommasani ... AI is undergoing a paradigm shift with the rise of models (e.g., BERT, DALL-E, GPT-3) that are trained on broad data at scale and are adaptable to a wide range of downstream tasks. We call these models foundation models ... their scale results in new emergent capabilities,and their effectiveness across so many tasks incentivizes homogenization. Homogenization provides powerful leverage but demands caution, as the defects of the foundation model are inherited by all the adapted models downstream.","note":""},{"id":"wpml-reg","source_key":"wpml","locator":"","excerpt":"Its most common form is linear regression, where a single line is drawn to best fit the given data according to a mathematical criterion such as ordinary least squares. The latter is often extended by regularisation methods to mitigate overfitting and bias, as in ridge regression.","note":""},{"id":"wpml-logit","source_key":"wpml","locator":"","excerpt":"When dealing with non-linear problems, go-to models include polynomial regression (for example, used for trendline fitting in Microsoft Excel ... logistic regression (often used in statistical classification) or even kernel regression","note":""},{"id":"dt","source_key":"dt","locator":"","excerpt":"Decision tree learning is a supervised learning approach used in statistics, data mining and machine learning. In this formalism, a classification or regression decision tree is used as a predictive model to draw conclusions about a set of observations. Tree models where the target variable can take a discrete set of values are called classification trees; in these tree structures, leaves represent class labels and branches represent conjunctions of features that lead to those class labels. Decision trees where the target variable can take continuous values (typically real numbers) are called regression trees.","note":""},{"id":"rf","source_key":"rf","locator":"","excerpt":"Random forests or random decision forests is an ensemble learning method for classification, regression and other tasks that works by creating a multitude of decision trees during training. For classification tasks, the output of the random forest is the class selected by most trees. For regression tasks, the output is the average of the predictions of the trees. ... Random forests correct for decision trees' habit of overfitting to their training set.","note":""},{"id":"rf-hist","source_key":"rf","locator":"","excerpt":"The first algorithm for random decision forests was created in 1995 by Tin Kam Ho ... An extension of the algorithm was developed by Leo Breiman ... and Adele Cutler, ... The extension combines Breiman's \"bagging\" idea and random selection of features","note":""},{"id":"xgb","source_key":"xgb","locator":"","excerpt":"Submitted on 9 Mar 2016 ... Tree boosting is a highly effective and widely used machine learning method. In this paper, we describe a scalable end-to-end tree boosting system called XGBoost, which is used widely by data scientists to achieve state-of-the-art results on many machine learning challenges. ... XGBoost scales beyond billions of examples using far fewer resources than existing systems.","note":""},{"id":"tabular","source_key":"tabular","locator":"","excerpt":"Submitted on 18 Jul 2022 ... While deep learning has enabled tremendous progress on text and image datasets, its superiority on tabular data is not clear. We contribute extensive benchmarks of standard and novel deep learning methods as well as tree-based models such as XGBoost and Random Forests ... We define a standard set of 45 datasets from varied domains ... Results show that tree-based models remain state-of-the-art on medium-sized data ($\\sim$10K samples) even without accounting for their superior speed.","note":""},{"id":"svm","source_key":"svm","locator":"","excerpt":"is a supervised max-margin model with associated learning algorithms that analyze data for classification and regression analysis. Developed at AT&T Bell Laboratories, ... SVMs are one of the most studied models, being based on statistical learning frameworks of VC theory proposed by Vapnik (1982, 1995) and Chervonenkis (1974). In addition to performing linear classification, SVMs can efficiently perform non-linear classification using the kernel trick","note":""},{"id":"kmeans","source_key":"kmeans","locator":"","excerpt":"k-means clustering is a method of vector quantization, originally from signal processing, that aims to partition n observations into k clusters in which each observation belongs to the cluster with the nearest mean (cluster centers or cluster centroid). ... The term \"k-means\" was first used by James MacQueen in 1967, ... The standard algorithm was first proposed by Stuart Lloyd of Bell Labs in 1957 as a technique for pulse-code modulation","note":""},{"id":"nobel-nn","source_key":"nobelphys","locator":"","excerpt":"This technology was originally inspired by the structure of the brain. In an artificial neural network, the brain’s neurons are represented by nodes that have different values. These nodes influence each other through ... that can be likened to synapses and which can be made stronger or weaker. The network is trained, for example by developing stronger connections between nodes with simultaneously high values.","note":""},{"id":"dl-def","source_key":"dl","locator":"","excerpt":"In machine learning, deep learning (DL) focuses on utilizing multilayered neural networks to perform tasks such as classification, regression, and representation learning. ... The adjective \"deep\" refers to the use of multiple layers (ranging from three to several hundred or thousands) in the network.","note":""},{"id":"lbh","source_key":"lbh","locator":"","excerpt":"Published: 27 May 2015 Deep learning Yann LeCun ... Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction. These methods have dramatically improved the state-of-the-art in speech recognition, visual object recognition, object detection and many other domains such as drug discovery and genomics. Deep learning discovers intricate structure in large data sets by using the backpropagation algorithm to indicate how a machine should change its internal parameters","note":""},{"id":"rhw","source_key":"rhw","locator":"","excerpt":"Published: 09 October 1986 Learning representations by back-propagating errors David E. Rumelhart1, Geoffrey E. Hinton2 & Ronald J. Williams1 ... The procedure repeatedly adjusts the weights of the connections in the network so as to minimize a measure of the difference between the actual output vector of the net and the desired output vector. As a result of the weight adjustments, internal ‘hidden’ units which are not part of the input or output come to represent important features of the task domain ... The ability to create useful new features distinguishes back-propagation from earlier, simpler methods such as the perceptron-convergence procedure","note":""},{"id":"bp-hist","source_key":"bp","locator":"","excerpt":"Modern backpropagation was first published by Seppo Linnainmaa as \"reverse mode of automatic differentiation\" (1970) ... In 1982, Paul Werbos applied backpropagation to MLPs in the way that has become standard.","note":""},{"id":"cnn","source_key":"cnn","locator":"","excerpt":"A convolutional neural network (CNN) is a type of feedforward neural network that learns features via filter (or kernel) optimization. ... CNNs are the de-facto standard in deep learning-based approaches to computer vision ... and image processing, and have only recently been replaced—in some cases—by newer architectures such as the transformer. Vanishing gradients and exploding gradients, seen during backpropagation in earlier neural networks, are prevented by the regularization that comes from using shared weights over fewer connections.","note":""},{"id":"lstm","source_key":"lstm","locator":"","excerpt":"is a type of recurrent neural network (RNN) aimed at mitigating the vanishing gradient problem ... It aims to provide a short-term memory for RNN that can last thousands of timesteps ... An early version of LSTM was published in 1995 in a technical report by Sepp Hochreiter and Jürgen Schmidhuber, ... The most commonly used reference point for LSTM was published in 1997 in the journal Neural Computation.","note":""},{"id":"llm-tr","source_key":"llmwp","locator":"","excerpt":"At the 2017 NeurIPS conference, Google researchers introduced the transformer architecture in their landmark paper \"Attention Is All You Need\".","note":""},{"id":"vaswani","source_key":"vaswani","locator":"","excerpt":"We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train.","note":""},{"id":"gan","source_key":"gan","locator":"","excerpt":"Submitted on 10 Jun 2014 ... Ian J. Goodfellow ... We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G.","note":""},{"id":"ddpm","source_key":"ddpm","locator":"","excerpt":"Submitted on 19 Jun 2020 ... Jonathan Ho, Ajay Jain, Pieter Abbeel ... We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics.","note":""},{"id":"wpml-hebb","source_key":"wpml","locator":"","excerpt":"but the history of machine learning is rooted in decades of efforts to study human cognitive processes. ... In 1949, Canadian psychologist Donald Hebb published the book The Organization of Behavior, in which he introduced a theoretical neural structure formed by certain interactions among nerve cells. ... The Hebbian theory of neuron interaction set the groundwork for how many machine learning algorithms work, with connected artificial neurons changing the strength of their connections based on data.","note":""},{"id":"perc-mp","source_key":"perceptron","locator":"","excerpt":"The artificial neuron and artificial neural network were invented in 1943 by Warren McCulloch and Walter Pitts in their seminal paper \"A Logical Calculus of the Ideas Immanent in Nervous Activity\".","note":""},{"id":"wpml-samuel","source_key":"wpml","locator":"","excerpt":"The term machine learning was coined in 1959 by Arthur Samuel, an IBM employee and pioneer in the field of computer gaming and artificial intelligence. ... The earliest machine learning program was introduced in the 1950s, when Samuel invented a computer program that calculated the chance of winning in checkers for each side","note":""},{"id":"samuel","source_key":"samuel","locator":"","excerpt":"The Samuel Checkers-playing Program was among the world's first successful self-learning programs, and as such a very early demonstration of the fundamental concept of artificial intelligence.","note":""},{"id":"wpml-paraphrase","source_key":"wpml","locator":"","excerpt":"The definition \"without being explicitly programmed\" is often attributed to Arthur Samuel, who coined the term \"machine learning\" in 1959, but the phrase is not found verbatim in this publication, and may be a paraphrase that appeared later.","note":""},{"id":"cornell","source_key":"cornell","locator":"","excerpt":"In July 1958, the U.S. Office of Naval Research unveiled a remarkable invention. An IBM 704 – a 5-ton computer the size of a room – was fed a series of punch cards. After 50 trials, the computer taught itself to distinguish cards marked on the left from cards marked on the right. It was a demonstration of the “perceptron” ... was a research psychologist","note":""},{"id":"perc-mark1","source_key":"perceptron","locator":"","excerpt":"the Mark I Perceptron. Rosenblatt's team assembled and tested it at the Cornell Aeronautical Laboratory (CAL) in Buffalo, NY, USA between June 1959 and December 14, 1959 ... Rosenblatt described the details of the perceptron in a 1958 paper.","note":""},{"id":"perc-nyt","source_key":"perceptron","locator":"","excerpt":"In a 1958 press conference organized by the US Navy, Rosenblatt made statements about the perceptron that caused a heated controversy among the fledgling AI community; based on Rosenblatt's statements, The New York Times reported the perceptron to be \"the embryo of an electronic computer that [the Navy] expects will be able to walk, talk, see, write, reproduce itself and be conscious of its existence.\"","note":""},{"id":"perc-minsky","source_key":"perceptron","locator":"","excerpt":"In 1969, a famous book entitled Perceptrons by Marvin Minsky and Seymour Papert showed that it was impossible for these classes of network to learn an XOR function. ... However, this is not true, as both Minsky and Papert already knew that multi-layer perceptrons were capable of producing an XOR function. ... Nevertheless, the often-miscited Minsky and Papert text caused a significant decline in interest and funding of neural network research. It took ten more years until neural network research experienced a resurgence in the 1980s.","note":""},{"id":"aiwinter","source_key":"aiwinter","locator":"","excerpt":"an AI winter is a period of reduced funding and interest in AI research. ... The field has experienced several hype cycles, followed by disappointment and criticism, followed by funding cuts, followed by renewed interest years or even decades later.","note":""},{"id":"aiwinter-list","source_key":"aiwinter","locator":"","excerpt":"1973: large decrease in AI research in the United Kingdom in response to the Lighthill report ... 1987: collapse of the LISP machine market ... 1990s: many expert systems were abandoned","note":""},{"id":"wpml-rift","source_key":"wpml","locator":"","excerpt":"However, an increasing emphasis on the logical, knowledge-based approach caused a rift between AI and machine learning. ... By 1980, expert systems had come to dominate AI, and statistics was out of favour. ... but the more statistical line of research was now outside the field of AI proper, in pattern recognition and information retrieval. ... This subfield, termed \"connectionism\", was continued by researchers from other disciplines, including John Hopfield, David Rumelhart, and Geoffrey Hinton. Their main success came in the mid-1980s with the reinvention of backpropagation.","note":""},{"id":"wpml-1990","source_key":"wpml","locator":"","excerpt":"Machine learning (ML), reorganised and recognised as its own field, started to flourish in the 1990s. The field changed its goal from achieving artificial intelligence to tackling solvable problems of a practical nature. It shifted focus away from the symbolic approaches it had inherited from AI, and toward methods and models borrowed from statistics, fuzzy logic, and probability theory.","note":""},{"id":"imagenet","source_key":"imagenet","locator":"","excerpt":"More than 14 million ... images have been hand-annotated by the project to indicate what objects are pictured ... AI researcher Fei-Fei Li began working on the idea for ImageNet in 2006. At a time when most AI research focused on models and algorithms, Li wanted to expand and improve the data available to train AI algorithms. ... They used Amazon Mechanical Turk to help with the classification of images. ... It took 49K workers from 167 countries filtering and labeling over 160M candidate images.","note":""},{"id":"dl-gpu","source_key":"dl","locator":"","excerpt":"A key advance for the deep learning revolution was hardware advances, especially GPU. ... In 2009, Raina, Madhavan, and Andrew Ng reported a 100M deep belief network trained on 30 Nvidia GeForce GTX 280 GPUs, an early demonstration of GPU-based deep learning. They reported up to 70 times faster training.","note":""},{"id":"wpml-2012","source_key":"wpml","locator":"","excerpt":"In 2012, AlexNet, developed by Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton, achieved substantially improved results in the ImageNet image recognition competition, contributing to the wider adoption of deep neural networks.","note":""},{"id":"alexnet","source_key":"alexnet","locator":"","excerpt":"submitted AlexNet in the ImageNet Large Scale Visual Recognition Challenge on September 30, 2012. ... The network achieved a top-5 error rate of 15.3% to win the contest, more than 10.8% points better than the runner-up. ... The network, except the last layer, is split into two copies, each run on one GPU, because the network did not fit the VRAM of a single Nvidia GTX 580 3GB GPU.","note":""},{"id":"imagenet-econ","source_key":"imagenet","locator":"","excerpt":"According to The Economist, ... Suddenly people started to pay attention, not just within the AI community but across the technology industry as a whole. ... In 2015, AlexNet was outperformed by Microsoft's very deep CNN with over 100 layers, which won the ImageNet 2015 contest, having 3.57% error on the test set.","note":""},{"id":"wpml-timeline","source_key":"wpml","locator":"","excerpt":"In 2013, Tomáš Mikolov and colleagues introduced word2vec, techniques for efficiently learning distributed vector representations of words from large text corpora. ... In 2014, Ian Goodfellow and colleagues introduced generative adversarial networks (GANs) ... In 2016, AlphaGo became the first computer program to defeat a professional human Go player without handicaps on a full-sized board, using deep neural networks and reinforcement learning. ... In 2017, Ashish Vaswani and colleagues introduced the Transformer","note":""},{"id":"alphago","source_key":"alphago","locator":"","excerpt":"We also introduce a new search algorithm that combines Monte Carlo simulation with value and policy networks. Using this search algorithm, our program AlphaGo achieved a 99.8% winning rate against other Go programs, and defeated the human European Go champion by 5 games to 0. This is the first time that a computer program has defeated a human professional player in the full-sized game of Go, a feat previously thought to be at least a decade away.","note":""},{"id":"acm18","source_key":"acm18","locator":"","excerpt":"ACM named Yoshua Bengio, Geoffrey Hinton, and Yann LeCun recipients of the 2018 ACM A.M. Turing Award for conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing. ... The ACM A.M. Turing Award, often referred to as the “Nobel Prize in Computing,” carries a $1 million prize","note":""},{"id":"acm18-skept","source_key":"acm18","locator":"","excerpt":"interest in neural networks were initially met with skepticism, their ideas recently resulted in major technological advances, and their methodology is now the dominant paradigm in the field.","note":""},{"id":"nobel-mech","source_key":"nobelphys","locator":"","excerpt":"John Hopfield created an associative memory that can store and reconstruct images and other types of patterns in data. ... The Hopfield network utilises physics that describes a material’s characteristics due to its atomic spin ... Geoffrey Hinton used the Hopfield network as the foundation for a new network that uses a different method: the Boltzmann machine. This can learn to recognise characteristic elements in a given type of data. Hinton used tools from statistical physics","note":""},{"id":"nobel-chem","source_key":"nobelchem","locator":"","excerpt":"decided to award the Nobel Prize in Chemistry 2024 with one half to David Baker ... “for computational protein design” and the other half jointly to Demis Hassabis Google DeepMind, London, UK John Jumper Google DeepMind, London, UK “for protein structure prediction” ... In 2020, Demis Hassabis and John Jumper presented an AI model called AlphaFold2. With its help, they have been able to predict the structure of virtually all the 200 million proteins that researchers have identified. Since their breakthrough, AlphaFold2 has been used by more than two million people from 190 countries.","note":""},{"id":"bitter","source_key":"bitter","locator":"","excerpt":"The Bitter Lesson Rich Sutton March 13, 2019 The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin. The ultimate reason for this is Moore's law, or rather its generalization of continued exponentially falling cost per unit of computation.","note":""},{"id":"bitter-ex","source_key":"bitter","locator":"","excerpt":"In computer chess, the methods that defeated the world champion, Kasparov, in 1997, were based on massive, deep search. ... A similar pattern of research progress was seen in computer Go, only delayed by a further 20 years.","note":""},{"id":"kaplan","source_key":"kaplan","locator":"","excerpt":"Submitted on 23 Jan 2020 ... Jared Kaplan ... The loss scales as a power-law with model size, dataset size, and the amount of compute used for training, with some trends spanning more than seven orders of magnitude. ... Larger models are significantly more sample-efficient, such that optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.","note":""},{"id":"chinchilla","source_key":"chinchilla","locator":"","excerpt":"Submitted on 29 Mar 2022 ... We find that current large language models are significantly undertrained, a consequence of the recent focus on scaling language models whilst keeping the amount of training data constant. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, we find that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled.","note":""},{"id":"chinchilla-res","source_key":"chinchilla","locator":"","excerpt":"We test this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4$\\times$ more more data. Chinchilla uniformly and significantly outperforms Gopher (280B), GPT-3 (175B), Jurassic-1 (178B), and Megatron-Turing NLG (530B)","note":""},{"id":"epoch","source_key":"epoch","locator":"","excerpt":"Training compute for frontier language models has been growing at 5× per year since 2020. Training compute for frontier language models has been doubling every 5.2 months since 2020.","note":""},{"id":"schaeffer","source_key":"schaeffer","locator":"","excerpt":"Submitted on 28 Apr 2023 ... Rylan Schaeffer ... Here, we present an alternative explanation for emergent abilities: that for a particular task and model family, when analyzing fixed model outputs, emergent abilities appear due to the researcher's choice of metric rather than due to fundamental changes in model behavior with scale. Specifically, nonlinear or discontinuous metrics produce apparent emergent abilities, whereas linear or continuous metrics produce smooth, continuous predictable changes in model performance.","note":""},{"id":"villalobos","source_key":"villalobos","locator":"","excerpt":"Pablo Villalobos ... Our findings indicate that if current LLM development trends continue, models will be trained on datasets roughly equal in size to the available stock of public human text data between 2026 and 2032, or slightly earlier if models are overtrained.","note":""},{"id":"verge","source_key":"verge","locator":"","excerpt":"Dec 14, 2024 ... OpenAI’s cofounder and former chief scientist, Ilya Sutskever, ... made a rare public appearance in Vancouver on Friday at the Conference on Neural Information Processing Systems (NeurIPS). ... Pre-training as we know it will unquestionably end,” Sutskever said onstage. ... We’ve achieved peak data and there’ll be no more.","note":""},{"id":"ilya","source_key":"ilya","locator":"","excerpt":"Nov 25, 2025 ... Up until 2020, from 2012 to 2020, it was the age of research. Now, from 2020 to 2025, it was the age of scaling ... But is the belief that if you just 100x the scale, everything would be transformed? I don’t think that’s true. So it’s back to the age of research again, just with big computers","note":""},{"id":"ilya-gen","source_key":"ilya","locator":"","excerpt":"The thing which I think is the most fundamental is that these models somehow just generalize dramatically worse than people. ... There’s one which is about sample efficiency: why should it take so much more data for these models to learn than humans? There’s a second question. Even separate from the amount of data it takes, why is it so hard to teach the thing we want to a model than to a human?","note":""},{"id":"sutton","source_key":"sutton","locator":"","excerpt":"Richard Sutton is the father of reinforcement learning, winner of the 2024 Turing Award, and author of The Bitter Lesson. And he thinks LLMs are a dead end. After interviewing him, my steel man of Richard’s position is this: LLMs aren’t capable of learning on-the-job, so no matter how much we scale, we’ll need some new architecture to enable continual learning. ... They have the ability to predict what a person would say. They don’t have the ability to predict what will happen. ... There’s no goal. ... There’s no ground truth.","note":""},{"id":"ami","source_key":"ami","locator":"","excerpt":"March 9, 2026 AMI Labs, the new venture co-founded by Turing Award winner Yann LeCun after he left Meta, has raised $1.03 billion at a $3.5 billion pre-money valuation. AMI is working on world models, or AI that learns from reality, not just from language. ... based on JEPA, or Joint Embedding Predictive Architecture, proposed by LeCun in 2022.","note":""},{"id":"marcus","source_key":"marcus","locator":"","excerpt":"Deep Learning Is Hitting a Wall What would it take for artificial intelligence to make real progress? GM By Gary Marcus 1:05 AM CST on March 10, 2022 ... aimed to bridge the two worlds of deep learning and symbol manipulation. ... I have always felt that what Hinton was trying to do then was absolutely on the right track","note":""},{"id":"marcus-rad","source_key":"marcus","locator":"","excerpt":"told a leading AI conference in Toronto in 2016. ... Fast forward to 2022, and not a single radiologist has been replaced. Rather, the consensus view nowadays is that machine learning for radiology is harder than it looks","note":""},{"id":"iasr-traj","source_key":"iasr","locator":"","excerpt":"Plausible trajectories for capability improvements range from incremental or even plateauing progress to rapid acceleration. Uncertain factors such as technical limits or energy bottlenecks could constrain capability gains despite large investments, while positive feedback loops – such as AI systems contributing to AI research – could accelerate progress. There is little expert consensus on which trajectory is most likely.","note":""},{"id":"iasr-inputs","source_key":"iasr","locator":"","excerpt":"Algorithmic efficiency, according to a 2024 study, has improved roughly 2-6x per year, reducing the compute needed for equivalent performance. ... Training datasets have expanded from billions to trillions of data points, with an average 2.5x annual increase.","note":""},{"id":"gnmt","source_key":"gnmt","locator":"","excerpt":"Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system. ... Mon, 26 Sep 2016","note":""},{"id":"wpml-netflix","source_key":"wpml","locator":"","excerpt":"In 2006, the media-services provider Netflix held the first \"Netflix Prize\" competition to find a program to better predict user preferences and improve the accuracy of its existing Cinematch movie recommendation algorithm by at least 10%. A joint team made up of researchers from AT&T Labs-Research in collaboration with the teams Big Chaos and Pragmatic Theory built an ensemble model to win the Grand Prize in 2009 for $1 million.","note":""},{"id":"aii25-fda","source_key":"aii25","locator":"","excerpt":"The 2025 AI Index Report ... In 2023, the FDA approved 223 AI-enabled medical devices, up from just six in 2015.","note":""},{"id":"aii25-waymo","source_key":"aii25","locator":"","excerpt":"On the roads, self-driving cars are no longer experimental: Waymo, one of the largest U.S. operators, provides over 150,000 autonomous rides each week, while Baidu’s affordable Apollo Go robotaxi fleet now serves numerous cities across China.","note":""},{"id":"boe","source_key":"boe","locator":"","excerpt":"Published on 21 November 2024 ... 75% of firms are already using artificial intelligence (AI), with a further 10% planning to use AI over the next three years. This is higher than the figures in the 2022 joint Bank of England (Bank) and Financial Conduct Authority (FCA) Machine learning in UK financial services, of 58% and 14% respectively. ... The area with the highest percentage of respondents using AI is optimisation of internal processes (41% of respondents). This is followed by cybersecurity (37%) and fraud detection (33%).","note":""},{"id":"graphcast","source_key":"graphcast","locator":"","excerpt":"November 14, 2023 ... forecasts with GraphCast takes less than a minute on a single Google TPU v4 machine. For comparison, a 10-day forecast using a conventional approach, such as HRES, can take hours of computation in a supercomputer with hundreds of machines. In a comprehensive performance evaluation against the gold-standard deterministic system, HRES, GraphCast provided more accurate predictions on more than 90% of 1380 test variables and forecast lead times","note":""},{"id":"ecmwf","source_key":"ecmwf","locator":"","excerpt":"ECMWF has taken the Artificial Intelligence Forecasting System (AIFS) into operations today, 25 February 2025, to run side by side with its traditional physics-based Integrated Forecasting System (IFS) to advance numerical weather prediction. The AIFS outperforms state-of-the-art physics-based models for many measures, including tropical cyclone tracks, with gains of up to 20%. ... These include increased speed and a reduction of approximately 1,000 times in energy use for making a forecast.","note":""},{"id":"eurostat","source_key":"eurostat","locator":"","excerpt":"In 2025, 19.95% of EU enterprises used AI technologies. ... The highest share was recorded in Denmark (42.03%), followed by Finland (37.82%) and Sweden (35.04%), while the lowest shares were recorded in Romania (5.21%), Poland (8.36%) and Bulgaria (8.55%).","note":""},{"id":"eurostat-ml","source_key":"eurostat","locator":"","excerpt":"machine learning (e.g. deep learning) for data analysis","note":""},{"id":"insait","source_key":"insait","locator":"","excerpt":"January 16, 2024 Sofia, 15.01.2024 ... Today INSAIT officially launched BgGPT, the first open large language model for Bulgarian ... Further, organizations can use it locally on-site, without having to share sensitive data. ... In its first version, BgGPT was trained on over 3 billion Bulgarian sentences and consists of 7 billion parameters.","note":""},{"id":"wpml-limits","source_key":"wpml","locator":"","excerpt":"Although machine learning has been transformative in some fields, machine-learning programs often fail to deliver expected results. ... Reasons for this are numerous: lack of (suitable) data, lack of access to the data, data bias, privacy problems, badly chosen tasks and algorithms, wrong tools and people, lack of resources, and evaluation problems.","note":""},{"id":"wpml-fail","source_key":"wpml","locator":"","excerpt":"In 2018, a self-driving car from Uber failed to detect a pedestrian, who was killed after a collision. ... Attempts to use machine learning in healthcare with the IBM Watson system failed to deliver even after years of time and billions of dollars invested.","note":""},{"id":"iasr-jag2","source_key":"iasr","locator":"","excerpt":"Leading systems now match or exceed expert-level performance on standardised evaluations across a range of professional and scientific subjects, from undergraduate examinations in law and chemistry to graduate-level science questions. Yet their capabilities are also ‘jagged’: they simultaneously excel on difficult benchmarks and fail at some basic tasks. Current systems still provide false information at times, underperform in languages that are less common in their training data, and struggle with real-world constraints like unfamiliar interfaces and unusual problems.","note":""},{"id":"wpml-bias","source_key":"wpml","locator":"","excerpt":"A machine learning system trained specifically on current customers may not be able to predict the needs of new customer groups that are not represented in the training data. When trained on human-made data, machine learning is likely to pick up the constitutional and unconscious biases already present in society.","note":""},{"id":"wpml-stgeorge","source_key":"wpml","locator":"","excerpt":"For example, in 1988, the UK's Commission for Racial Equality found that St. George's Medical School had been using a computer program trained from data of previous admissions staff and this program had denied nearly 60 candidates who were found to either be women or have non-European-sounding names.","note":""},{"id":"gs","source_key":"gs","locator":"","excerpt":"We find that these datasets are overwhelmingly composed of lighter-skinned subjects (79.6% for IJB-A and 86.2% for Adience) ... We evaluate 3 commercial gender classification systems using our dataset and show that darker-skinned females are the most misclassified group (with error rates of up to 34.7%). The maximum error rate for lighter-skinned males is 0.8%. ... author = {Buolamwini, Joy and Gebru, Timnit} ... year = {2018}","note":""},{"id":"obermeyer","source_key":"obermeyer","locator":"","excerpt":"Science. 2019 Oct 25;366(6464):447-453. ... Health systems rely on commercial prediction algorithms to identify and help patients with complex health needs. We show that a widely used algorithm, typical of this industry-wide approach and affecting millions of patients, exhibits significant racial bias: At a given risk score, Black patients are considerably sicker than White patients, as evidenced by signs of uncontrolled illnesses. ... The bias arises because the algorithm predicts health care costs rather than illness, but unequal access to care means that we spend less money caring for Black patients than for White patients.","note":""},{"id":"obermeyer-fix","source_key":"obermeyer","locator":"","excerpt":"Remedying this disparity would increase the percentage of Black patients receiving additional help from 17.7 to 46.5%.","note":""},{"id":"wpml-police","source_key":"wpml","locator":"","excerpt":"Another example includes predictive policing company Geolitica's predictive algorithm that resulted in \"disproportionately high levels of over-policing in low-income and minority communities\" after being trained with historical crime data.","note":""},{"id":"sep","source_key":"sep","locator":"","excerpt":"When an AI system makes a decision, e.g. “you are denied a credit card”, it will often be impossible for the affected person to know how the system came to this output, i.e. the system is “opaque” or “black box” to that person. ... while the programmer does not really know which patterns in the data the system has used. What this means is that the outcome is opaque to the expert programmers, too ... In our case, if there is opacity, then any bias in decision-making will be hard to detect.","note":""},{"id":"wpml-hol","source_key":"wpml","locator":"","excerpt":"The House of Lords Select Committee, which claimed that such an \"intelligence system\" that could have a \"substantial impact on an individual's life\" would not be considered acceptable unless it provided \"a full and satisfactory explanation for the decisions\" it makes.","note":""},{"id":"rudin","source_key":"rudin","locator":"","excerpt":"Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to \\textit{explain} black box models, rather than creating models that are \\textit{interpretable} in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward -- it is to design models that are inherently interpretable.","note":""},{"id":"anth","source_key":"anth","locator":"","excerpt":"Published Mar 27, 2025 ... Claude sometimes thinks in a conceptual space that is shared between languages, suggesting it has a kind of universal “language of thought.” ... Claude will plan what it will say many words ahead, and write to get to that destination. We show this in the realm of poetry, where it thinks of possible rhyming words in advance ... Even on short, simple prompts, our method only captures a fraction of the total computation performed by Claude","note":""},{"id":"damour","source_key":"damour","locator":"","excerpt":"by Alexander D'Amour and 39 other authors ... ML models often exhibit unexpectedly poor behavior when they are deployed in real-world domains. We identify underspecification as a key reason for these failures. An ML pipeline is underspecified when it can return many predictors with equivalently strong held-out performance in the training domain. ... but we show here that such predictors can behave very differently in deployment domains.","note":""},{"id":"geirhos","source_key":"geirhos","locator":"","excerpt":"Shortcuts are decision rules that perform well on standard benchmarks but fail to transfer to more challenging testing conditions, such as real-world scenarios. Related issues are known in Comparative Psychology, Education and Linguistics, suggesting that shortcut learning may be a common characteristic of learning systems, biological and artificial alike.","note":""},{"id":"szegedy","source_key":"szegedy","locator":"","excerpt":"Submitted on 21 Dec 2013 ... Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus ... we find that deep neural networks learn input-output mappings that are fairly discontinuous to a significant extend. We can cause the network to misclassify an image by applying a certain imperceptible perturbation","note":""},{"id":"goodfellow","source_key":"goodfellow","locator":"","excerpt":"Several machine learning models, including neural networks, consistently misclassify adversarial examples---inputs formed by applying small but intentionally worst-case perturbations to examples from the dataset, such that the perturbed input results in the model outputting an incorrect answer with high confidence. Early attempts at explaining this phenomenon focused on nonlinearity and overfitting. We argue instead that the primary cause of neural networks' vulnerability to adversarial perturbation is their linear nature.","note":""},{"id":"carlini","source_key":"carlini","locator":"","excerpt":"Submitted on 14 Dec 2020 ... Nicholas Carlini ... We demonstrate our attack on GPT-2, a language model trained on scrapes of the public Internet, and are able to extract hundreds of verbatim text sequences from the model's training data. These extracted examples include (public) personally identifiable information (names, phone numbers, and email addresses)","note":""},{"id":"shumailov","source_key":"shumailov","locator":"","excerpt":"Published: 24 July 2024 ... We find that indiscriminate use of model-generated content in training causes irreversible defects in the resulting models, in which tails of the original content distribution disappear. We refer to this effect as ‘model collapse’","note":""},{"id":"kapoor","source_key":"kapoor","locator":"","excerpt":"Sayash Kapoor, Arvind Narayanan ... We show that data leakage is indeed a widespread problem and has led to severe reproducibility failures. Specifically, through a survey of literature in research communities that adopted ML methods, we find 17 fields where errors have been found, collectively affecting 329 papers and in some cases leading to wildly overoptimistic conclusions.","note":""},{"id":"strubell","source_key":"strubell","locator":"","excerpt":"Submitted on 5 Jun 2019 ... Emma Strubell ... However, these accuracy improvements depend on the availability of exceptionally large computational resources that necessitate similarly substantial energy consumption. As a result these models are costly to train and develop, both financially, due to the cost of hardware and electricity or cloud compute time, and environmentally, due to the carbon footprint required to fuel modern tensor processing hardware.","note":""},{"id":"iea","source_key":"iea","locator":"","excerpt":"Data centre electricity consumption is set to more than double to around 945 TWh by 2030. This is slightly more than Japan’s total electricity consumption today. AI is the most important driver of this growth","note":""},{"id":"mk","source_key":"mk","locator":"","excerpt":"Melanie Mitchell, David C. Krakauer ... We survey a current, heated debate in the AI research community on whether large pre-trained language models can be said to \"understand\" language -- and the physical and social situations language encodes -- in any important sense.","note":""},{"id":"bk","source_key":"bk","locator":"","excerpt":"Emily M. Bender, Alexander Koller ... However, we find that these successes sometimes lead to hype in which these models are being described as “understanding” language or capturing “meaning”. In this position paper, we argue that a system trained only on form has a priori no way to learn meaning. In keeping with the ACL 2020 theme","note":""},{"id":"mk-science","source_key":"mk","locator":"","excerpt":"We contend that a new science of intelligence can be developed that will provide insight into distinct modes of understanding, their strengths and limitations, and the challenge of integrating diverse forms of cognition.","note":""},{"id":"euaia","source_key":"euaia","locator":"","excerpt":"The AI Act (Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence) is the first-ever comprehensive legal framework on AI worldwide. ... The AI Act defines 4 levels of risk for AI systems ... The AI Act entered into force on 1 August 2024 and became applicable on 2 August 2026, with some exceptions","note":""},{"id":"iasr-its","source_key":"iasr","locator":"","excerpt":"Since the publication of the 2025 Report, general-purpose AI capabilities have continued to improve, driven by new techniques that enhance performance after initial training. ... Over the past year, they have further improved capabilities through ‘inference-time scaling’: allowing models to use more computing power in order to generate intermediate steps before giving a final answer. This technique has led to particularly large performance gains on more complex reasoning tasks in mathematics, software engineering, and science.","note":""},{"id":"iasr-jagged","source_key":"iasr","locator":"","excerpt":"Leading AI systems achieved gold-medal performance on International Mathematical Olympiad questions. In coding, AI agents can now reliably complete some tasks that would take a human programmer about half an hour, up from under 10 minutes a year ago. Performance nevertheless remains ‘jagged’, with leading systems still failing at some seemingly simple tasks.","note":""},{"id":"aii26-jag","source_key":"aii26","locator":"","excerpt":"The 2026 AI Index Report ... On a key coding benchmark—SWE-bench Verified—performance rose from 60% to near 100% in a single year. ... Gemini Deep Think earned a gold medal at IMO, yet the top model reads analog clocks correctly just 50.1% of the time.","note":""},{"id":"aii26-ind","source_key":"aii26","locator":"","excerpt":"Industry produced over 90% of notable frontier models in 2025 ... Organizational adoption reached 88% ... Documented AI incidents rose to 362, up from 233 in 2024.","note":""},{"id":"aii26-gap","source_key":"aii26","locator":"","excerpt":"The U.S.-China AI model performance gap has effectively closed. U.S. and Chinese models have traded the lead multiple times since early 2025. In February 2025, DeepSeek-R1 briefly matched the top U.S. model, and as of March 2026 Anthropic’s top model leads by just 2.7%.","note":""},{"id":"aisci","source_key":"aisci","locator":"","excerpt":"Published: 25 March 2026 ... We present The AI Scientist, which creates research ideas, writes code, runs experiments, plots and analyses data, writes the entire scientific manuscript, and performs its own peer review. Its ideas, execution and presentation are of sufficient quality that the manuscript generated by this AI system passed the first round of peer review for a workshop of a top-tier machine learning conference. The workshop had an acceptance rate of 70%.","note":""},{"id":"raise","source_key":"raise","locator":"","excerpt":"Friday, 16 October 2026 By The Brussels Times Newsroom Credit: Unsplash The European Commission has launched a new pledging initiative designed to widen researchers’ access to artificial intelligence tools and resources by drawing in support from industry and philanthropic organisations. The initiative, called RAISE — short for Resource for AI Science in Europe — is linked to the Commission’s AI in Science Strategy ... The initiative was launched at the European AI in Science Summit in Dublin. ... Mistral AI and CERN also announced a partnership under the initiative to develop what is described as the largest foundation model in physics","note":""},{"id":"argon","source_key":"argon","locator":"","excerpt":"Gemini 4 Argon: our next era of frontier intelligence Sep 30, 2026 ... Argon is currently rolling out to trusted cyber defenders through the Fairwind Program. Google is prioritizing safety and rigorous testing before a wider release to the public.","note":""},{"id":"ami-buzz","source_key":"ami","locator":"","excerpt":"My prediction is that ‘world models’ will be the next buzzword,” AMI Labs CEO Alexandre LeBrun told TechCrunch. “In six months, every company will call itself a world model to raise funding.","note":""}],"status":"published","featured":false,"revision":1,"created_at":"2026-10-24T08:03:41.874Z","updated_at":"2026-10-24T08:03:41.874Z"}