{"id":"2f52ebde-c46c-49d4-a97f-a57a457f46c6","slug":"halyutsinatsii-na-ezikovite-modeli","title":"Халюцинации на езиковите модели","category":"Технологии · Изкуствен интелект","tags":["халюцинации","голям езиков модел","достоверност","проверка на факти","чатботове","RAG"],"lead":"В областта на изкуствения интелект халюцинация е отговор, генериран от ИИ, който съдържа невярна или подвеждаща информация, представена като факт; явлението се нарича още конфабулация или „мираж“[^wp-def]. OpenAI определя халюцинациите като правдоподобни, но неверни твърдения, генерирани от езикови модели[^oai-def], и отбелязва, че те остават основно предизвикателство за всички големи езикови модели[^oai-fundamental]. Според изследователите от компанията моделите халюцинират, защото стандартните процедури за обучение и оценка възнаграждават отгатването, а не признаването на несигурност[^oai-why].","sections":[{"id":"termin","title":"Термин","paragraphs":["Терминът прави свободна аналогия с човешката психология, където халюцинацията обикновено означава лъжливи възприятия[^wp-analogy]. През 2023 г. речникът на Кеймбридж обновява определението на думата „халюцинация“, за да включи това ново значение, специфично за ИИ[^wp-cambridge].","Част от изследователите смятат думата за неточна. Хикс, Хъмфрис и Слейтър твърдят в списание Ethics and Information Technology, че изходът на големите езикови модели е „дрън-дрън“ (bullshit) по определението на философа Хари Франкфърт, тъй като моделите са „по важен начин безразлични към истинността на изхода си“[^wp-bullshit].","Изследователи от Оксфорд, публикували в Nature, разглеждат като отделен подвид „конфабулациите“ — твърдения, които са едновременно грешни и произволни, т.е. зависят от несъществени подробности като случайното начално число на генерирането[^nature-confab]."]},{"id":"prichini","title":"Причини","paragraphs":["Според статията на Адам Тауман Калай и съавтори от 2025 г. халюцинациите не са нещо мистериозно: те възникват като грешки при двоична класификация. Ако неверните твърдения не могат да се отличат от фактите, халюцинациите в предварително обучените модели възникват от естествен статистически натиск[^kalai-binary].","Те се запазват заради начина, по който се оценяват моделите: моделите са оптимизирани да бъдат добри при изпитване, а отгатването при несигурност подобрява резултата[^kalai-tests]. OpenAI дава пример: ако модел не знае нечия рождена дата и отгатне „10 септември“, шансът да е прав е 1 към 365, докато „не знам“ гарантира нула точки; при хиляди въпроси отгатващият модел изглежда по-добре в класациите от внимателния[^oai-birthday].","Авторите предлагат решението да е социотехническо — промяна в точкуването на съществуващите водещи тестове, а не въвеждане на още тестове за халюцинации[^kalai-fix].","Тестът TruthfulQA от 2021 г. съдържа 817 въпроса в 38 области, на които някои хора отговарят невярно заради погрешни вярвания. Най-добрият изпитан модел е истинен при 58% от въпросите срещу 94% при хората[^truthfulqa], а най-големите модели като цяло са най-малко истинни — за разлика от други задачи, където резултатите се подобряват с размера на модела[^truthfulqa-scale]."]},{"id":"posleditsi","title":"Последици","paragraphs":["През юни 2023 г. федерален съдия в Ню Йорк налага солидарна глоба от 5000 долара на двама адвокати и тяхната кантора по делото Mata срещу Avianca[^mata-fine]. Причината е, че са представили несъществуващи съдебни решения с фалшиви цитати, създадени от ChatGPT, и продължили да ги защитават, след като съдът поставя съществуването им под въпрос[^mata-fake].","Базата данни на юриста Дамиен Шарлотен, която проследява съдебни решения по такива случаи по света, наброява 2207 случая[^charlotin].","Трибунал в Британска Колумбия задължава Air Canada да плати 812 канадски долара на пътник, получил грешен съвет от чатбота на авиокомпанията за намалените тарифи при смърт в семейството[^aircanada-812]. Компанията твърди, че чатботът е „отделно юридическо лице, отговорно за собствените си действия“, а членът на трибунала Кристофър Ривърс отговаря, че чатботът е просто част от уебсайта на Air Canada[^aircanada-entity].","През декември 2024 г. BBC проверява четири ИИ асистента — ChatGPT, Copilot, Gemini и Perplexity — със 100 въпроса за новините[^bbc-method]. 51% от отговорите имат съществени проблеми, 19% от отговорите, цитиращи BBC, внасят фактически грешки, а 13% от цитатите от статии на BBC са променени или липсват в цитираната статия[^bbc-51]."]},{"id":"otkrivane-i-ogranichavane","title":"Откриване и ограничаване","paragraphs":["Методът „семантична ентропия“, публикуван в Nature през 2024 г., оценява несигурността на модела на ниво смисъл, а не на конкретна последователност от думи, като отчита, че една идея може да се изрази по много начини; така той открива конфабулациите и при нови въпроси[^nature-method].","Генерирането, допълнено с извличане (RAG), съчетава параметричната памет на предварително обучен модел с непараметрична памет — в първоначалната работа това е векторен индекс на Уикипедия, достъпван чрез невронен механизъм за търсене[^rag]. Подходът дава на модела проверими източници, но не премахва грешките сам по себе си.","OpenAI отбелязва, че моделът GPT-5 халюцинира значително по-рядко, особено когато разсъждава, но халюцинациите все още се срещат[^oai-gpt5]. Компанията препоръчва грешките да се наказват по-тежко от въздържането от отговор, тъй като по-добре е моделът да посочи несигурност или да поиска уточнение[^oai-abstain]."]},{"id":"znachenie-za-entsiklopediite","title":"Значение за енциклопедиите","paragraphs":["Халюцинациите са основна причина ИИ-генерираното съдържание да се проверява срещу първоизточници. Обзорът на Ji и съавтори отбелязва, че генерирането на текст с дълбоко обучение е склонно да „халюцинира“ непредвиден текст, което влошава работата на системите и не отговаря на очакванията на потребителите в много реални приложения[^ji]. В WikiB всяко твърдение има бележка с дословен откъс от източника, който се проверява автоматично преди човешкия преглед."]}],"sources":[{"key":"wp","title":"Hallucination (artificial intelligence)","url":"https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)","note":"","publisher":"Wikipedia","language":"en","retrieved_at":"2026-10-24"},{"key":"oai","title":"Why language models hallucinate","url":"https://openai.com/index/why-language-models-hallucinate/","note":"","publisher":"OpenAI","published_at":"2025-09-05","language":"en","retrieved_at":"2026-10-24"},{"key":"kalai","title":"Why Language Models Hallucinate","url":"https://arxiv.org/abs/2509.04664","note":"","publisher":"arXiv","published_at":"2025-09-04","language":"en","retrieved_at":"2026-10-24"},{"key":"nature","title":"Detecting hallucinations in large language models using semantic entropy","url":"https://www.nature.com/articles/s41586-024-07421-0","note":"","publisher":"Nature","published_at":"2024-06-19","language":"en","retrieved_at":"2026-10-24"},{"key":"truthfulqa","title":"TruthfulQA: Measuring How Models Mimic Human Falsehoods","url":"https://arxiv.org/abs/2109.07958","note":"","publisher":"arXiv","published_at":"2021-09-08","language":"en","retrieved_at":"2026-10-24"},{"key":"rag","title":"Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks","url":"https://arxiv.org/abs/2005.11401","note":"","publisher":"arXiv","published_at":"2020-05-22","language":"en","retrieved_at":"2026-10-24"},{"key":"ji","title":"Survey of Hallucination in Natural Language Generation","url":"https://arxiv.org/abs/2202.03629","note":"","publisher":"arXiv","published_at":"2022-02-08","language":"en","retrieved_at":"2026-10-24"},{"key":"mata","title":"Mata v. Avianca, Inc., No. 1:22-cv-01461 (S.D.N.Y.), Opinion and Order on Sanctions","url":"https://law.justia.com/cases/federal/district-courts/new-york/nysdce/1:2022cv01461/575368/54/","note":"","publisher":"Justia / U.S. District Court for the Southern District of New York","published_at":"2023-06-22","language":"en","retrieved_at":"2026-10-24"},{"key":"charlotin","title":"AI Hallucination Cases Database","url":"https://www.damiencharlotin.com/hallucinations/","note":"","publisher":"Damien Charlotin","language":"en","retrieved_at":"2026-10-24"},{"key":"cbc","title":"Air Canada found liable for chatbot's bad advice on plane tickets","url":"https://www.cbc.ca/news/canada/british-columbia/air-canada-chatbot-lawsuit-1.7116416","note":"","publisher":"CBC News","published_at":"2024-02-15","language":"en","retrieved_at":"2026-10-24"},{"key":"bbc","title":"Representation of BBC News content in AI Assistants","url":"https://www.bbc.co.uk/aboutthebbc/documents/bbc-research-into-ai-assistants.pdf","note":"","publisher":"BBC","published_at":"2025-02","language":"en","retrieved_at":"2026-10-24"}],"citations":[{"id":"wp-def","source_key":"wp","locator":"","excerpt":"In the field of artificial intelligence (AI), a hallucination or artificial hallucination (also called bullshitting,[1][2] confabulation,[3] delusion,[4] or mirage[5]) is a response generated by AI that contains false or misleading information presented as fact.","note":""},{"id":"oai-def","source_key":"oai","locator":"","excerpt":"Hallucinations are plausible but false statements generated by language models.","note":""},{"id":"oai-fundamental","source_key":"oai","locator":"","excerpt":"Hallucinations remain a fundamental challenge for all large language models, but we are working hard to further reduce them.","note":""},{"id":"oai-why","source_key":"oai","locator":"","excerpt":"Our new research paper⁠(opens in a new window) argues that language models hallucinate because standard training and evaluation procedures reward guessing over acknowledging uncertainty.","note":""},{"id":"wp-analogy","source_key":"wp","locator":"","excerpt":"These terms draw a loose analogy with human psychology, where a hallucination typically involves false percepts.","note":""},{"id":"wp-cambridge","source_key":"wp","locator":"","excerpt":"In 2023, the Cambridge dictionary updated its definition of hallucination to include this new sense specific to the field of AI.","note":""},{"id":"wp-bullshit","source_key":"wp","locator":"","excerpt":"Hicks, Humphries, and Slater, in their article in Ethics and Information Technology, argue that the output of LLMs is bullshit under Harry Frankfurt's definition, and that the models are \"in an important way indifferent to the truth of their outputs\"","note":""},{"id":"nature-confab","source_key":"nature","locator":"","excerpt":"We focus on a subset of hallucinations which we call ‘confabulations’12 for which LLMs fluently make claims that are both wrong and arbitrary—by which we mean that the answer is sensitive to irrelevant details such as random seed.","note":""},{"id":"kalai-binary","source_key":"kalai","locator":"","excerpt":"Hallucinations need not be mysterious -- they originate simply as errors in binary classification. If incorrect statements cannot be distinguished from facts, then hallucinations in pretrained language models will arise through natural statistical pressures.","note":""},{"id":"kalai-tests","source_key":"kalai","locator":"","excerpt":"We then argue that hallucinations persist due to the way most evaluations are graded -- language models are optimized to be good test-takers, and guessing when uncertain improves test performance.","note":""},{"id":"oai-birthday","source_key":"oai","locator":"","excerpt":"suppose a language model is asked for someone’s birthday but doesn’t know. If it guesses “September 10,” it has a 1-in-365 chance of being right. Saying “I don’t know” guarantees zero points. Over thousands of test questions, the guessing model ends up looking better on scoreboards than a careful model that admits uncertainty.","note":""},{"id":"kalai-fix","source_key":"kalai","locator":"","excerpt":"This \"epidemic\" of penalizing uncertain responses can only be addressed through a socio-technical mitigation: modifying the scoring of existing benchmarks that are misaligned but dominate leaderboards, rather than introducing additional hallucination evaluations.","note":""},{"id":"truthfulqa","source_key":"truthfulqa","locator":"","excerpt":"The benchmark comprises 817 questions that span 38 categories, including health, law, finance and politics. We crafted questions that some humans would answer falsely due to a false belief or misconception. ... The best model was truthful on 58% of questions, while human performance was 94%.","note":""},{"id":"truthfulqa-scale","source_key":"truthfulqa","locator":"","excerpt":"The largest models were generally the least truthful. This contrasts with other NLP tasks, where performance improves with model size.","note":""},{"id":"mata-fine","source_key":"mata","locator":"","excerpt":"A penalty of $5,000 is jointly and severally imposed on Respondents and shall be paid into the Registry of this Court within 14 days of this Opinion and Order. SO ORDERED. (Signed by Judge P. Kevin Castel on 6/22/2023)","note":""},{"id":"mata-fake","source_key":"mata","locator":"","excerpt":"abandoned their responsibilities when they submitted non-existent judicial opinions with fake quotes and citations created by the artificial intelligence tool ChatGPT, then continued to stand by the fake opinions after judicial orders called their existence into question.","note":""},{"id":"charlotin","source_key":"charlotin","locator":"","excerpt":"This database tracks legal decisions1 I.e., all documents where the use of AI, whether established or merely alleged, is addressed in more than a passing reference by the court or tribunal. ... While seeking to be exhaustive (2207 cases identified so far), it is a work in progress","note":""},{"id":"aircanada-812","source_key":"cbc","locator":"","excerpt":"Rivers ordered Air Canada to pay Jake Moffatt $812 to cover the difference between the airline's bereavement rates and the $1,630.36 they paid for full-price tickets","note":""},{"id":"aircanada-entity","source_key":"cbc","locator":"","excerpt":"the airline attempted to distance itself from its own chatbot's bad advice by claiming the online tool was \"a separate legal entity that is responsible for its own actions.\" \"This is a remarkable submission,\" Civil Resolution Tribunal (CRT) member Christopher Rivers wrote. \"While a chatbot has an interactive component, it is still just a part of Air Canada's website.","note":""},{"id":"bbc-method","source_key":"bbc","locator":"","excerpt":"In December 2024, the BBC carried out research into the accuracy of four prominent AI assistants that can search the internet – OpenAI’s ChatGPT; Microsoft’s Copilot; Google’s Gemini; and Perplexity. We did this by reviewing responses from the AI assistants to 100 questions about the news","note":""},{"id":"bbc-51","source_key":"bbc","locator":"","excerpt":"51% of all AI answers to questions about the news were judged to have significant issues of some form. • 19% of AI answers which cited BBC content introduced factual errors – incorrect factual statements, numbers and dates. • 13% of the quotes sourced from BBC articles were either altered from the original source or not present in the article cited.","note":""},{"id":"nature-method","source_key":"nature","locator":"","excerpt":"Here we develop new methods grounded in statistics, proposing entropy-based uncertainty estimators for LLMs to detect a subset of hallucinations—confabulations—which are arbitrary and incorrect generations. Our method addresses the fact that one idea can be expressed in many ways by computing uncertainty at the level of meaning rather than specific sequences of words.","note":""},{"id":"rag","source_key":"rag","locator":"","excerpt":"We explore a general-purpose fine-tuning recipe for retrieval-augmented generation (RAG) -- models which combine pre-trained parametric and non-parametric memory for language generation. We introduce RAG models where the parametric memory is a pre-trained seq2seq model and the non-parametric memory is a dense vector index of Wikipedia, accessed with a pre-trained neural retri","note":""},{"id":"oai-gpt5","source_key":"oai","locator":"","excerpt":"GPT‑5 has significantly fewer hallucinations especially when reasoning⁠, but they still occur.","note":""},{"id":"oai-abstain","source_key":"oai","locator":"","excerpt":"Most scoreboards prioritize and rank models based on accuracy, but errors are worse than abstentions. Our Model Spec⁠(opens in a new window) states that it is better to indicate uncertainty or ask for clarification than provide confident","note":""},{"id":"ji","source_key":"ji","locator":"","excerpt":"However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-wor","note":""}],"status":"published","featured":false,"revision":1,"created_at":"2026-10-24T10:23:48.588Z","updated_at":"2026-10-24T10:23:48.588Z"}