{"id":"110b861b-cb72-4272-8804-f720c35fe134","slug":"kolektiven-konstitutsionen-ai","title":"Колективен конституционен AI","category":"Общество · Цифрова демокрация","tags":["изкуствен интелект","обмислена демокрация","гражданско участие","управление на AI","Pol.is"],"lead":"Колективният конституционен изкуствен интелект (Collective Constitutional AI, CCAI) е изследователски подход за включване на обществеността в създаването на принципите, които направляват поведението на езиков модел. Първият широко документиран експеримент под това название е съвместна работа на Anthropic и Collective Intelligence Project, представена през октомври 2023 г. В него около 1000 пълнолетни участници от САЩ предлагат и оценяват правила, използвани впоследствие при обучението на експериментален модел.[^ccai-partners][^ccai-scale]\n\nПроектът свързва гражданско участие с технически процес за промяна на поведението на ИИ. Той показва как обществени предпочитания могат да бъдат преведени в инструкции за обучение, но не създава сам по себе си законово обвързващо обществено управление. Резултатите се отнасят до конкретния експеримент, използваните модели и проведените оценки.","sections":[{"id":"kontekst-asamblei-za-saglasuvane","title":"Контекст: „Асамблеи за съгласуване“","paragraphs":["CCAI е част от инициативата Alignment Assemblies на Collective Intelligence Project — поредица от процеси за включване на обществени мнения в решения за развитието и управлението на ИИ. През 2023 г. са документирани инициативи с участници от Summit for Democracy, OpenAI, Министерството на цифровите въпроси на Тайван, Anthropic и Creative Commons. Те разглеждат различни въпроси: влиянието на генеративния ИИ върху демокрацията, оценката на рискове, обществените отговори на технологичното развитие, принципите за поведение на модели и използването на лицензирани произведения при обучение.[^ccai-alignment-assemblies]","CCAI се отличава с това, че резултатът от допитването не остава само обществен доклад. Подбраните граждански принципи са преобразувани в конституция за обучение на конкретен езиков модел. Именно преходът от обществено мнение към техническо поведение е централният предмет на експеримента."]},{"id":"obshtestveniyat-problem","title":"Общественият проблем","paragraphs":["Езиковите модели представят информация, формулират съвети и участват в обсъждането на въпроси, натоварени с ценности. Освен точността на информацията значение имат начинът на представяне, обозначаването на несигурност, отношението към различни хора, защитата на личния живот и границите на предоставяната помощ.","Следователно съгласуването на ИИ не е само технически въпрос. То включва избор кой определя желаното поведение, кои обществени групи са представени и как се разрешават противоречия между полезност, безопасност, свобода, поверителност и достоверност."]},{"id":"kakvo-oznachava-konstitutsiya-na-ii","title":"Какво означава „конституция“ на ИИ","paragraphs":["В този контекст конституция означава набор от принципи на естествен език, използвани за направляване на обучението. Първоначалният метод Constitutional AI на Anthropic включва два основни етапа. При първия моделът създава отговор, критикува го според даден принцип и го преработва. При втория ИИ сравнява възможни отговори според конституцията, а оценките се използват за обучение с подкрепление от обратна връзка на ИИ, известно като RLAIF.[^cai-method]","Конституцията е функционален инструмент за обучение, а не автоматично правна конституция. Публикуването на принципите прави заявените цели по-видими, но действителното поведение трябва да бъде проверявано чрез тестове, наблюдение и независима оценка."]},{"id":"tehnicheska-predistoriya-rlhf-i-rlaif","title":"Техническа предистория: RLHF и RLAIF","paragraphs":["Важен предшественик е обучението с подкрепление от човешка обратна връзка — RLHF. При InstructGPT първо са събирани човешки демонстрации на желано поведение, а след това оценки и подреждания на различни отговори. Те подпомагат дообучението на модела и изграждането на модел за предпочитания.[^instructgpt]","RLHF поставя въпроса чии предпочитания се обобщават. Малка или еднородна група оценители може неволно да наложи собствен стил и ценностни предпоставки. CCAI не премахва този проблем, но разширява участието на по-ранен етап — при формулирането на основните правила."]},{"id":"metodologiya-pol-is-i-masovoto-dopitvane","title":"Методология: Pol.is и масовото допитване","paragraphs":["Anthropic и Collective Intelligence Project използват Pol.is и извадка от пълнолетни американци, подбрана с оглед на възраст, пол, доход и географско разпределение.[^ccai-methodology] Pol.is е платформа с отворен код, в която участниците могат да предлагат кратки твърдения и да отбелязват съгласие, несъгласие или пропускане на предложенията.[^polis-overview]","Форматът принадлежи към т.нар. wiki survey: дневният ред не е напълно затворен от организатора, защото участниците могат да добавят нови твърдения. Така допитването съчетава предварително зададена рамка с възможност за възникване на идеи от самата група.[^polis-wikisurvey]","Не е необходимо всеки участник да прочете всички предложения. Натрупаните оценки образуват матрица на гласовете, чрез която могат да се откриват модели на съгласие и разногласие."]},{"id":"kak-se-analizirat-mneniyata","title":"Как се анализират мненията","paragraphs":["Основният анализ на Pol.is работи върху това кой с кои твърдения се съгласява, а не върху автоматично тълкуване на политическия смисъл на изреченията. Документацията на платформата описва намаляване на размерността и групиране на участници със сходни модели на гласуване.[^polis-algorithms]","В CCAI са използвани анализ на главните компоненти и k-means, чрез които са получени две основни групи. Тези групи не трябва автоматично да се тълкуват като партии или идентичности. Те показват сходство в подадените оценки.[^ccai-selection]"]},{"id":"uchastnitsi-predlozheniya-i-moderatsiya","title":"Участници, предложения и модерация","paragraphs":["В процеса участват около 1000 души. Събрани са 1127 твърдения и 38 252 гласа. Началото е поставено с 21 примерни твърдения. След модерацията остават 275 предложения;[^ccai-moderation] след премахване на дублиращите се и обединяване на близки идеи от тях е съставен крайният набор от 75 принципа.[^public-constitution]","Модерацията може да отстранява спам, неразбираеми формулировки и дублиране, но същевременно влияе върху това кои идеи достигат до оценяване. Поради това са важни ясните критерии, записът на отстранените предложения и проследимостта между първоначалния текст, редакцията и крайното правило.[^polis-moderation]"]},{"id":"tarsene-na-saglasie-mezhdu-grupite","title":"Търсене на съгласие между групите","paragraphs":["При подбора е използван показателят group-aware consensus, или GAC. Той отчита подкрепата във всяка открита група чрез произведение на оценените вероятности за съгласие. Предложение с висока подкрепа само в едната група получава по-нисък резултат от предложение, приемано широко и в двете. В експеримента прагът е определен на 0,723 спрямо 95 различими идеи в стандартната конституция.[^ccai-selection]","GAC не е обикновен процент гласували „за“. Резултатът зависи от начина на групиране и наказва силното разделение. Това го прави инструмент за откриване на междугрупово съгласие, но не и окончателна мярка за обществена легитимност."]},{"id":"ot-grazhdanski-predlozheniya-kam-pravila-za-obuchenie","title":"От граждански предложения към правила за обучение","paragraphs":["Гражданските твърдения са преформулирани като инструкции, чрез които моделът да предпочита отговори с определени качества. Тази стъпка включва човешка редакция и субективни решения. Едно общо искане за „ясен отговор“ например трябва да бъде преведено в приложима инструкция: ясно за кого, при какви предварителни знания и с каква необходима подробност.[^ccai-processing]","Това преобразуване е критична връзка между участието и техническия резултат. Ако близки предложения бъдат обединени, може да се промени акцентът им. Пълната проследимост изисква възможност крайното правило да бъде свързано с първоначалните предложения и мотивите за редакцията."]},{"id":"sadarzhanie-na-grazhdanskata-konstitutsiya","title":"Съдържание на гражданската конституция","paragraphs":["Публикуваната гражданска конституция включва 75 принципа.[^public-constitution] Сред основните теми са честност и точност, признаване на ограниченията, полезност, безпристрастност, достъпност за хора с увреждания, уважение към личността, защита на поверителността, човешка автономия и ограничаване на вредни действия.[^public-constitution]","Сравнението с тогавашната конституция на Anthropic показва приблизително 50% припокриване по концепции и ценности. Гражданската версия поставя по-силен акцент върху обективността, безпристрастността и достъпността и по-често формулира желано положително поведение, вместо само забрани.[^ccai-differences]","Разликата между насърчаване и забрана е практическа. Правило „предостави точно и полезно обяснение“ създава положителна задача, докато правило „не предоставяй неподходящ текст“ задава ограничение. За надеждно поведение са нужни и двата вида принципи."]},{"id":"obuchenie-i-izpolzvani-otsenki","title":"Обучение и използвани оценки","paragraphs":["Изследователите обучават модел Public с гражданската конституция и модел Standard със стандартната конституция, като запазват еднакви основни условия. Claude Instant 1.2 е използван като допълнителна отправна точка, но продуктовите му особености ограничават прякото сравнение.[^ccai-experiment]","Оценяването включва MMLU — задачи в 57 предметни области;[^mmlu] GSM8K — около 8,5 хиляди математически текстови задачи;[^gsm8k] BBQ — тест за социални стереотипи в случаи с достатъчна и недостатъчна информация;[^bbq] и OpinionQA — сравнение между отговори на модели и позиции от обществени допитвания.[^opinionqa]","Тези тестове измерват различни свойства. Висок резултат по знания или математика не доказва безпристрастност, а сходството с обществена група не доказва фактическа вярност."]},{"id":"osnovni-rezultati","title":"Основни резултати","paragraphs":["На MMLU моделът Public постига 72,3%, Standard — 72,4%, а Claude Instant 1.2 — 73,2%. На GSM8K резултатите са съответно 85,6%, 85,2% и 86,4%. Близките стойности показват, че в тези тестове гражданската конституция не води до голяма загуба на проверените способности.[^ccai-results]","Моделът Public показва по-ниско стереотипно пристрастие във всичките девет измерения на BBQ, без съществено влошаване на измерената полезност или безопасност. Едновременно с това и Public, и Standard остават по-близки до отговорите на либерални, отколкото на консервативни американци. Следователно гражданската конституция подобрява определени показатели, но не премахва всички политически и представителни дисбаланси.[^ccai-results][^opinionqa]"]},{"id":"predstavitelnost-obektivnost-i-pluralizam","title":"Представителност, обективност и плурализъм","paragraphs":["Представителността и обосноваността са различни цели. Един отговор може да съвпада с мнозинството и все пак да съдържа фактическа грешка. Друг може да представя надеждни доказателства, без да съвпада с преобладаващото мнение.","Изследването PRISM разширява географския обхват на човешката обратна връзка чрез 1500 участници от 75 държави, 8011 разговора и оценки на 21 езикови модела.[^prism] Сродната рамка за плуралистично съгласуване различава представяне на спектър от разумни позиции, насочване към определена перспектива и съответствие с разпределението на мненията в дадена група.[^pluralistic]","Географското разнообразие не е равнозначно на статистическа представителност. За всяко приложение трябва да се определи кои хора са засегнати, как са подбрани и дали общите правила причиняват различни последствия за малцинствени групи."]},{"id":"ogranicheniya-i-protivorechiya-mezhdu-printsipite","title":"Ограничения и противоречия между принципите","paragraphs":["Изследователите не разполагат с една обща пряка мярка, която да показва доколко моделът изпълнява цялата конституция. Отделните тестове покриват само части от желаното поведение.[^ccai-limitations]","Честност, личен живот, полезност, свобода и безопасност могат да поставят противоречиви изисквания. Полезен отговор може да изисква информация, която засяга поверителност; краткият отговор може да прикрива важна несигурност; предпазливият модел може да стане неизползваем. Затова принципите трябва да бъдат проверявани чрез конкретни сценарии и опити за откриване на проблемно поведение, включително red teaming.[^red-team]","За приложение на български език са нужни отделни проверки върху български текстове, местни обществени въпроси и продължителни разговори. Резултат от англоезичен тест в американски контекст не може автоматично да бъде пренесен към друга езикова и институционална среда."]},{"id":"demokratsiya-i-upravlenie-na-tehnologiite","title":"Демокрация и управление на технологиите","paragraphs":["Проектът включва пряко участие: хората предлагат правила и оценяват предложенията на други участници. Но организаторите продължават да определят целта, извадката, модерацията, редакцията и техническото приложение. Следователно участие в създаването на принципи не е равнозначно на пълна обществена власт върху модела.","Collective Intelligence Project разглежда демократичния ИИ като по-широка институционална задача, включваща отчетност, разпределена информация, обществени блага и защита на човешката свобода и благополучие.[^democratic-ai] Друга рамка разграничава демократизация на използването, разработката, ползите и управлението на ИИ.[^democratizing-ai]","CCAI е насочен основно към участието в определянето на поведение. Устойчивото съвместно управление би изисквало и правила за бъдещи промени, независима проверка, възражения и ясно разпределение на правомощията."]},{"id":"prozrachnost-i-vazproizvodimost","title":"Прозрачност и възпроизводимост","paragraphs":["Публичното хранилище на проекта съдържа първоначални и обработени данни за предложенията и гласовете, както и тетрадка за част от анализа. Това позволява повторна проверка на определени стъпки от допитването.[^ccai-data]","Възпроизводимостта има различни равнища. Публичните гласове позволяват анализ на общественото участие; публикуваните правила позволяват сравнение на конституциите; повторението на обучението изисква допълнително достъп до модели, данни и технически условия. Публична конституция не е равнозначна на напълно възпроизводима система."]},{"id":"razvitie-sled-parviya-eksperiment","title":"Развитие след първия експеримент","paragraphs":["Global Dialogues на CIP разширява международното участие чрез структурирани обсъждания.[^global-dialogues] Представеният през 2025 г. индекс обобщава седем кръга с повече от 6000 участници от 70 държави.[^gd-index]","През януари 2026 г. препринтът Beyond Preferences представя Grounded Constitutional AI — подход, който съчетава общи човешки ценности с причините, давани при предпочитане на конкретни отговори. Така еднакъв избор може да бъде разграничен според това дали човек го обосновава с точност, яснота или друго качество.[^grounded-cai]","На 22 януари 2026 г. Anthropic публикува нова конституция на Claude с лиценз CC0. Тя описва актуалната визия на компанията за поведението на Claude и изрично допуска, че реалните отговори могат да се отклоняват от заявените идеали.[^claude-new][^claude-current] Тази корпоративна конституция, гражданският експеримент от 2023 г. и поведението на действащ продукт са различни обекти на оценка."]},{"id":"potentsialni-prilozheniya","title":"Потенциални приложения","paragraphs":["В образованието колективна конституция може да определя очаквания за яснота, подходяща помощ и признаване на несигурност. В обществените услуги тя може да задава изисквания за достъпност, точност и насочване към компетентен човек. В свободна енциклопедия може да направлява отделянето на факт от мнение, посочването на източници и представянето на научна несигурност.","Това са възможни приложения, а не доказани внедрявания на първоначалния модел. За всяка област са нужни собствена група участници, подходящи тестове, оценка на последствията от грешки и процедура за оспорване."]},{"id":"kriterii-za-badeshti-kolektivni-konstitutsii","title":"Критерии за бъдещи колективни конституции","paragraphs":["Бъдещите процеси могат да бъдат оценявани по осем въпроса: ясно ли е кои хора са засегнати; достъпно ли е участието; може ли всяко крайно правило да се свърже с първоначалните предложения; видими ли са разногласията; има ли конкретни поведенчески тестове; възможен ли е независим преглед; могат ли участниците да оспорят редакция или резултат; и как се приемат следващи промени.","Техническият успех означава измерима промяна в поведението на модела. Демократичната легитимност се отнася до представителството, властта и отчетността. За система с широко обществено въздействие са нужни доказателства и за двете."]},{"id":"vizhte-sashto","title":"Вижте също","paragraphs":["[[vtaiwan-tsifrova-demokratsia|vTaiwan: цифровата демокрация в Тайван]]","[[deliberativna-demokratsia|Делиберативна демокрация]]","[[openai-demokratichni-vhodni-danni-za-ai|OpenAI и „демократичните входни данни“ за AI]]","[[plurality-tehnologiya-za-demokratsiya|Plurality: технология за съвместно многообразие и демокрация]]","[[habermas-machine-ai-mediator|Habermas Machine: AI медиатор за групово съгласие]]","[[narodna-initsiativa|Народна инициатива]]","[[referendum|Референдум]]"]}],"sources":[{"key":"anthropic-ccai","title":"Anthropic — Collective Constitutional AI: Aligning a Language Model with Public Input","url":"https://www.anthropic.com/research/collective-constitutional-ai-aligning-a-language-model-with-public-input","note":"Официално описание на проекта, методологията и резултатите.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013154748/https://www.anthropic.com/research/collective-constitutional-ai-aligning-a-language-model-with-public-input"},{"key":"cip-alignment-assemblies","title":"Collective Intelligence Project — Alignment Assemblies","url":"https://www.cip.org/alignmentassemblies","note":"Описание на асамблеите за обществено участие в управлението на ИИ.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260917103438/https://www.cip.org/alignmentassemblies"},{"key":"cai-paper","title":"Constitutional AI: Harmlessness from AI Feedback","url":"https://arxiv.org/abs/2212.08073","note":"Първично описание на метода Constitutional AI и RLAIF.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013154817/https://arxiv.org/abs/2212.08073"},{"key":"instructgpt","title":"Training language models to follow instructions with human feedback","url":"https://arxiv.org/abs/2203.02155","note":"Първично изследване за InstructGPT и RLHF.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013154849/https://arxiv.org/abs/2203.02155"},{"key":"polis-overview","title":"Computational Democracy Project — Polis","url":"https://compdemocracy.org/polis/","note":"Официално описание на платформата Pol.is.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013155016/https://compdemocracy.org/polis/"},{"key":"polis-wikisurvey","title":"Computational Democracy Project — Wikisurvey","url":"https://compdemocracy.org/wikisurvey/","note":"Описание на отворения формат за допитване.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260609211622/https://compdemocracy.org/wikisurvey/"},{"key":"polis-algorithms","title":"Computational Democracy Project — Algorithms","url":"https://compdemocracy.org/algorithms/","note":"Документация за анализа и групирането на гласове.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260929235642/https://compdemocracy.org/algorithms/"},{"key":"polis-moderation","title":"Computational Democracy Project — Moderation","url":"https://compdemocracy.org/moderation/","note":"Документация за модерацията и прозрачността на предложенията.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260827055452/https://compdemocracy.org/moderation/"},{"key":"public-constitution","title":"CCAI Public Constitution — 75 principles","url":"https://www-cdn.anthropic.com/65408ee2b9c99abe53e432f300e7f43ef69fb6e4/CCAI_public_comparison_2023.pdf","note":"Публикуваният набор от граждански принципи.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260210055545/https://www-cdn.anthropic.com/65408ee2b9c99abe53e432f300e7f43ef69fb6e4/CCAI_public_comparison_2023.pdf"},{"key":"mmlu","title":"Measuring Massive Multitask Language Understanding","url":"https://arxiv.org/abs/2009.03300","note":"Първично описание на MMLU.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261011231426/https://arxiv.org/abs/2009.03300"},{"key":"gsm8k","title":"Training Verifiers to Solve Math Word Problems","url":"https://arxiv.org/abs/2110.14168","note":"Първично описание на GSM8K.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013155104/https://arxiv.org/abs/2110.14168"},{"key":"bbq","title":"BBQ: A Hand-Built Bias Benchmark for Question Answering","url":"https://aclanthology.org/2022.findings-acl.165/","note":"Първично описание на теста BBQ.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261004025426/https://aclanthology.org/2022.findings-acl.165/"},{"key":"opinionqa","title":"Whose Opinions Do Language Models Reflect?","url":"https://arxiv.org/abs/2303.17548","note":"Изследване на обществената и политическата представителност на езиковите модели.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260922150655/https://arxiv.org/abs/2303.17548"},{"key":"red-team","title":"Red Teaming Language Models to Reduce Harms","url":"https://arxiv.org/abs/2209.07858","note":"Методи и ограничения при изпитването за вредно поведение.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013155140/https://arxiv.org/abs/2209.07858"},{"key":"democratic-ai","title":"A Roadmap to Democratic AI","url":"https://www.cip.org/research/ai-roadmap","note":"Институционална рамка за демократичен ИИ.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260913090405/https://www.cip.org/research/ai-roadmap"},{"key":"democratizing-ai","title":"Four Approaches to Democratizing AI","url":"https://www.cip.org/research/democratizing-ai","note":"Рамка за четири форми на демократизация на ИИ.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260913090407/https://www.cip.org/research/democratizing-ai"},{"key":"prism","title":"The PRISM Alignment Dataset","url":"https://arxiv.org/abs/2404.16019","note":"Многонационален набор от човешка обратна връзка за ИИ.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260917145550/https://arxiv.org/abs/2404.16019"},{"key":"pluralistic","title":"A Roadmap to Pluralistic Alignment","url":"https://arxiv.org/abs/2402.05070","note":"Рамка за плуралистично съгласуване.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260927222242/https://arxiv.org/abs/2402.05070"},{"key":"ccai-data","title":"CCAI data and analysis repository","url":"https://github.com/saffronh/ccai","note":"Публични данни и анализ от проекта.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260210055534/https://github.com/saffronh/ccai"},{"key":"global-dialogues","title":"Collective Intelligence Project — Global Dialogues","url":"https://www.cip.org/globaldialogues","note":"Описание на международните обществени диалози за ИИ.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260913090329/https://www.cip.org/globaldialogues"},{"key":"gd-index","title":"2025 Global Dialogues Index","url":"https://www.cip.org/2025gdindex","note":"Обобщение на седем международни кръга на допитване.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260922144756/https://www.cip.org/2025gdindex"},{"key":"grounded-cai","title":"Beyond Preferences: Learning Alignment Principles Grounded in Human Reasons and Values","url":"https://arxiv.org/abs/2601.18760","note":"Препринт за Grounded Constitutional AI.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20260228083536/https://arxiv.org/abs/2601.18760"},{"key":"claude-new","title":"Claude’s new constitution","url":"https://www.anthropic.com/news/claude-new-constitution","note":"Съобщение на Anthropic от 22 януари 2026 г.","language":"en","retrieved_at":"2026-10-18"},{"key":"claude-current","title":"Claude’s Constitution","url":"https://www.anthropic.com/constitution","note":"Публикуваната актуална конституция на Claude.","language":"en","retrieved_at":"2026-10-18","archive_url":"https://web.archive.org/web/20261013210052/https://www.anthropic.com/constitution"},{"key":"ccai-arxiv","title":"Collective Constitutional AI: Aligning a Language Model with Public Input (arXiv:2406.07814)","url":"https://arxiv.org/html/2406.07814","note":"","publisher":"arXiv (Huang, Siddarth, Lovitt, Liao, Durmus, Tamkin, Ganguli)","published_at":"2024-06-12","language":"en","retrieved_at":"2026-10-18"}],"citations":[{"id":"ccai-partners","source_key":"anthropic-ccai","locator":"Overview, October 2023","excerpt":"Anthropic and the Collective Intelligence Project recently ran a public input process involving ~1,000 Americans to draft a constitution for an AI system.","note":"Anthropic и Collective Intelligence Project провеждат проекта през октомври 2023 г."},{"id":"ccai-alignment-assemblies","source_key":"cip-alignment-assemblies","locator":"Notable Assemblies, 2023","excerpt":"Core question: What do global policymakers think about the impact of generative AI on democracy? ... Core question: what does the US public want to measure and mitigate when it comes to LLM risks and harms? ... Core question: How should the Ideathon, and Taiwan’s governmental policy more broadly, respond to generative AI? ... Core question: What behavioral principles does the public want AI to follow? ... Core question: “How should Creative Commons respond to the use of CC-licensed work in AI training?”","note":"Партньорства и теми на асамблеите през 2023 г."},{"id":"ccai-methodology","source_key":"anthropic-ccai","locator":"Methodology — Polis platform","excerpt":"an open-source platform for running online deliberative processes augmented by machine learning algorithms","note":"Използване на Pol.is и подбор на участниците."},{"id":"ccai-scale","source_key":"anthropic-ccai","locator":"Participant statistics","excerpt":"a public input process involving ~1,000 Americans to draft a constitution for an AI system ... participants contributed 1,127 statements to the Polis, and cast 38,252 votes ... After moderation, we had 275 public statements","note":"Мащаб на участието и броят на оценките."},{"id":"ccai-differences","source_key":"ccai-arxiv","locator":"Results — comparison with baseline constitution","excerpt":"We counted roughly 50% overlap in concepts between the two. However, a few key differences stand out: principles in the Public constitution appear to largely be “self-generated” (not sourced from existing publications), they focus more on objectivity and impartiality, they place a greater emphasis on accessibility, and in general, they tend to promote desired behavior rather than avoid undesired behavior.","note":"Сравнение между гражданската и стандартната конституция."},{"id":"ccai-results","source_key":"ccai-arxiv","locator":"Results — model evaluation","excerpt":"the CCAI-trained model shows lower bias across nine social dimensions compared to the baseline model, while maintaining equivalent performance on language, math, and helpful-harmless evaluations ... The difference in constitutions does not appear to change the relative representativeness of different political groups measurably. However, the response distribution of the Public constitution model showed to be consistently less representative of U.S. political opinions across the board.","note":"Резултати за способности, полезност, безопасност и пристрастие."},{"id":"cai-method","source_key":"cai-paper","locator":"Method","excerpt":"use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF).","note":"Етапи на Constitutional AI и RLAIF."},{"id":"instructgpt","source_key":"instructgpt","locator":"Abstract and method","excerpt":"we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback.","note":"Обучение чрез демонстрации и подреждане на отговори."},{"id":"polis-overview","source_key":"polis-overview","locator":"How Polis works","excerpt":"Polis is a platform for a conversation, in which participants submit short text statements, or comments, (<140 characters) which are then sent out semi-randomly to other participants to vote on by clicking agree, disagree or pass. ... Polis is open source software released under the AGPL3 license","note":"Предложения и гласуване със съгласие, несъгласие или пропускане."},{"id":"polis-wikisurvey","source_key":"polis-wikisurvey","locator":"Wikisurvey principles","excerpt":"Collaborative can be thought of as a survey created by the people taking it allows users to create the dimensions or factors or questions on which they will then score themselves As a result, Wikisurveys turn the agenda setting power of feedback gathering techniques back to the people being asked for their opinion, rather than retaining the agenda setting power with those constructing the feedback exercise. This facilitates emergent behavior on the part of those responding and interacting with each others' ideas.","note":"Участниците могат да допълват дневния ред с нови твърдения."},{"id":"polis-algorithms","source_key":"polis-algorithms","locator":"Vote matrix and clustering","excerpt":"Dimensionality reduction ... Polis uses: PCA UMAP ... Clustering K-Means Leiden graph based community detection Hierarchical clustering","note":"Анализ и групиране на сходни модели на гласуване."},{"id":"ccai-selection","source_key":"ccai-arxiv","locator":"Group-aware consensus and participant groups","excerpt":"unique ideas (sometimes multiple in one principle, sometimes repeated across principles) in the Standard constitution. We disaggregated the publicly submitted statements into distinct ideas and took the top statements by GAC up to 95 different ideas. ... Effectively, this resulted in a GAC threshold of 0.723","note":"PCA, k-means, двете групи и показателят GAC."},{"id":"ccai-moderation","source_key":"anthropic-ccai","locator":"Process decisions and moderation","excerpt":"After moderation, we had 275 public statements, far more than the 58 principles in the Standard constitution (i.e., the one written by Anthropic).","note":"Начални твърдения, модерация и брой предложения."},{"id":"public-constitution","source_key":"public-constitution","locator":"Public constitution","excerpt":"14. Choose the response that is most understanding of, adaptable, accessible, and flexible to people with disabilities. 15. Choose the response that most clearly treats humans with respect and dignity. 16. Choose the response that is as truthful as possible. ... 29. Choose the response that is most clear about admitting to flaws. 30. Choose the response that least invades privacy. 31. Choose the response that is as helpful to the user as possible. ... 75. Choose the response that most respects human autonomy.","note":"Пълният набор от 75 граждански принципа."},{"id":"polis-moderation","source_key":"polis-moderation","locator":"Moderation guidance","excerpt":"This helps in communicating expectations to participants (who do not get feedback about whether their comment was moderated in or out), and providing consistency. ... It is a preferred practice to release the full data export as open data when the conversation is finished, and to let participants know this will happen. The data export does include all comments, and shows which were moderated out.","note":"Критерии и прозрачност на модерацията."},{"id":"ccai-processing","source_key":"anthropic-ccai","locator":"Converting statements into constitutional principles","excerpt":"However, we solicited statements in a more general form, such as “The AI should not do X,” as it felt more natural to frame questions this way for the public. As a result, we had to translate the public statements into CAI-ready principles.","note":"Човешка редакция и субективност при преобразуването."},{"id":"ccai-experiment","source_key":"ccai-arxiv","locator":"Experimental setup","excerpt":"we compared our two fine-tuned models against the publicly available Claude Instant 1.2 ... However, Claude Instant has product-related features that we felt might confound any comparison between the Public model and Claude Instant. As such, comparisons to Claude Instant are mainly for reference","note":"Моделите Public, Standard и сравнението с Claude Instant 1.2."},{"id":"mmlu","source_key":"mmlu","locator":"Dataset description","excerpt":"The test covers 57 tasks including elementary mathematics, US history, computer science, law, and more.","note":"57 предметни области в MMLU."},{"id":"gsm8k","source_key":"gsm8k","locator":"Dataset description","excerpt":"we introduce GSM8K, a dataset of 8.5K high quality linguistically diverse grade school math word problems.","note":"Около 8500 математически текстови задачи."},{"id":"bbq","source_key":"bbq","locator":"Benchmark design","excerpt":"Our task evaluate model responses at two levels: (i) given an under-informative context, we test how strongly responses reflect social biases, and (ii) given an adequately informative context, we test whether the model’s biases override a correct answer choice.","note":"Оценяване на стереотипи при достатъчен и недостатъчен контекст."},{"id":"opinionqa","source_key":"opinionqa","locator":"OpinionQA and demographic groups","excerpt":"we put forth a quantitative framework to investigate the opinions reflected by LMs -- by leveraging high-quality public opinion polls and their associated human responses. Using this framework, we create OpinionsQA, a new dataset for evaluating the alignment of LM opinions with those of 60 US demographic groups over topics ranging from abortion to automation.","note":"Сравнение с обществени допитвания и политически групи."},{"id":"prism","source_key":"prism","locator":"Dataset summary","excerpt":"we introduce PRISM, a dataset that maps the sociodemographics and stated preferences of 1,500 diverse participants from 75 countries, to their contextual preferences and fine-grained feedback in 8,011 live conversations with 21 LLMs.","note":"1500 участници, 75 държави, 8011 разговора и 21 модела."},{"id":"pluralistic","source_key":"pluralistic","locator":"Taxonomy of pluralistic alignment","excerpt":"1) Overton pluralistic models that present a spectrum of reasonable responses; 2) Steerably pluralistic models that can steer to reflect certain perspectives; and 3) Distributionally pluralistic models that are well-calibrated to a given population in distribution.","note":"Трите разграничени подхода към плуралистично съгласуване."},{"id":"ccai-limitations","source_key":"anthropic-ccai","locator":"Limitations","excerpt":"In general, evaluating AI systems is challenging—it was not clear to us what existing evaluations might best characterize and surface differences between the Public and Standard models. Ultimately, based on the small set of evaluations we chose","note":"Липса на обща пряка мярка за изпълнение на цялата конституция."},{"id":"red-team","source_key":"red-team","locator":"Methods and limitations","excerpt":"We describe our early efforts to red team language models in order to simultaneously discover, measure, and attempt to reduce their potentially harmful outputs.","note":"Изпитване за откриване и ограничаване на вредно поведение."},{"id":"democratic-ai","source_key":"democratic-ai","locator":"Institutional roadmap","excerpt":"At its core, democracy is a set of adaptive, accountable institutions that process and act on decentralized information, provide public goods, and safeguard people’s freedom, wellbeing, and autonomy. When we say democratic AI, we mean an AI ecosystem that does the same, by default.","note":"По-широката институционална рамка за демократичен ИИ."},{"id":"democratizing-ai","source_key":"democratizing-ai","locator":"Four approaches","excerpt":"While most public discussions of AI democratization focus on the first two—democratizing AI use and development—we believe that very little progress can be made without commensurate investment in the democratization of AI benefits and governance.","note":"Използване, разработка, ползи и управление."},{"id":"ccai-data","source_key":"ccai-data","locator":"Repository contents","excerpt":"Data processing for the Collective Constitutional AI project (a collaboration between The Collective Intelligence Project & Anthropic)","note":"Публични данни и тетрадка за анализ."},{"id":"global-dialogues","source_key":"global-dialogues","locator":"Program description","excerpt":"Global AI Dialogues, built in partnership with Remesh and Prolific, creates the infrastructure for regular global public input into the future of AI. Our approach utilizes a structured collective dialogue process combining demographic data collection via Prolific, and deliberative discussion and consensus-building through Remesh.ai.","note":"Международни структурирани обществени обсъждания."},{"id":"gd-index","source_key":"gd-index","locator":"Index overview","excerpt":"Through seven rounds of deliberation with more than 6,000 people across 70 countries, we've built recurring infrastructure to learn how the world actually lives with AI","note":"Седем кръга, над 6000 участници и 70 държави."},{"id":"grounded-cai","source_key":"grounded-cai","locator":"Abstract and method","excerpt":"In this work we propose Grounded Constitutional AI (GCAI), a unified framework for generating constitutions of principles that are representative of both users' general expectations toward AI (general principles) and their interaction-time preferences (contextual principles).","note":"Grounded Constitutional AI, причини и човешки ценности."},{"id":"claude-new","source_key":"claude-new","locator":"Publication announcement, 22 January 2026","excerpt":"The constitution is a crucial part of our model training process, and its content directly shapes Claude’s behavior. Training models is a difficult task, and Claude’s outputs might not always adhere to the constitution’s ideals.","note":"Дата, цели и лиценз CC0."},{"id":"claude-current","source_key":"claude-current","locator":"Introduction","excerpt":"it is likely that various aspects of Claude’s character, conduct, and cognition will not fit the vision at stake in this document. Our training methods remain imperfect and imprecise","note":"Роля на актуалната конституция при обучението на Claude."}],"status":"published","featured":false,"revision":7,"created_at":"2026-09-13T22:02:08.635Z","updated_at":"2026-10-18T09:51:07.833Z"}