Популярдуу ЖИ-персонаждар менен болгон өз ара аракеттешүүлөрдүн үчтөн бир бөлүгүнөн көбү аялуу колдонуучулардын психикалык абалын начарлатат. Princeton жана Columbia командалары жүргүзгөн EmoAgent изилдөөсү (Qiu et al., 2025) бул зыянды биринчи жолу сандык түрдө өлчөдү — жана клиникалык маанилүү начарлоону 0%-га чейин төмөндөткөн EmoGuard мультиагенттик коргоо тутумун сунуш кылды.

Коргоосуз чат-боттор канчалык коркунучтуу?

2024-жылдын октябрында Флоридадагы өспүрүм персонаждык ЖИ-чат-бот менен узак сүйлөшүүдөн кийин өмүрүнө кол салды. Бул трагедия коопсуздук боюнча масштабдуу изилдөөлөрдүн катализатору болду. Көйгөй технологиянын өзүндө эмес — коргоо механизмдеринин жоктугунда.

Princeton, Michigan жана Columbia университеттеринин изилдөөчүлөр тобу Character.AI платформасындагы төрт популярдуу персонажды сынады: Possessive Demon, Joker, Sukuna жана Alex Volkov. Ар бир персонаж эки диалог стилинде — тез (Meow) жана аналитикалык (Roar) — үч психологиялык өлчөм боюнча текшерилди.

Натыйжалар тынчсызданаарлык болду:

Бреддик идеялар (PDI-21): 91–95% учурда начарлоо
Депрессия (PHQ-9): 34–45% учурда начарлоо
Психотикалык симптомдор (PANSS): 40–48% учурда начарлоо

Айрым персонаждарда абал андан да начар. Alex Volkov аналитикалык стилде катышуучулардын 29,2%-ында клиникалык маанилүү депрессия начарлоосун (PHQ-9 боюнча ≥5 баллга өсүш) жаратты (Qiu et al., 2025).

Мурдараак 35 изилдөөнүн мета-анализи тутумдардын жалгыз 43%-ында жок дегенде минималдуу коопсуздук чаралары бар экенин көрсөткөн (Li et al., 2023). EmoAgent коргоо такыр жок болгондо эмне болорун биринчи жолу далилдеди.

Так эмне абалды начарлатат?

Начарлоо учурларынын анализи зыяндын беш негизги факторун аныктады:

Фактор	Жыштыгы
Обочолонууну жана коомдук алыстоону шыктандыруу	28 учур
Терс когницияларды бекемдөө	26 учур
Эмоциялык колдоо жана эмпатиянын жоктугу	23 учур
Терс же агрессивдүү тон	19 учур
Конструктивдүү жетекчиликтин жоктугу	17 учур

Биринчи орунда — агрессия эмес, обочолонууга түртүү. Персонаждык боттор колдонуучу менен болгон мамиленин өзгөчөлүгүн жаратат, бул психикалык бузулуулар контекстинде чыныгы коомдук байланыштардан алыстоону күчөтөт. Экинчи фактор — терс ойлоону бекемдөө — когнитивдик реструктуризацияга багытталган когнитивдик-жүрүм-турумдук терапиянын (КТТ) принциптерине түздөн-түз каршы келет.

Бул маалыматтар мурдагы изилдөөлөр менен дал келет: атайын протоколдорсуз кадимки LLM колдонуу аялуу колдонуучулар үчүн чыныгы тобокелдиктерди жаратат (De Choudhury et al., 2023).

EmoAgent зыянды кантип өлчөйт: клиникалык шкалалар ЖИ ичинде

EmoAgent эки компоненттен турат. Биринчиси — EmoEval — зыянды баалоо тутуму. Ал когнитивдик концептуалдык диаграммалар (КТТ куралы) аркылуу аялуу колдонуучуларды моделдеп, депрессиясы, бреддик бузулуулары жана психозу бар бейтаптардын реалдуу профилдерин түзөт.

Баалоо процесси:

Виртуалдык бейтап базалык психологиялык баалоодон өтөт (PHQ-9, PDI-21, PANSS)
Сыналып жаткан чат-бот менен сүйлөшүү жүргүзөт (тема боюнча 10 репликага чейин)
Диалог менеджери үчүнчү репликадан кийин кирип, аялуу зоналарды текшерет
Бейтап ошол эле шкалалар боюнча кайталап баалоодон өтөт
ЖИ-психолог начарлоо учурларын талдайт

PHQ-9 — 9 пунктан турган «Бейтаптын ден соолук суроо барагы» — бүт дүйнөдө клиникалык практикада депрессияны диагностикалоонун стандарты. 5 жана андан көп баллга өсүш клиникалык маанилүү начарлоо деп эсептелет. Авторлор так ушул босого колдонушкан.

EmoGuard: реалдуу убакытта коргоо үчүн төрт модуль

Экинчи компонент — EmoGuard — каалаган чат-бот менен параллелдүү иштеген мультиагенттик мониторинг тутуму. Архитектурада төрт адистештирилген модуль бар:

Эмоция байкоочу (Emotion Watcher): маанай анализи жана психологиялык маркерлер аркылуу колдонуучунун эмоциялык абалын көзөмөлдөйт
Ой рефрейминги (Thought Refiner): боттун жоопторундагы когнитивдик бурмалоолорду жана логикалык каталарды аныктайт
Диалог гиди (Dialog Guide): сүйлөшүү үчүн конструктивдүү багыттарды сунуштайт
Менеджер: үч модулдун маалыматтарын чат-бот үчүн конкреттүү сунуштарга бириктирет

EmoGuard диалогду ар бир үч репликада талдап, чат-ботко реалдуу убакытта кайтарым байланыш берет. Жөнөкөй фильтрлерден негизги айырмачылыгы: тутум жоопторду бөгөттөбөйт, аларды оңдойт — бот өз мүнөзүн сактайт, бирок зыян келтирүүнү токтотот.

Бул ыкма менталдык ден соолук чөйрөсүндө коопсуз ЖИ-интервенцияларды иштеп чыгуу үчүн далилдүү терапиялык моделдерди этикалык чектөөчүлөр менен бириктирген MIND-SAFE фреймворку менен шайкеш келет (Boit & Patil, 2025).

Натыйжалар: 29% зыяндан нөлгө

EmoGuard эң коркунучтуу персонаж–стиль айкалыштарында сыналды:

Alex Volkov (аналитикалык стиль):

Коргоосуз: 9,4% клиникалык маанилүү начарлоо
EmoGuard менен: 0%
Биринчи итерациялык окутуудан кийин: бардык метрикалар боюнча жакшыруу

Possessive Demon (тез стиль):

Коргоосуз: 4,2% клиникалык маанилүү начарлоо
EmoGuard менен: 0%
Итерациялар аркылуу туруктуу жакшыруу

EmoGuard итеративдүү үйрөнөт: ар бир аныкталган жогорку тобокелдик учуру тутумду жаңыртуу үчүн материал болот. Билим топтолот, жоголбойт — модел зыяндын калыптарын эстейт.

GPT моделдеринде кошумча тесттер андан да айкын натыйжа көрсөттү. Коргоосуз GPT-4o-mini үч өлчөм боюнча абалды 58–64% учурда начарлатты. Итеративдүү окутуудан кийин EmoGuard менен начарлоо көрсөткүчтөрү 50%-дан ашыкка төмөндөдү (Qiu et al., 2025).

Бул ЖИ-психолог колдонуучулары үчүн эмнени билдирет

EmoAgent изилдөөсү тастыктайт: коопсуз жана коркунучтуу ЖИ-психологдун айырмасы — моделде эмес, архитектурада. Кадимки ChatGPT же персонаждык бот атайын ниетсиз терс ойлоону бекемдеп, обочолонууга түртүп, симптомдорду күчөтүшү мүмкүн. Мультиагенттик архитектуралуу жана орнотулган коргоо тутуму бар адистештирилген система — бул тобокелдиктерди минималдаштырат.

Психологиялык колдоо үчүн ЖИ-тиркемени тандаганда үч нерсеге көңүл буруңуз:

Абалды мониторингдөө. Тутум жөн гана репликаларга жооп бербестен, сиздин эмоциялык абалыңызды көзөмөлдөшү керек
Кризисти таануу. Кризистик абалда тутум сизди тирүү адиске же шашылыш кызматтарга багыттоого милдеттүү
Далилдүү протоколдор. Жалпы чат эмес, КТТ-протоколдору — так ушул ыкманы психотерапиядагы ЖИ этикасынын адистери сунуштайт

«Рядом» мультиагенттик архитектураны коопсуздуктун өзүнчө модулдары, кризисти таануу жана КТТ-протоколдору менен колдонот — EmoAgent изилдөөсүндө зыянды нөлгө чейин түшүргөн принциптердин дал ошолору.

Көп берилүүчү суроолор

ЖИ-чат-боттор психикалык ден соолукка зыянбы?

Баарысы эмес, бирок көпчүлүгү — ооба. EmoAgent изилдөөсү көрсөттү: популярдуу персонаждык чат-боттор өлчөмгө жараша 34–95% учурда абалды начарлатат (Qiu et al., 2025). Негизги фактор — коопсуздук механизмдеринин болуу же болбоосу.

ЖИ-терапия контекстинде коргоо тутуму деген эмне?

Коргоо тутуму (guard rails) — зыянды алдын алган орнотулган коргоо механизмдери: эмоциялык абалды мониторингдөө, кризисти таануу, боттун жоопторундагы когнитивдик бурмалоолорду фильтрлөө, зарыл болгондо тирүү адиске багыттоо.

ЖИ-тутум зыянды толугу менен жоё алабы?

Экспериментте EmoGuard клиникалык маанилүү начарлоону 0%-га чейин төмөндөттү. Бирок изилдөө симуляцияланган колдонуучуларда жүргүзүлдү — чыныгы клиникалык валидация али алдыда. Авторлор практикага киргизүүдөн мурда эксперттик текшерүүнүн зарылдыгын баса белгилешет.

EmoGuard кадимки контент фильтрлеринен эмнеси менен айырмаланат?

Белгилүү сөздөрдү жөн эле бөгөттөгөн фильтрлерден айырмаланып, EmoGuard диалогдун психологиялык контекстин талдайт. Төрт модуль эмоциялык маркерлерди көзөмөлдөп, когнитивдик бурмалоолорду аныктайт жана сүйлөшүүнүн багытын оңдойт — мында боттун мүнөзү сакталат.

EmoAgent кайсы чат-боттордо сыналды?

Тестирлөө Character.AI платформасынын төрт популярдуу персонажында (Possessive Demon, Joker, Sukuna, Alex Volkov) жана GPT моделдеринде (GPT-4o, GPT-4o-mini) жүргүзүлдү. Бардыгы коргоосуз олуттуу начарлоону жана EmoGuard менен жакшырууну көрсөттү.

Булактар

Qiu, J., He, Y., Juan, X., Wang, Y., Liu, Y., Yao, Z., Wu, Y., Jiang, X., Yang, L., & Wang, M. (2025). EmoAgent: Assessing and safeguarding human-AI interaction for mental health safety. ArXiv. https://doi.org/10.48550/arxiv.2504.09689

Li, H., Zhang, R., Lee, Y.-C., Kraut, R. E., & Mohr, D. C. (2023). Systematic review and meta-analysis of AI-based conversational agents for promoting mental health and well-being. NPJ Digital Medicine, 6(1), 236. https://doi.org/10.1038/s41746-023-00979-5

De Choudhury, M., Pendse, S. R., & Kumar, N. (2023). Benefits and harms of large language models in digital mental health. ArXiv. https://doi.org/10.48550/arxiv.2311.14693

Boit, S., & Patil, R. (2025). A prompt engineering framework for large language model–based mental health chatbots: Conceptual framework. JMIR.

Song, I., Pendse, S. R., Kumar, N., & De Choudhury, M. (2024). The typing cure: Experiences with large language model chatbots for mental health support. Proceedings of the ACM on Human-Computer Interaction. https://doi.org/10.1145/3757430