Власти выделят ₽1,6 млрд на выявление социально опасных учащихся

Как должна работать программа по анализу письменных работ

Структура Росмолодежи, созданная по поручению Путина, может получить более 1,5 млрд руб. на создание системы по выявлению учащихся, склонных к социально опасному и деструктивному поведению, на основе анализа их письменных работ

Фото: Сергей Киселев / АГН «Москва»

Автономная некоммерческая организация «Центр изучения и сетевого мониторинга молодежной среды» (АНО «ЦИСМ»), созданная в 2018 году по поручению Владимира Путина, может получить из бюджета совокупно почти 1,6 млрд руб. на разработку системы мониторинга распространения информации, которая может склонить или побудить детей «совершить действия, представляющие угрозу их жизни» или жизни и здоровью других. Это следует из пояснительной записки к проекту трехлетнего бюджета, с которой ознакомился РБК.

Деньги для АНО планируется выделить в рамках федерального проекта «Социальная активность», ответственность за исполнение которого лежит на Федеральном агентстве по делам молодежи (Росмолодежь). Центр получит по 551,1 млн руб. в 2022–2023 годах и 555,7 млн руб. в 2024-м. В проекте пояснительной записки к бюджету уточняется, что эти средства пойдут на разработку программного обеспечения для анализа письменных работ учащихся и выявления «склонности к социально опасному и деструктивному поведению». Исходя из данных Федерального казначейства, с которыми ознакомился РБК, ЦИСМ в 2021 году уже были выделены почти 245 млн руб. из резервного фонда президента на создание этого программного обеспечения, однако они еще не перечислены.

О каком центре идет речь

О Центре изучения и сетевого мониторинга молодежной среды стало известно в 2019 году. Тогда Минобрнауки и Росмолодежь предлагали выделить ему более 600 млн руб. на три года на поиск угрожающей жизни и здоровью детей информации, распространяемой в интернете. АНО было учреждено по поручению президента России, его возглавил Денис Заварзин, бывший помощник главы Росмолодежи Александра Бугаева. Бугаев с весны 2021 года занимает пост первого заместителя министра просвещения.

Задача ЦИСМ — выявлять контент, связанный с суицидальными проявлениями, кибербуллингом, распространением криминальной субкультуры и другими деструктивными тенденциями, согласно официальному сайту АНО. В недавнем интервью Forbes Заварзин оценил число аккаунтов в соцсетях, которые «хотя бы один раз касались» деструктивного контента, в 61 млн, уточнив, что за одним человеком может стоять сразу несколько таких аккаунтов.

Работу системы ЦИСМ он описывает следующим образом: в базу нейросетевого комплекса попадают разные аккаунты с суицидальным, депрессивным и другим подобным контентом, в автоматическом режиме система наблюдает за активностью таких страниц. Если активность увеличивается, аккаунт попадает в «красную зону», и операторы более детально разбирают профили, анализируют их и передают информацию в профильные службы «для организации профилактической работы» с их владельцами, если речь идет о суицидальной активности, либо в правоохранительные органы, если центр обнаруживает признаки подготовки преступления.

Финансирование всего федерального проекта «Социальная активность» предлагается значительно увеличить по сравнению с текущим бюджетным периодом: в 2022 году более чем в два раза (17,5 млрд руб. вместо плановых 6,5 млрд), в 2023-м практически в три раза — 12,5 млрд руб. вместо 4,5 млрд, в 2024-м также более чем в два раза — 11,7 млрд руб. вместо 4,6 млрд руб. по плану.

На момент написания материала в Росмолодежи не ответили на запрос РБК о том, как будет работать программа по анализу письменных работ, как организуется защита персональных данных несовершеннолетних и будет ли информация об учащихся направляться в правоохранительные органы. Глава ЦИСМ Денис Заварзин не ответил на звонки РБК.

rbc.group

Как может работать алгоритм

В основе системы по анализу письменных работ может лежать нейросеть, обученная на большом количестве образов текстов, написанных людьми с психическими или социальными отклонениями, предположил в беседе с РБК руководитель Liquid Studio Accenture в России Арсений Кондратьев. Изучив такие тексты, программа сможет распознавать паттерны, анализируя образцы письменных работ. Работы с высоким процентом совпадения паттерна могут маркироваться соответствующим образом, говорит эксперт.

При этом тексты, на которых нейросеть будет обучаться, могут различаться по тематике и быть написаны разными людьми, но они должны быть грамотно «размечены» специалистами, говорит разработчик поисково-аналитической системы Avalanche Андрей Масалович. То есть специалисты-психологи должны указать разработчикам системы, какие именно слова и паттерны в тексте обычно указывают на девиантное поведение. Масалович согласен, что нужно провести масштабную работу, чтобы нейросеть стала грамотно распознавать поведенческие отклонения.

При этом разработчикам программного обеспечения для анализа работ учащихся на деструктивное поведение предстоит определиться, будут ли они переводить рукописный текст в машинописный или нет. «В рукописном тексте можно было бы проанализировать не только семантику, но и оценить почерк, понять индивидуальные особенности человека и таким образом распознать потенциальную склонность к тем или иным отклонениям», — отмечает эксперт.

Доктор психологических наук, академик Российской академии образования (РАО) Сергей Малых отмечает, что искусственный интеллект действительно способен реагировать на слова-маркеры, которым его обучат, но важно также и распознавание контекста. «Чтобы понять, как связано написанное ребенком с его состоянием, нужно проводить отдельное поведенческое исследование. Только на основании текста нельзя делать выводы о склонностях к преступлениям или суициду», — предупреждает Малых.

Стрельба в школах

Глава ЦИСМ Денис Заварзин отмечает, что центр начал работу в 2018 году, когда произошло нападение студента политехнического колледжа в Керчи Владислава Рослякова на сокурсников. Тогда во время устроенной им стрельбы погиб 21 человек, пострадали более 50. Следственный комитет первоначально завел уголовное дело по статье «Теракт», которое позже было переквалифицировано в дело об убийстве двух и более лиц (ч. 2 ст. 105 УК, пожизненное лишение свободы).

В мае 2021 года Ильназ Галявиев устроил взрыв и открыл стрельбу в гимназии № 175 в Казани, убив девять человек, еще 24 пострадали. СК также возбудил дело по статье «Убийство двух и более лиц».

20 сентября 2021 года Тимур Бекмансуров открыл огонь в кампусе Пермского государственного научного исследовательского университета (ПГНИУ). В результате погибли шесть человек, 24 пострадали. Следственный комитет также завел дело по статье об убийстве двух и более лиц.

Председатель комитета Госдумы по информационной политике Александр Хинштейн в своем Telegram-канале после инцидента в Перми отметил, что первокурсник Бекмансуров приобрел оружие легально, до вступления в силу закона об ужесточении медосмотра к кандидатам на получение оружия.

В мае этого года в Госдуму был внесен законопроект, который предусматривал запрет на покупку и использование оружия без медосвидетельствования на наличие противопоказаний. По версии авторов, он должен усилить контроль за оборотом гражданского оружия.

Как должна быть обеспечена защита персональных данных

Опрошенные РБК эксперты говорят, что, если речь пойдет об оценке текстов несовершеннолетних, сбор и обработка данных возможна только с согласия их законного представителя — родителя или опекуна.

Тексты учащихся в таком случае должны быть обезличены, поясняет Масалович, а подростку должен присваиваться индивидуальный идентификатор, который может декодировать только доверенная служба разработчиков программного обеспечения, например в системе правоохранительных органов. В случае утечки данных ответственность за это будет нести именно такая служба, говорит он.

Сама программа и база данных должны быть созданы на основании государственной информационной системы, которая должна быть аттестована в ФСБ и ФСТЭК (Федеральная служба по техническому и экспортному контролю), считает директор АНО «Инфокультура» Иван Бегтин. «Создание такой системы на базе некоммерческой организации, пусть и с госучастием, — сомнительное мероприятие, так как неясно, как будет обеспечиваться защита и сохранность данных несовершеннолетних», — говорит Бегтин. Он также отмечает, что принципиальную важность имеет настройка системы на ключевые слова. «Если ученик напишет не о своих суицидальных, а об оппозиционных настроениях его родителей, будет ли это трактоваться как отклонение от нормы?» — задается вопросом эксперт.