закон об искусственном интеллекте в москве что это такое
Московский эксперимент
Если кто-то считал, что в современном мире слишком много свободы, то 2020 год доказал, что этой эпохе пришел конец. Приличная часть планеты сегодня находится в руках маньяков контроля, которые дорвались до почти безграничной власти. Эти люди не были замечены в бескорыстном служении обществу, но раньше они заполняли свою внутреннюю пустоту материальными вещами: шубами, часами, недвижимостью, наличными. Теперь они поняли, что получили власть отдавать любые распоряжения, самые безумные, и в господствующей атмосфере страха люди, которые ещё вчера могли рассуждать здраво, им подчинятся.
В каждой стране абсурд (если это абсурд) принимает разные формы. Например, мэр Нью-Йорка Билл Де Блазио запретил людям купаться — пригрозил, что нарушителей будут силой вытаскивать из воды. Через неделю объявил о смягчении запрета — теперь людям позволяется заходить в воду по щиколотку. Но ни миллиметром больше! Лос-Анджелесский мэр запретил людям гулять по сухому песку, а по мокрому, так и быть, разрешил. На острове Лонг-Айленд рядом с Нью-Йорком власти опубликовали подробное предписание, как теперь следует играть в теннис. Только поодиночке и не касаясь чужих мячей! Нарушителей подстерегают камеры наблюдения и искусственный интеллект.
Знакомьтесь: концлагерь
В нашей избушке — свои погремушки. Многие москвичи столкнулись с приложением «социальный мониторинг» — произведением Департамента информационных технологий столичной мэрии. При выписке из больниц пациентов с диагнозом коронавирус заставляют подписать «добровольное согласие» на установку этого приложения. Этим людям не до формальностей, они верят врачам и подпишут любую бумагу, данную им, не читая. Многие из них слишком слабы после болезни — ведь от вируса, в первую очередь, страдают старики, люди с осложнениями, больные хроническими заболеваниями. Многих выписывают на дом долечиваться от последствий, например, с обширным поражением лёгких. Людям дают на подпись две страницы убористого текста с жёсткими обязательствами и, по сути, с отказом от элементарных конституционных прав, — отказом, который получен у ослабевших людей путём принуждения. Некоторые из них всё-таки читают и даже пытаются отказаться подписать «добровольное согласие», но им говорят, что в таком случае их отправят на принудительное лечение. Никто не гарантирует, что в палате, куда их поместят, не будет тяжелобольных — причём не только коронавирусом, а, например, туберкулёзом.
В России пока ещё можно ходить по мокрому песку, но контроль не ограничивается одним московским приложением. По всей России работает система распознавания лиц. Некоторые думают, что она ничем не грозит тем, кто соблюдает законы. Эти люди забывают, что по факту действует презумпция виновности каждого. Недавно в Южно-Сахалинске женщину, которая приехала из другого города и должна была две недели отсидеть дома, оштрафовали на 15 тысяч рублей за то, что она якобы нарушила условия карантина. Нейронная сеть установила с вероятностью 61%, что она вышла в город. Когда женщине пришёл штраф, она пошла в полицию доказывать, что была в кругу семьи. Полицейский пригляделся к фото «нарушительницы», выданном системой распознавания лиц, и подтвердил, что не очень похоже. Но алгоритм показал, что это она, а если нейросеть выдаёт более 50% вероятности, то факт считается установленным. Женщина обратилась в суд, но тот принял сторону алгоритма. Штраф остался в силе.
В России нет прецедентного права, но, в отсутствие чёткого регулирования и при склонности местных властей к произволу и перекладыванию ответственности в споре человека с алгоритмом, человек всегда останется в проигрыше. Ибо человек по определению виновен, а алгоритм по определению прав. Бесправие человека в споре с алгоритмом — очень важная составная часть «цифрового концлагеря», который создается сейчас в глобальном масштабе.
Новые полномочия мэра Москвы
Много говорилось о том, как быстро был принят Федеральный закон о едином реестре персональных данных, но ФЗ-123 о спецрегулировании искусственного интеллекта прошёл ещё более молниеносно. 14 апреля он был одобрен Госдумой, через три дня — Советом Федерации, а ещё через неделю, 24 апреля, его подписал президент. Всё это происходило в блиц-режиме, без какого бы то ни было обсуждения, о принятии этого сырого и противоречивого закона практически не упоминалось в СМИ — словно речь идёт об инструкции по эксплутации утюга.
Этот закон дает мэрии Москвы очень широкие полномочия — гораздо шире тех, которыми Сергей Собянин пользовался и пользуется при карантине. Если мэр дотянет с ограничениями гражданских свобод до 1 июля, ввод в действие ФЗ-123 позволит ему не сбавлять обороты в получении всё новых полномочий, которые выходят далеко за региональный уровень.
Итак, полномочия властям Москвы даются с 1 июля на пять лет, и касаются сбора и распространения информации, разработки и внедрения в жизнь систем искусственного интеллекта. Речь, в частности, идёт о создании комплексной программы «Умный город», которая, по словам Сергея Собянина, «охватывала бы все стороны нашей жизни». На сайте правительства Москвы был вывешен большой документ объёмом более чем в сто страниц со списком направлений развития инфраструктуры искусственного интеллекта и сопряжённых с ним технологий. В ней говорилось, например, о введении обязательных биометрических паспортов и о сборе огромного массива других данных. Заявленная цель, согласно документу — «предоставление услуг с высокой степенью персонализации и детальным пониманием нужд пользователей на основе анализа данных о них, об их предпочтениях и желаниях, а также данных об окружающей пользователей среде, полученных с помощью устройств интернета вещей».
О чем здесь идёт речь? В первую очередь, о поведенческой аналитике и о предсказании поведения граждан по данным, которые будут собираться с них постоянно, — например, такими устройствами, как упомянутый выше «социальный мониторинг». Степень обязательности сбора данных пока остаётся под вопросом, но, судя по тому, что во время карантина мэрия ничуть не останавливалась перед принуждением, штрафами и угрозами, можно предположить, что стиль сбора поведенческих данных будет именно таким: агрессивно-принудительным.
В списке медицинских технологий, над активным внедрением которых собирается работать правительство Москвы, числится, согласно документу, «ранняя диагностика заболеваний с помощью ИИ и назначение лечения», «контроль за состоянием пациента», «трансплантация искусственных органов», а также «вживление в организм медицинских устройств». Тем, кто обвиняет Никиту Михалкова в конспирологии, стоило бы обратить внимание на последнюю фразу. При этом за основу правительство Москвы принимает на вооружение руководящие принципы трансгуманизма, об этом в концепции говорится прямо. Под трансгуманизмом мэрия Москвы полагает «концепции и использование достижений науки и технологии для улучшения умственных и физических возможностей человека с целью устранения аспектов человеческого существования, которые считаются нежелательными — страданий, болезней, старения». Что именно мэрия намерена устранять путём привычных запретов, слежки, окриков и штрафов: старение или стариков? Вопрос остаётся открытым.
Для нормального функционирования системе нужны будут абсолютно все данные, которые можно получить. Здесь очень важны не только информация о поведении человека онлайн, но и данные о нём после того, как он вышел из интернета. Поэтому огромное значение имеет биометрия, геодата, данные, собранные со всяческих медицинских датчиков и «приложений здоровья», а также распознавание лиц, эмоций и мотиваций. В последние годы в мире активно рос рынок автоматического распознавания эмоций, основанный на системе Пола Экмана FACS (Facial Action Coding System). Система распознаёт шесть базовых эмоций (гнев, страх, печаль, радость, отвращение и удивление) и широкий диапазон других эмоциональных оттенков, считывая микродвижения мускулов лица, а также головы, глаз, языка и так далее, а также анализируя походку человека. Модель FACS стала для распознавания машиной эмоций тем же, чем пятифакторная модель OCEAN, которая используется для построения в социальных сетях типа Facebook моделей человеческой личности и цифровых профилей пользователей.
На основе таких моделей, которые позволяют сказать о человеке порой больше, чем он знает о себе сам, уже сейчас компании принимают решения, например, о приёме на работу, об отказе или согласии дать кредит. Когда система сбора и анализа поведенческих данных заработает в масштабах Москвы, метаданные и поведенческие данные, как родителей, так и ребёнка, могут быть учтены, например, при решении о приёме в детский сад или школу. Это касается также принятия решений о штрафах, о назначении пособий, удовлетворении или отклонении жалоб, приёме на работу в госучреждение и так далее. Известный российский предприниматель Давид Ян сделал состояние на системах искусственного интеллекта для распознавании речи, машинного перевода. Сейчас он предлагает компаниям услуги по «трекингу» сотрудников — то есть слежке за ними. Стартап Давида Яна Yva «предсказывает увольнение сотрудника ещё до того, как он принял решение уволиться». Вот как он рассказывал об этом в одном интервью: «К нам пришли наши корпоративные пользователи и сказали: вы понимаете про наших сотрудников и это, и это, а можете ли понять, кто с кем дружит. Мы: вообще не вопрос, мы знаем весь граф коммуникаций… Когда сотрудник начинает выгорать, его коммуникативный профиль меняется».
Это раньше при приёме на работу или увольнении человек оценивал человека. Московский эксперимент по внедрению искусственного интеллекта приведёт к тому, что решения будет принимать машина, базируясь на пятифакторной модели оценки личности или на шестифакторной модели оценки эмоций, на данных, полученных из соцсетей и всевозможных датчиков. И машина будет всегда права.
Пример действующей системы наподобие той, которую стремится построить мэрия, — «предсказательный двигатель» Фейсбука, который построен на платформе искусственного интеллекта и на выходе даёт более 6 миллионов предсказаний ежесекундно. На входы «двигателя» ежедневно поступают триллионы точек данных: о локации, деталях сети вайфай и подключённых к нему устройств, данные с видео, аудио, анализ дружб и контактов и так далее. Эти точки данных обучают тысячи моделей, задействованных для выработки предсказаний в режиме реального времени.
Один из множества сервисов, которые обслуживает «двигатель», — «предсказание лояльности». Анализируется поведение с целью сделать вывод о том, может ли человек в ближайшем или в отдалённом будущем изменить запрошенному бренду. Если да, то он или она находится в группе риска, и рекламодатели начинают осаждать этого человека рекламными посланиями. Есть технологии, основанные на анализе больших данных, которые предвосхищают поведение заказчика. Когда в документе московского правительства говорится о «детальном понимании нужд пользователей на основе анализа данных», имеется в виду именно это.
Чем ещё будет заниматься московское правительство в рамках проекта «Умный город 2030»? Например, беспилотным транспортом — где «водитель контролирует, но не управляет». «Улучшением дорожной ситуации за счёт уменьшения числа автомобилей». «Изменением качества и содержания образования: цифровой учитель на базе искусственного интеллекта, образовательные онлайн-платформы на базе виртуальной, дополненной и смешанной реальности». Планируется также повсеместное применение роботизированной техники и дронов. Ну, и «вишенкой на торте» станет электронное голосование на городских выборах. Насколько открыто и прозрачно будет проходить разработка такой системы? Судя по тому, что это никак не афишируется, о настоящих целях её создания можно только гадать.
Город, управляемый бигдатой
К 2030 году Москва должна стать «городом, управляемым данными», то есть принятие решений будет происходить «на основе автоматической обработки и анализа накопленных больших данных». Это требует «обеспечения надёжного и эффективного взаимодействия множества городских датчиков». Будет активно проводиться «автоматизация и роботизация городских процессов». Предстоит «полностью заменить весь физический оборот документов цифровым».
Зачем это делается? В том числе — для «аутсорсинга ответственности». Ведь раньше люди подавали заявления и жалобы в письменном виде, и они рассматривались людьми. Теперь же заявления будут цифровыми, причём не просто цифровыми, а пригодными для обработки системами искусственного интеллекта. Ваше заявление или вашу жалобу рассмотрит нейросеть, она же примет решение, примерно как это происходит с соцмониторингом или с опознаванием лиц при помощи тех же систем искусственного интеллекта. А теперь самое, пожалуй, главное. В ФЗ-123 об эксперименте по развитию искусственного интеллекта в городе Москве никак не прописан механизм защиты людей от каких-либо ошибок или ущерба, могущего возникнуть в результате слишком активного применения новых технологий. Есть несколько ссылок на существующие законы РФ; пишется, что результатом применения экспериментального правового режима не может быть умаление прав граждан, но при этом никаких конкретных механизмов контроля не прописывается. Куда обращаться в случае нарушения ваших прав?
Что делать, если дрон залетел к вам в окно и разбил мебель? Что, если автомобиль-беспилотник, который находится под охраной ФЗ-123 в рамках эксперимента и специального режима, разбил вашу машину или сбил человека? Что, если вашего ребенка отказались принять в школу, в детский сад, или вам выписали штраф за правонарушение, которого вы не совершали? Что, если машина отказалась удовлетворить вашу жалобу на её же решение?
Фактически все полномочия в применении ФЗ-123 передаются мэрии, а мэрия отдаст это на откуп искусственному интеллекту, машине, — как это уже сейчас происходит в случае «соцмониторинга». Мы видим, как не торопятся власти реагировать на жалобы москвичей, затронутых «соцмониторингом», и это происходит ещё до введения ФЗ-123, который даст мэрии все права в интерпретации этого и других законов. Что будет в приоритете мэрии: защита прав людей или интересы бизнеса и власти? Вопрос риторический…
Есть ещё один важный момент. В федеральном законе 123 много раз используется выражение «обезличенные данные», «персональные данные, получаемые в результате обезличивания». При этом нигде не прописывается, как именно происходит обезличивание и кто будет контролировать эти процессы.
Под обезличиванием обычно понимают действия, в результате которых становится невозможным без использования дополнительной информации определить их принадлежность конкретному субъекту персональных данных. Иными словами, данные остаются в системе, при этом невозможно более определить, кому они принадлежат. Однако эта задача и раньше считалась очень сложной, а прогресс технологий в последние годы привёл к тому, что можно сказать: «обезличивание» вряд ли приведёт к искомому результату.
В 2012 году очень известные кембриджские ученые Михал Косински и Дэвид Ситвелл опубликовали академическую работу, в которой заключили, что «личность пользователя можно идентифицировать через публично доступные данные». На основе этих данных Ситвелл, замдиректора Центра психометрии Кембриджа, создал базу данных myPersonality. Похожие технологии, позволяющие определить личность человека на основе открытых данных, впоследствии получили широкое распространение. Так, в 2016 году другие британские учёные смогли установить личность известного анонимного художника Бэнкси, который всеми силами стремился остаться инкогнито.
Вопрос о том, как будет происходить так называемое «обезличивание» данных, декларируемое в законе, и будет ли оно в реальности происходить, остаётся открытым. В самом тексте закона никаких пояснений нет.
Опасные игры
Федеральный закон 123 нигде и никем не обсуждался. Я думаю, если спросить у депутатов Думы, которые за него голосовали, они вряд ли открывали его. Интересно, что закон предусматривает создание некоего регулирующего органа с очень широкими полномочиями, который называется «координационный совет экспериментального правового режима». Его состав утверждается мэрией Москвы при согласовании с правительством РФ. Ни слова при этом не говорится о представителях общественности и вообще о каком-то обеспечении гласности работы этого органа, который будет решать судьбы миллионов людей.
Впрочем, какое-то представление о принципах работы этого органа может дать любопытный документ, попавший недавно в руки автору этих строк. Это пока не закон, а проект, разрабатываемый юристами под руководством Сбербанка. Надо сказать, Сбербанк стоит у истоков разработки «Концепции о развитии искусственного интеллекта в России до 2030 года», подписанной президентом в октябре 2019 года, и других важных документов.
Согласно этой разрабатываемой «Концепции развития регулирования в сфере технологий искусственного интеллекта и робототехники до 2024 года», «развитие технологий ИИ и РТ должно основываться на базовых этических нормах и предусматривать:
— приоритет благополучия человека (цель обеспечения благополучия человека должна преобладать над иными целями разработки и применения систем ИИ и РТ);
— запрет на причинение вреда человеку по инициативе систем ИИ и РТ (по общему правилу, следует ограничивать разработку, оборот и применение систем ИИ и РТ, способных по своей инициативе целенаправленно причинять вред человеку);
— подконтрольность человеку (в той мере, в которой это возможно с учётом требуемой степени автономности систем ИИ и РТ и иных обстоятельств);
— проектируемое соответствие закону, в том числе — требованиям безопасности (применение систем ИИ не должно заведомо для разработчика приводить к нарушению правовых норм)».
В этих пунктах самое важное содержится в скобках. Это оговорки, которые фактически освобождают разработчиков систем с искусственным интеллектом от ответственности — ибо проводится в жизнь принцип, что человек в случае ущерба должен доказывать злой умысел алгоритма.
Алгоритм — это машина, стоящая по ту сторону добра и зла. И если эти принципы получат законодательное воплощение, человек в спорах с алгоритмами всегда будет неправ. А, как мы помним, в Москве по факту действует презумпция виновности.
Так что с 1 июля 2020 года жизнь — сначала москвичей, а потом и всех остальных граждан России — уже никогда не будет прежней.
От редакции.
С 21 мая текст программы «Умный город 2030» без объяснения причин удалён с официального сайта мэра Москвы mos.ru. Что стоит за этим: отказ от данной программы, нежелание дальнейшего роста «критической массы» отзывов, или отправка документа «на доработку» — покажет время.
Нажмите «Подписаться на канал», чтобы читать «Завтра» в ленте «Яндекса»
Федеральный закон от 24.04.2020 г. № 123-ФЗ
РОССИЙСКАЯ ФЕДЕРАЦИЯ
ФЕДЕРАЛЬНЫЙ ЗАКОН
Принят Государственной Думой 14 апреля 2020 года
Одобрен Советом Федерации 17 апреля 2020 года
Статья 1. Общие положения
2. Настоящий Федеральный закон определяет цели, задачи и основные принципы установления экспериментального правового режима, а также регулирует отношения, возникающие в связи с установлением экспериментального правового режима.
5. Результатом установления экспериментального правового режима не может быть ограничение конституционных прав и свобод граждан, введение для них дополнительных обязанностей, нарушение единства экономического пространства на территории Российской Федерации или иное умаление гарантий защиты прав граждан и юридических лиц, предусмотренных Конституцией Российской Федерации, федеральными конституционными законами, федеральными законами, указами Президента Российской Федерации, постановлениями Правительства Российской Федерации и принятыми в соответствии с ними иными нормативными правовыми актами Российской Федерации.
Статья 2. Основные понятия, используемые в настоящем Федеральном законе
1. Для целей настоящего Федерального закона используются следующие основные понятия:
2. Другие понятия используются в настоящем Федеральном законе в том же значении, что и в Федеральном законе от 27 июля 2006 года № 149-ФЗ «Об информации, информационных технологиях и о защите информации», Федеральном законе от 27 июля 2006 года № 152-ФЗ «О персональных данных», если иное не предусмотрено настоящим Федеральным законом.
Статья 3. Цели, задачи и основные принципы установления экспериментального правового режима
1. Целями установления экспериментального правового режима являются:
1) обеспечение повышения качества жизни населения;
2) повышение эффективности государственного или муниципального управления;
3) повышение эффективности деятельности хозяйствующих субъектов в ходе внедрения технологий искусственного интеллекта;
4) формирование комплексной системы регулирования общественных отношений, возникающих в связи с развитием и использованием технологий искусственного интеллекта, по результатам установления экспериментального правового режима.
2. Задачами установления экспериментального правового режима являются:
1) создание благоприятных правовых условий развития технологий искусственного интеллекта;
3) оценка эффективности и результативности установления специального регулирования по результатам установления экспериментального правового режима.
3. Основными принципами установления экспериментального правового режима являются:
1) прозрачность экспериментального правового режима;
2) защита прав и свобод человека и гражданина, обеспечение безопасности личности, общества и государства;
3) недискриминационный доступ к результатам применения искусственного интеллекта.
1) условия и (или) порядок разработки, создания, внедрения, реализации, оборота отдельных технологий искусственного интеллекта и (или) производства, реализации, оборота отдельных товаров (работ, услуг) на основе указанных технологий, а также требования к указанным технологиям и (или) товарам (работам, услугам);
2) случаи и порядок использования результатов применения искусственного интеллекта;
4) уполномоченный орган;
6) по согласованию с уполномоченным федеральным органом исполнительной власти, осуществляющим функции по выработке и реализации государственной политики и нормативно-правовому регулированию в сфере информационных технологий, порядок и условия обработки участниками экспериментального правового режима персональных данных, полученных в результате обезличивания, на основании соглашений с уполномоченным органом, а также требования к таким соглашениям.
5. Требования к соглашениям между участниками экспериментального правового режима и уполномоченным органом, предусмотренные пунктом 6 части 1 настоящей статьи, должны предусматривать механизмы обеспечения конфиденциальности передаваемых данных и безопасности их хранения.
Статья 5. Приобретение статуса участника экспериментального правового режима
1. Лицо приобретает статус участника экспериментального правового режима со дня включения в реестр участников экспериментального правового режима, который ведется уполномоченным органом. Уполномоченный орган обеспечивает доступность реестра участников экспериментального правового режима для ознакомления с ним неопределенного круга лиц посредством публикации указанного реестра на сайте уполномоченного органа в информационно-телекоммуникационной сети «Интернет».
2. Уполномоченный орган включает лицо в реестр участников экспериментального правового режима на основании заявки, в которой содержатся следующие сведения:
1) полное наименование юридического лица или фамилия, имя и (при наличии) отчество индивидуального предпринимателя;
2) вид (виды) деятельности, который заявитель планирует осуществлять в рамках экспериментального правового режима;
3) целевые показатели или результаты, которые заявитель планирует достичь в результате участия в эксперименте, и ожидаемые сроки их достижения, которые не могут превышать срок, указанный в части 3 статьи 1 настоящего Федерального закона;
4) номера телефона, факса, адрес электронной почты заявителя;
5) фамилия, имя и (при наличии) отчество представителя заявителя, его номера телефона, факса, адрес электронной почты.
3. По итогам рассмотрения указанной в части 2 настоящей статьи заявки уполномоченный орган в срок не более тридцати календарных дней со дня получения такой заявки принимает одно из следующих решений:
1) о включении заявителя в реестр участников экспериментального правового режима;
2) об отказе во включении заявителя в реестр участников экспериментального правового режима.
4. Статус участника экспериментального правового режима предоставляется заявителю, соответствующему следующим требованиям:
2) заявитель осуществляет или планирует осуществлять деятельность по разработке, созданию, внедрению, реализации или обороту технологий искусственного интеллекта и (или) производству, реализации или обороту отдельных товаров (работ, услуг) на основе указанных технологий;
5. К указанной в части 2 настоящей статьи заявке прилагаются документы, которые подтверждают соответствие заявителя требованиям части 4 настоящей статьи и перечень которых утверждается уполномоченным органом.
6. Уполномоченный орган отказывает заявителю во включении в реестр участников экспериментального правового режима в случае:
1) несоответствия заявки требованиям, установленным настоящим Федеральным законом;
2) непредставления документов, которые подтверждают соответствие заявителя требованиям части 4 настоящей статьи;
3) подачи заявки ненадлежащим лицом.
7. В случае отказа во включении в реестр участников экспериментального правового режима уполномоченный орган уведомляет об этом заявителя с мотивированным обоснованием такого отказа.
8. Основанием для исключения участника экспериментального правового режима из реестра участников экспериментального правового режима является:
1) заявление участника экспериментального правового режима об исключении из реестра участников экспериментального правового режима;
3) предоставление участником экспериментального правового режима заведомо недостоверных сведений при приобретении им статуса участника экспериментального правового режима;
4) прекращение соответствия участника экспериментального правового режима требованиям пункта 1 части 4 настоящей статьи;
5) нарушение участником экспериментального правового режима требований настоящего Федерального закона и принятых в соответствии с ним иных нормативных правовых актов.
9. Уполномоченный орган вносит запись об исключении сведений об участнике экспериментального правового режима из реестра участников экспериментального правового режима в течение десяти рабочих дней со дня регистрации уполномоченным органом поступившего от участника экспериментального правового режима заявления об исключении его из указанного реестра.
10. Порядок направления и рассмотрения заявки о включении в реестр участников экспериментального правового режима и ее форма устанавливаются уполномоченным органом.
Статья 6. Координационный совет экспериментального правового режима
1. В целях формирования стратегических направлений совершенствования механизмов экспериментального правового режима, в том числе мониторинга экспериментального правово