Китайский файрвол что это

Краткая история ИБ в Китае: как возводили Великий китайский файрвол

В этом году исполняется 20 лет с момента зарождения идеи фильтрации контента в интернете Китая. Сейчас эта технология известна всему миру под названием «Великий китайский файрвол».

В прошлой статье мы уже затронули регулирование сферы ИБ Китая. Теперь разберемся с историей «Великого брандмауэра», который воплощает собой политику кибербезопасности страны.

Как все начиналось

Интернет начал распространяться по азиатским странам в начале 80-х. Им пользовалось в основном научное сообщество, китайского веба еще не было, как и систем фильтрации контента.

В 1987 году (по другим сведениям, в 1986-м) двое китайских ученых через простую почтовую систему того времени отправили своим европейским коллегам первое электронное сообщение из страны: «Через Великую китайскую стену мы сможем достичь всех уголков мира».

В том же году Национальный исследовательский центр интеллектуальных вычислительных систем запустил первую в Китае электронную доску объявлений — Dawn BBS. Тогда же национальное издание China Daily запустило свой сайт, на котором цитировалось международное агенство Reuters (сейчас запрещено в стране).

Как и во многих других странах мира, одними из первых пользователей интернета стали ученые, члены университетского сообщества — они налаживали связь между филиалами и обменивались знаниями. В 1995 году один из двух на тот момент телеком-операторов в стране начал строить сетевую инфраструктуру для обычных граждан. Уже в следующем году первым пользователям стал доступен первый коммерческий сайт Китая.

На первом этапе развития интернета в стране не существовало четких рамок и правил в контроле контента. Проникновение интернета было минимальным, а сама технология рассматривалась как часть политики «открытых дверей» — процесса получения и адаптации западных знаний для реформирования национальной экономики.

Проект «Золотой щит»

В 1996 году в Шанхае и других крупных городах стали открываться первые интернет-кафе. Все больше людей получали доступ к сети. По мере роста популярности интернета начала формироваться и необходимость в регулировании нового пространства.

В этом году Китай принял ряд временных положений для управления сетевым контентом. В основном это касалось распространения и защиты секретных сведений, ответственности владельцев инфраструктуры и обслуживания международных линий связи.

На следующий год Министерство общественной безопасности подготовило всеобъемлющие правила, которые запрещали использовать интернет для:

«Золотой щит» на первом этапе представлял собой многоуровневую систему баз данных. С помощью нее в течение первых лет работы проекта Департамент общественной безопасности упорядочил информацию о большей части жителей Китая. Одна из подсистем «Золотого щита» в последствии получила название «Великий файрвол». Она отвечала и продолжает отвечать за фильтрацию сетевого контента в соответствии с законодательством страны.

Для разработки «Золотого щита» и файрвола китайское правительство сотрудничало с целым рядом научно-исследовательских институтов и поставщиков технологий как внутри страны, так и за ее пределами. Программу «Золотого щита», а вместе с ней и «Великий китайский файрвол», официально развернули в стране в 2003 году. Он выполняет возложенные на него обязанности вот уже 15 лет — фильтрует запрещенный в Китае контент.

Как это работает

В основе работы файрвола лежит комбинация нескольких систем фильтрации контента, которые развивались поэтапно. Сначала фильтр научили блокировать только доменные имена и IP-адреса. Этот метод есть в инструментарии файрвола до сих пор, но на первом этапе он был основным. Существует пополняемый «черный список» IP-адресов нежелательных ресурсов — нарушителей закона об информационной безопасности. Этого обычно достаточно, чтобы заблокировать доступ к какому-либо сайту и перенаправить трафик в так называемый «blackhole route».

Главное преимущество этого метода фильтрации — он относительно прост в реализации и не требует особого участия со стороны интернет-провайдеров. Недостаток заключается в необходимости обновлять список IP-адресов, подлежащих блокировке. Если некий запрещенный ресурс ставил своей задачей «прорваться через файрвол», он мог добиться этого сменой IP.

На втором этапе развития файрвол эволюционировал до фильтрации контента по ключевым словам. Система анализирует контент сайтов на соответствие «национальному черному списку» ключевых слов. В случае обнаружения запрещенных сведений соединение сбрасывается.

Этот этап пришелся на конец 2000-х. Тогда же в список запрещенных ресурсов попали крупные социальные сервисы с большим количеством генерируемого пользователями контента — Facebook, Youtube, Twitter, Blogspot, Vimeo.

Постепенно пользователи научились заходить на запрещенные ресурсы в обход системы фильтрации. Они использовали для этого средства вроде VPN и Shadowsocks. Поэтому на третьем этапе развития файрвола — в 2011-2012 годах — разработчики сосредоточились на обнаружении случаев использования VPN и других инструментов для обхода блокировок. Удалось установить особенности используемых VPN протоколов, таких как IPSec, L2TP / TPSec и PPTP. Теперь «Золотой щит» может сбрасывать и VPN-соединения.

Четвертый этап для стратегии кибербезопасности стал комплексным. Система фильтрации продолжает развиваться при поддержке законодательства. Из App Store (магазина приложений Apple) летом 2017 года стали пропадать VPN-сервисы, а China Sinnet Technology — компания, управляющая облачным направлением бизнеса Amazon в Китае, — потребовала от своих клиентов прекратить пользоваться VPN. С 31 марта 2018 года в стране вступил в силу полный запрет на VPN. Это согласуется с правовым регулированием киберпространства в стране.

Помимо описанных выше возможностей «Великий файрвол» способен:

Кого блокируют

Есть достаточно обширные списки запрещенных сайтов в Китае, а также сервисы, с помощью которых можно проверить, заблокирован ли доступ к тому или иному ресурсу. Местная поисковая система Baidu с прошлого года сообщает пользователям состояние того или иного сайта и анализирует, отвечает ли запрашиваемый ресурс нормам закона об информационной безопасности.

Большинство крупных международных социальных сетей, поисковых систем, видеохостингов, мессенджеров, стриминговых сервисов находятся «за Великим китайским файрволом». Пользоваться ими, находясь в Китае, нельзя — получить доступ без средств для обхода блокировки невозможно. Однако, у многих заблокированных ресурсов есть разрешенные локальные аналоги — Sina Weibo вместо Twitter, Youku вместо YouTube, Renren вместо Facebook. Ряд новостных сайтов, таких как The New York Times и Bloomberg, также запрещен в стране.

Многие из перечисленных платформ — в основном социальные сети — нарушают положения закона, предоставляя возможность пользователям самим оставлять комментарии. По этой причине, например, уже несколько раз блокировался доступ к Wikipedia. Сейчас в Китае собираются создать собственную версию энциклопедии, которую смогут модерировать только представители государственных университетов.

Некоторые сервисы блокируются на длительный срок — Facebook, YouTube и Twitter недоступны уже 9 лет. Другие — временно, например, WhatsApp. Месенджер переставал работать у многих пользователей в прошлом году накануне партийного съезда. В течение последних лет на некоторое время в стране ограничивался доступ к GitHub.

Местные версии социальных сетей также обрабатывает система фильтрации контента. Недавно в Китае сняли ограничение сроков пребывания на посту президента. Вскоре после этого в микроблоговом сервисе Weibo стали удаляться сообщения с критикой этого события.

Блокировки могут быть связаны с запретом каких-либо услуг или товаров. В этом году в стране запретили ICO и криптовалютные биржи. В связи с этим целью брандмауэра в феврале стали сайты, предлагающие услуги по торговле криптовалютами.

Что в итоге

Политика китайских властей не останавливает рост числа пользователей интернета в стране. К концу прошлого года показатель вырос до 772 млн человек. Годом ранее он составлял 731 млн человек.

Несмотря на это, существует мнение, что файрвол наносит вред национальной экономике, а технологический сектор Китая остается без инноваций. Тем не менее, власти не собираются отказываться от «Золотого щита» и брандмауэра, а местные компании становятся реальными конкурентами для крупнейших американских корпораций.

Источник

«Великий китайский файрвол», или Как взять интернет под контроль

Недавно едва ли не все белорусы узнали, что такое VPN, а соответствующие сервисы заняли первую двадцатку мест среди самых скачиваемых в нашей стране приложений. Однако, как показал опыт, даже VPN не может служить стопроцентной гарантией доступа в интернет. Очевидно, что со временем у многих государств появляется все больше желания перенять опыт Китая в таком соблазнительном деле, как контроль интернета. Посмотрим, как устроен и на что способен «Великий китайский файрвол».

Скрытая угроза

Вы наверняка слышали, что в Китае фактически сформировался собственный интернет. В нем нет места Twitter, YouTube, Vimeo, Facebook, американским/европейским новостным сайтам и прочим «опасным» ресурсам. Китайское представление об интернете сегодня в корне отличается от того, к чему привыкли мы. По большому счету пользователям этой страны вообще не нужны сайты, потому что все необходимое предлагают три монстра: коммуникационно-развлекательный комбайн WeChat, соцсеть Weibo и поисковик Baidu.

Широкое распространение интернет стал приобретать во второй половине 1990-х. Появились первые коммерческие ресурсы, никто не блокировал западные новостные сайты, а в крупнейших городах открывались интернет-кафе, у дверей которых собирались очереди из желающих прикоснуться к невиданному.

Высочайшим повелением внешний трафик должен был проходить только через узлы, контролируемые правительством. Попасть в сеть в обход этих узлов не представлялось и не представляется возможным.

Для острастки вскоре последовало несколько громких дел, связанных с использованием интернета. Сначала к тюремному заключению приговорили китайского программиста, передавшего американскому изданию десятки тысяч адресов электронной почты жителей Китая. Позднее власти жестко отреагировали на сетевые призывы к митингам от местного религиозного движения. Ни у кого из руководства страны не оставалось сомнений, что такой «опасный» инструмент, как интернет, пора брать под контроль.

«Отец» Фан Биньсин

Официальная информация о «Великом китайском файрволе» до сих пор остается государственной тайной. Тем не менее сегодня о нем известно довольно много.

Вероятно, работы по созданию системы интернет-цензуры начались в 1998 году силами подразделения, специально созданного при министерстве промышленности и информационных технологий. Позднее это подразделение получило название Национального центра по противодействию киберугрозам.

Изначально «Великий китайский файрвол» был лишь одним из множества проектов «Золотого щита». Однако позднее важность системы фильтрации интернет-контента стала настолько очевидной, что ее выделили из «Золотого щита» в отдельную единицу и переподчинили местному интернет-регулятору.

Создателем «Великого китайского файрвола» считается Фан Биньсин. К моменту начала работ над системой ему не было и 40. В детстве Фан считался вундеркиндом, в 20 лет он уже получил степень бакалавра в Харбинском политехническом университете, а в 29 защитил докторскую диссертацию. К концу 1990-х Фан Биньсин фактически отвечал за информационную безопасность страны.

«Великий китайский файрвол» в целом был готов где-то в 2001-м. Затем на протяжении пары лет правительство испытывало систему. Тренировались в основном на китайской версии Google, которую время от времени блокировали в экспериментальных целях.

Как это работает

Вряд ли кто-нибудь когда-нибудь раскроет все особенности работы китайской системы интернет-цензуры. И все же базовые принципы известны.

На первом этапе работы «Великого китайского файрвола» ресурсы, которые партия отнесла к «вредоносным», блокировали по доменным именам и IP-адресам. В начале 2000-х это был основной метод, которого хватило на несколько лет. Используется он до сих пор, база запрещенных IP-адресов постоянно пополняется, но сейчас система в большей степени опирается на другие способы цензуры.

Вскоре китайское изобретение освоило технологию проверки и фильтрации сетевых пакетов по их содержимому. При обнаружении запрещенного трафика его просто направляют на некорректный IP, что в итоге ведет к невозможности загрузить искомую страницу.

В базе «Великого китайского файрвола» есть постоянно пополняемый черный список. Система мониторит сайты и в случае обнаружения ключевых слов из этого списка блокирует доступ к ресурсу. Именно на этом этапе, к слову, в свое время из Китая были изгнаны сервисы вроде Facebook, Twitter и Blogspot.

В Поднебесной работают сотни тысяч интернет-цензоров, регулярно просматривающих сообщения в местных соцсетях на предмет наличия слов из черного списка. Говорят, лет десять назад таких цензоров было не меньше двух миллионов, что превышало численность китайской армии! Позднее, впрочем, ответственность за соответствие генерируемого пользователями контента перевели на администрации соцсетей, и уже им пришлось придумывать все новые и новые способы цензуры, чтобы не попасть под горячую руку министерства.

Какие именно слова попадают в черный список? Никто точно не знает, потому что он никогда и нигде не публиковался. Там точно есть слова, так или иначе указывающие на события на площади Тяньаньмэнь 1989 года, призывы к революции и термины, связанные с демократией. Года три назад под запрет попал и Винни-Пух, в образе которого многие западные шутники рассмотрели великого председателя Си Цзиньпина. Теперь в Китае запрещено любое упоминание несчастного Пуха.

Больше всего проблем китайскому правительству доставляли VPN-сервисы, позволявшие с легкостью обходить прежние ограничения. Борьбе с VPN посвятили третий этап развития «Великого китайского файрвола», который пришелся на 2011—2013 годы.

Все силы разработчики направили на выявление ключевых особенностей VPN-протоколов. С горем пополам такой трафик научились фильтровать и блокировать. Впрочем, до сих пор именно VPN-сервисы остаются самой главной проблемой для китайской интернет-цензуры. VPN запрещены, их массово блокируют, но на смену им постоянно приходят новые.

За нелегальное распространение VPN-сервисов в Китае можно оказаться в тюрьме на пять лет. А программы VPN, одобренные регулятором, не позволяют обходить блокировки. Забавно, но как-то создатель файрвола Фан Биньсин признался, что у него на компьютере установлено шесть VPN-сервисов, которые нужны ему для доступа на запрещенные сайты.

Одновременно в стране не перестают деанонимизировать пользователей интернета. Ни в соцсетях, ни в мессенджерах невозможно зарегистрировать вымышленный аккаунт или анонимный канал: регистрация происходит только после удостоверения личности. Анонимный контент попросту невозможен.

Наконец, совсем недавно «Великий китайский файрвол» усилили технологией блокировки части зашифрованного HTTPS-трафика, который позволял пользователям анонимно посещать некоторые ресурсы.

«Великий китайский файрвол» постоянно совершенствуется, но и удачных попыток «взломать» его меньше не становится. При желании китайскую систему можно обойти. Вот только практически никто не хочет этого делать.

Удивительный эффект 20-летнего обособленного развития китайского интернета состоит в том, что абсолютное большинство пользователей уже не нуждаются в «запрещенной» информации. Западные ресурсы никого не интересуют, потому что в стране создана целая экосистема из китайских аналогов, на которые подсадили все население. По функциональности они даже превосходят зарубежных «прародителей», при этом любое проявление свободы слова полностью контролируется государством.

Источник

Как устроен великий китайский файрвол

Чистый воздух и свободный интернет – такие первые впечатления обычно складывались у китайцев, впервые приехавших в Москву. Воздух в российской столице действительно по сравнению с многими китайскими городами просто прекрасен. Да и китайский файрвол еще несколько лет назад для большинства россиян казался чем-то диковинным, если не сказать диким. Однако теперь ситуация меняется, и сейчас, как никогда, полезно посмотреть на китайский опыт, чтобы понять, до чего может раскрутиться маховик интернет-цензуры.

Блокировку Telegram многие российские СМИ называют беспрецедентной по своим масштабам: за первые дни в реестре Роскомнадзора появилось более 18 млн заблокированных IP-адресов. Происходит это потому, что мессенджер использует в своей работе глобальные платформы облачного хостинга Google Cloud Platform и Amazon Web Services. Это позволяет мессенджеру все время менять IP-адреса, а Роскомнадзор, соответственно, последовательно их блокирует.

В российской истории таких масштабных блокировок IP-адресов действительно не было. Но Китай со своим файрволом уже давно это все прошел. Еще на конец 2016 г. в КНР было заблокировано почти 1,3 млн интернет-сайтов, в том числе Facebook, YouTube и Google.

Поэтому в ситуации с Telegram пугает не столько факт блокировки мессенджера, сколько сама тенденция к ужесточению цензуры в интернете. Если посмотреть на китайский опыт, то можно понять, что такая тенденция может в конечном итоге привести к построению тотальной цифровой диктатуры, которая выходит далеко за рамки простых блокировок нежелательных для властей интернет-ресурсов.

Китайский файрвол заработал по всей стране еще в начале 2000-х. Правда, тогда система была крайне неэффективна и файрвол легко можно было обойти с помощью VPN. Был даже курьезный случай, когда разработчик всей системы файрвола Фан Биньсин читал доклад и ему нужно было открыть ссылку из презентации. Но страница не открылась как запрещенная. Тогда Фан на глазах у удивленной публики запустил VPN и открыл нужный сайт.

Рунет тотального контроля

Параллельно разрабатывалась программа «Золотой щит» – система регистрации реальных имен интернет-пользователей и комплексного взаимодействия между различными китайскими провайдерами и полицейскими структурами для обеспечения лучшего контроля над населением. Так, провайдеры домашнего интернета и интернет-кафе уже много лет дают доступ в интернет только при предъявлении паспорта.

Но вся эта система перестала быть эффективной с широким распространением смартфонов. Сейчас в Китае более 700 млн человек выходят в интернет со смартфонов, причем используют для этого точки доступа бесплатного WiFi, что затрудняет отслеживание активности конкретного пользователя в интернете. Хотя сейчас во многих местах подключиться к бесплатной WiFi-сети можно, только зарегистрировав мобильный номер, остаются еще сети без регистрации – они также не позволяют просматривать запрещенный контент, но в них сложно вычленить среди общего трафика логи конкретных пользователей. Это дало повод для нового усиления госконтроля в интернете.

Так, летом прошлого года в силу вступил закон о кибербезопасности КНР. Он предписывает всем организаторам распространения информации в интернете, а также любым компаниям, в том числе зарубежным, хранить данные китайских пользователей на территории КНР, передавая таким образом властям безграничный контроль над большими данными. Именно поэтому компания Apple, например, чтобы не потерять китайский рынок, согласилась передать ключи шифрования и данные пользователей китайского iCloud местной компании Cloud Big Data Industry, расположенной в провинции Гуйчжоу. С октября прошлого года вступили в силу новые правила по деанонимизации интернета, выпущенные Государственной канцелярией по делам интернет-информации. Они, в частности, обязывают организаторов распространения информации, администрацию блогов и соцсетей удалять любой контент, оставленный анонимными пользователями. Кроме того, они запрещают регистрировать новые аккаунты пользователей без удостоверения личности. Таким образом, зарегистрировать анонимный или вымышленный аккаунт в соцсетях или на форумах или же открыть анонимный канал в мессенджере уже не получится. Кроме того, эти правила предписывают удалить из магазинов мобильных приложений на территории Китая неавторизированные сервисы VPN. Установить легально можно только специальные программы VPN, утвержденные регуляторами, с ограниченным функционалом – обеспечивающие безопасность канала передачи данных, но не позволяющие обходить блокировки.

Правила регистрации в соцсетях и на форумах уже вышли боком некоторым китайцам. Например, WSJ сообщала об аресте блогера Ван Цзянфэна просто за то, что он иронизировал в группе WeChat (китайский аналог WhatsApp) над председателем КНР Си Цзиньпином. А другой пользователь – У Сянъян – получит пять лет тюрьмы за то, что продавал свой сервис VPN, помогающий обходить блокировки.

Элла Панеях: Первые результаты блокирования сайтов с запрещенной информацией

Закрытие неблагонадежных сервисов сопровождается публичным раскаянием провинившихся. Так, популярный китайский юмористический сервис интернет-мемов Neihan Duanzi был закрыт под предлогом того, что публикуемый там контент (например, сравнения Си с Винни-Пухом или паровым пирожком) не соответствовал нормам морали и «коренным социалистическим ценностям» Китая. Чжан Имин, основатель платформы новостного агрегатора Toutiao, в которую входит сервис Neihan Duanzi, принес публичные извинения. В своем покаянии он заявил, что в погоне за сиюминутной выгодой и технологиями не думал о самом главном – коренных социалистических ценностях – и пообещал, что больше не будет совершать политических ошибок.

Но одними запретами в Китае не ограничиваются. По логике китайских властей, законопослушность должна быть выгодна: к 2020 г. в Китае должна быть повсеместно введена так называемая система социального кредита – система оценок благонадежности всех граждан. На рейтинги благонадежности помимо кредитной истории и информации из правоохранительных и судебных структур будет влиять и поведение человека в интернете, характер его постов в соцсетях и потребляемый контент. Признание неблагонадежным означает различные административные препоны вроде запрета на покупку авиабилетов, невозможности устроиться на госслужбу или определить ребенка в престижную школу. А за благонадежное поведение пользователям сулят различные бонусы: дешевые кредиты, прием у врача без очереди, аренду автомобиля без залога и проч.

Дело даже не в самих ограничениях. Вся система интернет-цензуры в Китае и связанного с ней законодательства построена так, чтобы люди и компании не просто не могли обойти установленные государством преграды, а чтобы ни у кого даже мысли не возникало сделать что-то неблагонадежное: так развивается самоцензура. Как заявил председатель Си, «нужно совершенствовать как механизмы поощрения законопослушных и добросовестных граждан, так и механизмы наказания тех, кто нарушает закон и утратил доверие, чтобы человек просто не осмеливался, просто не мог потерять доверие». Такая система, конечно, гораздо эффективнее простой блокировки сайтов или мессенджера.

Источник

Как мы пробивали Великий Китайский Фаервол (ч.1)

На связи Никита — системный инженер из компании SЕMrush. Сегодня я расскажу вам о том, как перед нами встала задача обеспечить стабильность работы нашего сервиса semrush.com в Китае, и с какими проблемами мы столкнулись в ходе ее выполнения (учитывая местонахождение нашего дата-центра на восточном побережье США).

Это будет большая история, разбитая на несколько статей. Расскажу, как все это было у нас: от полностью неработающего сервиса из Китая, до показателей работы сервиса на уровне его американской версии для американцев. Обещаю, будет интересно и полезно. Итак, поехали.

Проблемы китайского интернета

Даже самый далекий человек от специфики сетевого администрирования хотя бы раз, да слышал о Великом Китайском Фаерволе. Ууу, звучит круто, да? Но что это такое, как оно работает на самом деле — вопрос довольно сложный. В интернете можно найти много статей, посвященных этому, но с технической точки зрения устройство этого фаервола нигде не описано. Что, впрочем, неудивительно. Признаюсь сразу, по итогам года работы я не смогу сказать точно, как он работает, но смогу рассказать о своих замечаниях и практических выводах. И начнем мы со слухов об этом фаерволе.

Есть много слухов об этом самом фаерволе. Давайте соберем основные и наиболее интересные из них в один список:

Вот, что нам удалось выяснить об этих слухах:

Обратите внимание на time_connect. И в целом, вы видите результат: фаервол добавляет 4 лишних секунды, что чудовищно долго.

Разница в 5 секунд на общее время загрузки 13 байт. При том, делая такой тест несколько раз, можно заметить, что GET на HTTP завершается в целом за одинаковое время каждый раз, в то время как по HTTPS сайт отвечает иногда за 3, 5, 10 и даже 17 секунд. Иногда случаются ошибки SSL:

Unknown SSL protocol error in connection to ifconfig.co:443.

Картина вырисовывается просто “отличная”.

Датацентр, как я уже сказал, у нас на востоке США, а весь SEMrush состоит из десятков взаимосвязанных продуктов, бэкэндов, фронтэндов, баз данных, и все это в ДЦ и облаках. Перед нами, как командой системных администраторов, была поставлена задача малыми усилиями быстро начать работать в Китае.

Нам предстояло ответить на важный вопрос: можно ли обойтись малой кровью и решить все проблемы, связанные с китайским интернетом и фаерволом, на уровне сети/облаков/серверов?

ICP-лицензия

Для того, чтобы иметь возможность размещать свой сервис в пределах Китая (Mainland China) и проводить тесты, нужно сначала получить ICP-лицензию на домен.

Если пользовательский трафик вашего сайта терминируется в пределах Mainland China, и если у вашего домена нет лицензии ICP, ваш трафик будет блокироваться на стороне провайдера/хостинга. Интересно, что в ICP-лицензию вписывается конкретный провайдер, будь то Cloudflare или Alibaba Cloud. Поэтому, если вы получали ICP-лицензию для Cloudflare и размещали свой сайт у них, в последствии “бесшовно” переехать на Alibaba Cloud у вас не получится. Необходимо будет добавлять в эту лицензию еще один хостинг.

Получив ICP-лицензию на домен, мы смогли придумывать и реализовывать конкретные технические идеи и решения.

Тестирование решений

Но перед тем, как непосредственно создавать варианты стейджингов, крутить ручки, оптимизировать работу сайта и его скорость, нужно выбрать инструмент для его тестирования, чтобы видеть, какие наши действия улучшают или наоборот ухудшают работу сайта.

Наш инструмент для тестирования должен был соответствовать двум главным требованиям:

Так мы нашли Catchpoint! У них отличное покрытие точками тестирования по всему миру. В Китае через этот инструмент можно запускать тесты тоже из 100500 провинций. В каждой по несколько разных провайдеров + возможность делать Backbone-тесты (что-то типа виртуалки в датацентре) и Lastmile-тесты (максимально приближенные к пользовательским условиям, aka рабочая станция). Последний тип тестов стоит дороже.

Заключив годовой контракт (меньше нельзя), мы приступили к изучению инструмента. Признаться, мы были приятно удивлены его функционалом. Можно запускать:

Всего не перечислишь. И что самое главное, каждый тест можно довольно хорошо кастомизировать, добавив пачку заголовков и других параметров. На выходе получается огромное количество информации, полностью описывающей твой тест. Если говорить о самом интересном для нас (браузерные тесты), то результат включает в себя:

Соответственно, все эти метрики отлично помогают видеть изменения и понимать, стало ли лучше. Мы, в основном, смотрели на Response, Webpage Response, Median, 75 и 95 Percentiles.

Важный вопрос, который витал в воздухе с самого начала: а можно ли верить Catchpoint? Отражает ли этот инструмент реальную скорость загрузки сайта в Китае из разных городов или же это просто какой-то тест в вакууме, не имеющий ничего общего с real user experience?
Это большая проблема, потому что находясь в России практически невозможно достоверно узнать, как работает сайт из Китая. Делая socks-proxy через виртуалку, на выходе получаешь загрузку сайта в течение пары минут, что для тестов просто неприемлимо, поэтому единственным вариантом ручного тестирования остается curl и простые GET из консоли с замером времени. Это помогает, потому что данный тест хорошо отражает скорость работы сетевого решения, а если есть еще и браузерные тесты, то совсем хорошо.

Позже мы сами съездили в Китай и убедились, что Catchpoint верить можно, он довольно точно отражает реальные показатели скорости работы.

Cloudflare China Network

Так как для основного домена semrush.com мы успешно используем Cloudflare, решили сразу попробовать их фичу под названием China Network. Данная опция включается только для Enterprise-сайтов по отдельному запросу и за отдельную плату. Также она доступна только для сайтов, имеющих соответствующую ICP-лицензию, в которой в качестве провайдера указан Cloudflare. После ее включения, для сайта становится доступным “китайский CDN” от Cloudflare — трафик из китайских регионов приземляется в ближайшие PoP (Points of Presence) CF, а дальше уже по его сетям или сетям провайдеров/партнеров доставляется до origin.

Схема данного тестового стенда представлена ниже.

Для нас это прекрасный вариант. Получается, что второй домен будет тоже за CF, что не прибавляет количество решений, используемых в компании, а также практически не усложняет инфраструктуру.

Мы запустили браузерные тесты, и вот что получилось:

Красные ромбики — это фейлы тестов. Фейлы снизу — DNS ошибки (resolve timeout). Фейлы сверху — таймауты.

Uptime: 86.6
Median: 18s
75 Percentile: 29.3s
95 Percentile: 60s

Медиана, после того, как убрали загрузку reCaptcha (сервис гугла, заблокированный в Китае), снизилась с 28 до 18 сек. Но все равно это ужасные показатели, если учесть, что такой же тест для semrush.com (из США) давал менее 10 секунд для 95% пользователей (из США) на ту же самую страницу (статика + динамика).

В каждый тест можно зайти и посмотреть Waterfall и другие более подробные параметры. Мы начали исследовать причины ошибок, и если для таймаутов все более менее понятно: интернет в Китае “то съезжается, то разъезжается”, из-за этого скорость коннекта и загрузки ресурсов из-за границы нестабильна и неодинакова, то DNS-ошибки нас сильно удивили. Мы обнаружили, что PoP у Cloudflare действительно находятся в Китае, адрес сайта резолвится в один anycast IP, но DNS-серверы используются американские, из-за чего DNS-запросы вынуждены проходить через границу, поэтому иногда они фейлятся.

Уточнив этот вопрос у CF, выяснилось, что своих DNS-серверов в Китае у них нет, а когда будет — пока неизвестно.

Поэтому мы решили потестировать только DNS Cloudflare и поменяли механизм работы Cloudflare для нашего сайта на режим “Только DNS”. Это такой режим, когда Cloudflare не проксирует трафик через себя, а значит, не предоставляет DDoS-защиты, CDN и прочие фичи, и работает в режиме обычного DNS-сервера.

Данный стенд схематично представлен на следующем рисунке. На рисунке учтены появившиеся знания о том, что DNS-сервера Cloudflare за фаерволом.

В Catchpoint мы запустили простые GET-тесты (не браузерные), которые показали очень много фейлов. Причиной их были все те же DNS ошибки.

Начали дебажить эти ошибки с помощью dig и обнаружили, что при первом запросе адрес определяется правильно, а при повторном запросе мы получаем каждый раз SERVFAIL и not found. Это с чего вдруг?

При запросе NS-серверов Cloudflare напрямую таких ошибок нет:

Значит, проблема на стороне “локального” DNS-сервера или сервера провайдера.
Дальнейшее расследование показало, что SERVFAIL мы получаем на резолве AAAA-записи.

Оказалось, что при запросе у Cloudflare АААА-записи, которой в домене нет, Cloudflare отвечал А-записью, что является ошибкой и несоответствием RFC. Из-за чего локальному резолверу (x.x.x.x) это не нравилось, и он отвечал SERVFAIL. В логе ниже это поведение отчетливо видно:

Мы отправили bug-репорт Cloudflare, и они это исправили через какое-то время. Оказалось интересно: на настоящий момент в Китае до сих пор нет поддержки IPv6, поэтому Cloudflare не мог выдавать там свой IPv6 адрес в ответе на запрос АААА-записи. В итоге все решилось так, что для Китая Cloudflare стал отвечать NODATA на такие запросы.

Так, ошибки DNS в тестах Catchpoint резко уменьшились, но не до конца. Таймауты тоже никуда не делись:

И мы начали искать другое решение.

В следующей части я расскажу, как мы тестировали китайское облако Alibaba Cloud, как с помощью небольшой «магии» Nginx мы смогли быстро создавать PoC (Proof of Concept) решений, как мы создавали Multi-Cloud решения, одно из которых в итоге очень сильно помогло ускорить работу сервиса из Китая.

Источник