дисраптор что это такое

Disruptor — новая парадигма многопоточного программирования

На прошлой неделе компания LMAX, где я работаю, получила приз Java Duke’s Choice Award 2011 за фреймворк Disruptor. Ранее об этой технологии писал Martin Fowler, известный многим читателям публикациями об объектном программировании.

В этой статье я хотела бы вкратце рассказать об этой технологии, а так же о конкретной проблеме, которую эта технология решает в компании LMAX.

LMAX предоставляет трейдинговую платформу по CFD и Forex, отличающуюся очень низкой латентностью и высокой пропускной способностью.

Чтобы добиться скорости исполнения более 10 тысяч операций в секунду, LMAX разработали паттерн Disruptor. Это – совершенно новый и очень нетрадиционный подход к решению задач параллельного программирования. Disruptor – это многопоточный параллельный фреймворк для обработки транзакций отличающийся высокой пропускной способностью и очень низкой латентностью. Disruptor LMAX заменяет java.util.concurrent.ArrayBlockingQueue и превосходит её по производительности вплоть до 80 раз.

Проблема многопоточного программирования

Тестирование производительности показало, что с использованием queues для передачи данных между частями системы образуются задержки. Блокировка потоков и семафоры трудны для понимания и тестирования, и часто с их использованием больше времени уходит на отладку, чем на решение реальной проблемы. Так же тестирование многопоточного программирования показало, что использование множества потоков часто не только не приводит к высокой производительности, но и понижает её.

Таблица иллюстрирует затраты на увеличение 64-битного счётчика 500 миллионов раз используя разные техники на процессоре 2.4Ghz Nehalem(стырено с блога коллеги).

Подход LMAX

Давайте используем простой пример для иллюстрации. Представьте, что вы заказываете пачку конфет и оплачиваете их по кредитной карте. Простая система розничной торговли примет информацию о вашем заказе, воспользуется сервисом проверки кредитных карт чтобы проверить номер карты, а затем подтвердит ваш заказ — все в рамках одной операции. Поток, обрабатывающий Ваш заказ будет блокирован в ожидании проверки кредитной карты, но эта блокировка не будет очень долгой для пользователя, и сервер всегда сможет запустить другой поток на процессор.

В архитектуре LMAX, эта операция будет разделена на две части. Первая операция — это сбор информации о заказе, который закончится выводом события (запрос проверки кредитной карты) для компании кредитных карт. Процессор бизнес-логики затем продолжит обработку событий для других клиентов, пока не получит событие проверки кредитной карты в поток событий ввода. После обработки этого события будет осуществлено подтверждение заказа.

Disruptor – это очень высокоскоростной, низколатентный способ обмена сообщениями между потоками. Это как очередь на стероидах(на больших количествах стероидов!) и он является одной из главных инноваций биржи LMAX. Disruptor включает в себя производителя, потребителя и круговой буфер. Каждый производитель и потребитель знает порядковый номер – ячейка в буфере, которую он сейчас обрабатывает. Каждый производитель и потребитель записывает свой номер в счётчик, и может считывать другие счётчики. Таким образом, потребитель может считать счётчик производителя чтобы убедиться что ячейка, в которую он хочет записать доступна. Так же потребитель может проверить что он обрабатывает сообщение только после того, как другой потребитель закончил обработку.

Преимущество Disruptor состоит в том, что потребители могут быстро догнать остальных, если они отстали. Если преобразователь сообщения (un-marshaller) столкнулся с проблемой на ячейке 15, и понял это когда получатель на ячейке 31, он может считать данные из ячеек 16-30 в один заход и быстро догнать. Возможность считывать большие блоки помогает отстающим потребителям быстро нагнать других, таким образом снижая латентность.

Процессор бизнес-логики управляет всей бизнес-логикой c помощью однопоточной Java-программы, которая реагирует на вызовы методов и производит события вывода. Он работает полностью в оперативной памяти, без базы данных или другого постоянного хранилища.

Хотя бизнес-логика осуществляется в одном потоке, целый ряд задач следует осуществить перед вызовом бизнес-объекта. Входящее сообщение из сети нужно unmarshall в формат удобный для бизнес логики, нужно сохранить на надёжный накопитель чтобы иметь возможность восстановить данные в случае аварии.

Эти задачи решаются дисраптарами ввода и вывода. В отличие от процессора бизнес-логики, это параллельные компоненты, так как они включают в себя операции ввода-вывода, которые медленны и независимы.

Поскольку входной поток событий хранится в надёжном хранилище (это является одним из заданий входного дисраптора), всегда можно восстановить текущее состояние процессора бизнес-логики путем повторного проигрывания событий ввода – так же как в системе контроля версий, имея последовательность изменений, можно получить конечную версию документа.

Выводы и ресурсы

Disruptor не является универсальным решением для каждой разработки, однако при правильном применении может показать заметное повышение скорости программных систем.
Часто финансовые компании не распространяются о своих технологиях. LMAX не только открыто говорит о своих разработках(см. блоги), но так же выпустил код Disruptor в Open Source.

Источник

Что такое подрывные технологии и чего от них ждать

Теорию шести стадий экспоненциального роста в середине 2010-х годов представил основатель Singularity University и фонда поддержки инноваций X-Prize Питер Диамандис. Сейчас его концепция звучит еще острее: многие технологии приближаются к последним, самым разрушительным для старых рынков стадиям.

Что такое подрывные технологии

Disruptive technologies (подрывные технологии) — это инновации, которые создают новый рынок и в результате разрушают существующий, вытесняя его признанных лидеров.

Это определение одним из первых сформулировал и проанализировал американский ученый и теоретик менеджмента Клейтон Кристенсен в середине 1990-х годов. По его словам, подрывные технологии полностью меняют наш способ работы или использования продуктов и услуг.

Например, платформы для видеосвязи и стриминговые сервисы перевернули индустрии развлечений и коммуникаций. В то же время компании вроде Uber большинство экспертов не относят к «подрывникам», ведь способ использования машин в целом остался прежним.

Стадия 1: Digitalization (диджитализация)

Все, что может быть оцифровано, способно распространяться со скоростью света или, по меньшей мере, со скоростью интернета, считает Питер Диамандис. По его словам, как только процесс или продукт переходит из физического состояния в цифровое, ему открывается дорога к экспоненциальному росту.

Но не все так просто: для успешного старта нужно правильно рассчитать момент, поясняет один из экспертов Singularity University и участник ранних стартапов в сфере ИИ Питер Уичер. Если инвестировать в цифровую технологию слишком рано, то внедрение и распространение будет чересчур долгим и дорогим. А если опоздать, то придется платить огромные деньги за патенты, чтобы наверстать упущенное.

В качестве примера Уичер приводит искусственный интеллект. В 1987 году он вместе с коллегами предложил решение на основе ИИ для крупных банков, которое помогало анализировать заемщиков и сделки. Но система работала в 20 раз медленнее кредитного специалиста. А технологии, способные ее ускорить, появились только через несколько лет.

Обратный пример — крупнейшая американская сеть видеопроката Blockbuster. В 2008 году ее руководство скептически смотрело на цифровизацию и даже заявляло, что не считает Netflix потенциальным конкурентом. Два года спустя сеть подала заявление о банкротстве.

Стадия 2: Deception (заблуждение)

Таких кейсов множество в недавней истории бизнеса. Подрывные технологии не сразу дают о себе знать, вводя в заблуждение старожилов рынка. «Если стартап называют подрывным, вы можете отметить это для себя. Но самые большие угрозы для вашего бизнеса — это те, которых вы не видите. Копайте глубже и принимайте все угрозы всерьез, даже если эти компании начинают с более низких прибылей и меньшего целевого рынка, чем вы ожидаете от достойного конкурента», — советует основатель нескольких стартапов из Пало-Альто Питер Дейзим.

Для тех, кто хочет быть «подрывником», это тоже сложная фаза, добавляет Питер Уичер. Адреналин после запуска быстро кончается вместе с финансированием. К тому же незрелые технологии дороги и неудобны, их сложно продвигать на рынке. Поэтому эксперт рекомендует стартапам всегда держать в голове конечную цель и трезво оценивать предстоящий маршрут.

Стадия 3: Disruption (разрушение)

После обманчивого затишья кривая экспоненциального роста, наконец, устремляется вверх, сметая по пути игроков с многолетней историей.

«Гигантская отрасль, насчитывающая более ста лет, рухнула и превратилась в еще одну поучительную историю о разрушительном характере экспоненциального роста», — отмечает Диамандис.

Судьбу Kodak могут повторить игроки во многих отраслях, добавляет журналист Стивен Котлер. Написавший в соавторстве с Диамандисом несколько книг, Котлер перечисляет: «Airbnb бросает вызов отелям, беспилотные машины подрывают рынок транспорта, доставки, страхования и многие другие индустрии; роботы и 3D-печать провоцируют переворот в производстве».

При этом «подрывники» рискуют не справиться со взрывным ростом и новым рынком. Facebook не был первой социальной сетью, а Google — пионером среди поисковых систем, напоминает Уичер. Но эти компании оказались способны управлять базовыми операциями на фоне экстремально быстрого развития: изо дня в день писать качественный код, оптимизировать приложения и масштабировать инфраструктуру.

Эксперт предупреждает, что операционная часть бизнеса и логистика не так увлекательны, как создание технологий. Но без внимания к ним бурный рост может обернуться крахом.

Стадия 4: Demonetization (демонетизация)

На этом этапе деньги исключаются из уравнения: продукты или услуги становятся полностью или почти бесплатными. По этому поводу Диамандис снова вспоминает Kodak. Компания зарабатывала на продаже фотопленки, но с появлением «цифры» люди перестали ее покупать. Кому нужна пленка, если есть мегапиксели, которые бесплатно прилагаются к любой цифровой камере?

Бывший главред Wired Крис Андерсон в своей книге «Бесплатно: будущее радикальных цен» подчеркивал, что один из самых простых способов заработать в современной экономике — это раздавать вещи. Одними из первых это усвоили телеком-операторы. Во многих странах они уже предлагают технические устройства в подарок при подключении к своим услугам.

Сегодня самые сложные приложения можно реализовать на основе открытого кода, а потребители давно привыкли к бесплатным приложениям, сервисам и знаниям, напоминает Диамандис. Чтобы развиваться, компаниям придется это учесть.

Стадия 5: Dematerialization (дематериализация)

Следом за деньгами из рыночного уравнения может исчезнуть сам продукт или услуга. Так, беды Kodak не закончились на отказе потребителей от фотопленки. После цифровой камеры появились смартфоны, и сама камера «дематериализовалась».

Похожий путь прошли видеокамеры, устройства GPS, карты, книжные библиотеки, диктофоны и магнитофоны, часы и калькуляторы. Теперь все это доступно в виде приложений в заурядном смартфоне.

Но, вероятно, и сами смартфоны постигнет та же участь: их могут потеснить носимые устройства. По оценке Gartner, этот рынок растет на 15-20% ежегодно. Носимые девайсы постепенно вбирают в себя функции смартфонов, выводя их на новый уровень. К примеру, вместо обычной навигации в «умных» очках внедряют дополненную реальность.

Количество цифровых голосовых помощников, используемых во всем мире с 2019 по 2024 год (млрд)

Голосовые помощники — еще одно направление дематериализации. По данным Statista, к 2024 году в мире будет использоваться около 8,4 млрд таких ассистентов.

Стадия 6: Democratization (демократизация)

Когда масштаб предоставления цифрового продукта или услуги становится огромным, их реальная стоимость начинает стремиться к нулю. Затраты падают настолько низко, что делают технологию общедоступной. Например, обмен фотографиями стал мгновенным и полностью бесплатным, когда на рынке появились крупные цифровые платформы вроде Flickr.

По словам Питера Диамандиса, то же самое вскоре произойдет с услугами беспроводного интернета. «Google и Facebook участвуют в «гонке вооружений», планируя потратить миллиарды на запуск беспилотных летательных аппаратов, воздушных шаров и спутников, способных обеспечить бесплатный или сверхдешевый доступ в интернет для каждого человека на Земле», — напоминает основатель Singularity University.

Он также предупреждает, что последние три стадии развития подрывных технологий могут буквально за сутки перевернуть целые индустрии. И если в начале XX века средняя продолжительность жизни компаний из списка S&P 500 составляла 67 лет, то теперь эта цифра становится все меньше. «Для линейно мыслящих компаний шесть стадий экспоненциального роста — это шесть всадников апокалипсиса. В этом сомнений нет», — заключает Диамандис.

Источник

Дизрапт-эпоха: разрыв социальных связей, умные города и конец приватности

Искусственный интеллект позволит сократить сроки строительства, не уменьшая при этом рабочие места, и поможет построить умные города с учетом инклюзивности. Все, что мы теряем, — приватность, но она уже давно скорее форма иллюзии при нынешнем цифровом следе каждого городского жителя. Об этом говорили участники дискуссии, инициированной ГК «Кортрос», «Я — дизраптор этого мира. Экономика прорыва в условиях глобальных вызовов», прошедшая в рамках VII Международного строительного конгресса 100+ TechnoBuild.

Читайте «Хайтек» в

Дизрапт — подрывные инновации, способные изменить ситуацию таким образом, что старые технологии выходят из конкурентной гонки.

Приватность в обмен на умные технологии

Можно ли передать управление какой-то частью городских процессов искусственному интеллекту? Готовы ли городские жители к тому, что информация об их передвижениях собирается, анализируется? И, наконец, исчезнут ли рабочие места в строительной отрасли как следствие наступившей эры технологий? На эти вопросы отвечал Николай Тржаскал, эксперт в области ИИ.

«Конечно, управлять городами будут люди, а не искусственный интеллект: он только дополняет деятельность человека. Главное преимущество таких совместных команд — это то, что системы способны помогать нам принимать решения быстрее и точнее. Если говорить о перспективе следующих 5-6 лет, то мы переходим к концепции Ambient AI. Она подразумевает, что ИИ изучает наши привычки, позволяет сделать предварительный прогноз и на его основе предпринять действие, условно говоря, за секунду до того, как это сделали бы мы сами. Другими словами, предугадывает наши желания и создает для нас оптимальную среду, — рассказал Тржаскал. — В этой связи говорят об исчезающей приватности. Каждый из нас оставляет такой огромный цифровой след, что игнорировать его невозможно. В итоге же, я уверен, вырвутся вперед общества, где будет найден разумный баланс между личным и общественным.

Слухи о грядущих сокращениях рабочих мест сильно преувеличены. Конечно, рабочий, оснащенный экзоскелетом, может за один раз перенести 100 кг вместо того, чтобы три раза переносить по 30 кг. С другой стороны, мы сможем снизить травматизм, вынужденные простои, это всё повлияет на качество и на количество того, что мы строим. И в конечном итоге сократится срок строительства, появятся новые возможности, которые помогут улучшить качество жизни».

Локация как финансовый инструмент

Первый шаг на пути к умному городу — сбор новых и более качественных данных. Они обеспечивают возможность применения аналитических методов, в том числе предиктивной аналитики, которая позволяет решать проблемы до их возникновения. Президент компании Habidatum Алексей Новиков считает, что в этом процессе главное — интерпретация данных. Он выделяет три тренда текущего столетия, которые в его компании увидели с помощью Big Data:

«Первый — это отделение места от местоположения, локация становится финансовым инструментом.

Второй тренд — это отделение места работы от рабочего места. Офисы будут по типу авиационных хабов привязаны к районам, где живут сотрудники.

Третий тренд — это отделение времени от пространства, точнее, появление времени в пространственном мастер-планировании и вообще в городской экономике. Появляются земельные банки — коллекции земель, которые города выкупают для будущего строительства».

Филипп Третьяков, вице-президент ГК «КОРТРОС» рассказал, как меняется подход к строительству, благодаря современным вызовам и новым технологиям.

«Можно сказать, что наступила дизрапт-эпоха. Пандемия показала, что даже в строительной отрасли, которую принято считать одной из самых консервативных, может измениться практически всё. Люди, оказавшись в самоизоляции, заговорили о том, что жилые дома и общественные пространства должны приобрести новые функции. Многие застройщики уже объявили о грядущем создании коворкингов в крупных жилых комплексах.

Систему умный дом мы начали внедрять в наших проектах пять лет назад — и предполагаем, что скоро она появится в каждой квартире, а от умных домов мы постепенно переходим к умному городу, и это происходит уже сейчас, на наших глазах.

Сейчас концепция “энергоэффективный дом” реализована в ЖК “Академический”, а также в московских проектах. Она позволяет экономить ресурсы и жителям, и застройщикам. Вот пример “Академического”: экономия на теплоносителях составляет 32%, на электричестве — 51%, на канализации — 12%, на воде — 19%. Также у нас есть дом с рекуперационными технологиями, которые позволяют вторично использовать ресурсы и дополнительно экономить тепловую энергию до 47%.

Пандемия и всеобщая диджитализация подталкивает нас быть активнее в сети. Всего за два-три месяца мы научились эффективно общаться с потребителем онлайн, буквально приходить к нему домой с помощью эфиров на YouTube, полностью наладили инфраструктуру онлайн-продаж.

Но оборотная сторона медали цифровой эпохи — это разрыв социальных связей под влиянием соцсетей и постоянный стресс от непрерывного потока информации. Мы уже получаем запросы от людей на отдых от интенсивной городской среды и от излишней диджитализации. Замедление жизни, создание комфортной среды обитания, восстановление социальных связей — это те направления, в которых должно двигаться городское строительство. Мы создаём в наших жилых комплексах парки, как в “Академическом”, клубы, как в Headliner, способствуем формированию коммьюнити, как в семейном квартале iLove».

Эксперт считает, что создание гармоничной социальной среды, где люди смогут полноценно общаться, — это залог коммерческого успеха застройщика и всеобщей экономической победы: ведь в конечном итоге формируются новые сообщества, появляются новые бизнесы и экономическая активность населения возрастает.

Борьба с голодом и время городской трансформации

Лариса Сузуки, эксперт по SmartCities, руководитель Департамента больших данных и искусственного интеллекта в британском офисе Google, рассказала о том, какое будущее надо строить человечеству и для чего нужны данные, инновации, технологии.

«70% населения в ближайшем будущем будут жить в городах. Новым жителям потребуются новые доступные дома. Все города без исключения столкнутся с проблемой поставки питьевой воды. Уже сейчас один из девяти человек в мире испытывает голод, а с ростом населения увеличится и масштаб проблемы. Будут постоянные пробки, не будет парковочных мест. Уже сейчас 92% населения Земли подвергаются очень большому риску в связи с выбросами, которые вредные производства выбрасывают в окружающую среду. Люди будут испытывать проблемы с ментальным здоровьем. 70% населения мира не получает необходимой медицинской или хирургической помощи.

XXI век — век городского развития и трансформации. Приоритет — интеграция сетевых систем (расхода и учета воды, транспортной системы…), есть задача улучшать систему реагирования на природные катаклизмы и катастрофы. Обязателен и важен переход к экономике замкнутого цикла. Что мы можем сделать сейчас? Мы можем собирать факты, данные по повседневному проживанию в городах, накапливать эту информацию, анализировать ее, получать знания, приводящие к принятию правильных и обоснованных решений, основанных на информации. Таким образом, мы сможем создать такие города, которые будут более адаптивными.

Различные устройства будут все больше подключаться к инфраструктуре, связываться в общие системы, и эти данные смогут обрабатываться по всему миру. Мы сможем в глобальном масштабе обрабатывать информацию и делать выводы! Обычный фонарный столб уже сейчас становится более мощным механизмом, умным. Умные датчики будут сообщать о наполненности мусорных баков, и мы начнем их применять много еще где.

Технологии войдут в жизнь: дополненная реальность позволит врачу в ходе операции принимать правильное решение. Совершенствование систем машинного обучения привело к возможности запустить умный автомобиль Google — он сканирует окружающую среду, окружающее пространство и таким образом оценивает, на каком расстоянии находятся машины от него, какие объекты движутся навстречу, или какие объекты движутся по сторонам.

Мы создаем различные схемы, различные механизмы, различные инструменты, которые нам помогают планировать городскую среду с учетом инклюзивности. 65 млн человек передвигаются на инвалидных креслах, людей с ограниченными возможностями здоровья — 285 млн. Эти люди очень сильно зависят от транспорта. Google вкладывает порядка 3,3 млрд в исследования, разработки, изучение систем безопасного движения и передвижения. Мы можем помогать слепым людям передвигаться с помощью навигации. Есть разные приспособления, которые могут использоваться для того, чтобы люди, которые имеют проблемы со зрением, могли нормально перемещаться по городу».

Архитектурные воплощения городов будущего

Тимур Абдуллаев, основатель архитектурного бюро ARCHINFORM, полагает, что любой процесс городского планирования — это и есть попытка видения будущего: «Новые подходы к типологиям, представлению о месте работы и месте жизни, всё это материализуется архитекторами и проектировщиками. Необходимо создать социальный конструктор, который исключает нежелательные контакты между людьми, но программирует добрососедство и комфортные связи, ощущение комфортной социальной среды в рамках квартала, района и города».

Стенли Ланг (Китай), основатель и директор MIX Design, рассказал об основных принципах современного проектирования: «Когда мы начинаем думать о разных типах планирования городской среды, мы выделяем несколько слоев. Первый слой — экология. Второй — это человеческая деятельность, пространственные решения. И третий — это взаимодействие, интерпретация действий человека. В целом, природа — это наивысший приоритет.

Новая концепция, которую все уже принимают — эстетика, биоразнообразие, открытые пространства и технологии. Необходимо подумать о том, насколько мы можем вмешиваться, интегрируя подобные элементы в городскую среду, как мы создадим зеленые пространства, которые устойчивы, адаптивны и могут выдержать все изменения».

Сегодня в условиях технологической революции и широких цифровых возможностей можно легко смоделировать ближайшее будущее города — и почти невозможно спрогнозировать его на десятки лет вперед. Экономия средств и сил благодаря технологической революции обеспечивает возможность оптимального развития городов. Открываются новые возможности, сопряженные с использованием ИИ, сбором больших данных и новых технологий. Будем надеяться, что благодаря этим возможностям сократится дефицит питьевой воды, безответственное использование энергии и стремительное загрязнение планеты.

Источник