Как сделать самому яндекс станцию
bitКонтейнер (для еды) — самодельная Яндекс.Станция
Вчера в чате на работе предложили скидки на Яндекс станцию. Посмотрел обычную цену — 9900.
В общем, она мне не нужна.
А так как без дела лежала плата Orange PI PC, купленная за 700 рублей на Алиэкспресс, решил собрать свою Станцию, а точнее «bitКонтейнер для еды».
Купил в обед флешку 10 класса за 399 рублей.
Залил прям в обед на флешку ПО Zidoo X1 v1.0.21 — скачал образ отсюда piboard.io.
Дома собрал все вместе — флешку в Orange PI PC (сама плата раньше использовалась — поэтому уже были приспособлены корпус — контейнер для еды, и кулер)
Для того что бы Яндекс Контейнер был мобильным — подключил Orange Pi PC к роутеру проводом, а сам роутер к домашнему wifi.
Для вывода изображения и звука используются либо HD монитор, либо дешевый китайский проектор. Их подключаем Hdmi кабелем.
Включаем, устанавливаем приложение Яндекс из Гугл плэй. Настраиваем в параметрах Google ассистента.
Начинается все с того что что голосом запускаем Ассистента гугл — Окей гугл, Затем кодовой, секретной фразой Включи Яндекс запускается Яндекс с Алисой. И дальше даем команды Алисе.
В чем различия — цена 1000 рублей против 10000.
Итак, можно потратить 10000 рублей ждать не знай сколько и получить классный, стильный гаджет. А можно заказать плату, кулер, HDMI-кабель, достать блок питания от телефона HTC, кучу проводов, помыть контейнер для еды, и дождавшись не знай сколько платы собрать все это страшилище за один вечер. А, ещё за флешкой сбегать.
P.S.: осталось примотать синей изолентой Контейнер к колонкам Sven — на одну Проектор, на другую Контейнер — получится мега-гипер-ультра Аппарат.
Так как микрофон не чувствительный — посоветую приклеить отрезанное горлышко от баклажки к корпусу и отдавать команды в баклажку (а-ля рупор).
Либо на саморез к монитору сзади — он хотя бы скроет весь этот ужас.
bitКонтейнер (для еды) — самодельная Яндекс.Станция
Вчера в чате на работе предложили скидки на Яндекс станцию. Посмотрел обычную цену — 9900.
В общем, она мне не нужна.
А так как без дела лежала плата Orange PI PC, купленная за 700 рублей на Алиэкспресс, решил собрать свою Станцию, а точнее «bitКонтейнер для еды».
Купил в обед флешку 10 класса за 399 рублей.
Залил прям в обед на флешку ПО Zidoo X1 v1.0.21 — скачал образ отсюда piboard.io.
Дома собрал все вместе — флешку в Orange PI PC (сама плата раньше использовалась — поэтому уже были приспособлены корпус — контейнер для еды, и кулер)
Для того что бы Яндекс Контейнер был мобильным — подключил Orange Pi PC к роутеру проводом, а сам роутер к домашнему wifi.
Для вывода изображения и звука используются либо HD монитор, либо дешевый китайский проектор. Их подключаем Hdmi кабелем.
Как видно 4 провода подключено к плате — питание, hdmi, эзернет, мышка.
Включаем, устанавливаем приложение Яндекс из Гугл плэй. Настраиваем в параметрах Google ассистента.
Начинается все с того что что голосом запускаем Ассистента гугл — Окей гугл, Затем кодовой, секретной фразой Включи Яндекс запускается Яндекс с Алисой. И дальше даем команды Алисе.
В чем различия — цена 1000 рублей против 10000.
P.S.: осталось примотать синей изолентой Контейнер к колонкам Sven — на одну Проектор, на другую Контейнер — получится мега-гипер-ультра Аппарат.
Так как микрофон не чувствительный — посоветую приклеить отрезанное горлышко от баклажки к корпусу и отдавать команды в баклажку (а-ля рупор).
Либо на саморез к монитору сзади — он хотя бы скроет весь этот ужас.
Если когда-то будет конкурс на самую бесполезную статью, то, надеюсь, данный пост окажется в топе).
К приобретению голосового помощника с «Яндексом внутри» подтолкнуло умирание трех голосовых помощников, которые были созданы еще с большим колхоз тюнингом, некоторое время назад. В качестве голосовых помощников использовались Андроид клиенты с программой «Дуся», но они оказались не долгоиграющими (встраивал Андроид часы в подрозетники, но от перегрева они плавно дохли). Как это выглядело, можно увидеть на фото ниже.
Плата адаптера питания с припаянными проводами 220В
Выпаян разъем USB и припаяны провода на выход 5В
Внешний вид платы адаптера питания
При вскрытии DEXPa удивился наличию двух микрофонов, хотя внешне все признаки указывают на 4 микрофона (привет от китайцев). Недавно в чате вычитал, что у Ирбиса тоже два микрофона, из которых слушает всего один. Видимо DEXP сделан по такому же принципу.
Чтобы из колонки не торчал питающий провод, просунул через заднюю крышку провода от адаптера, подпаял их прямо на плату (на ближайшие от разъема microUSB элементы) и залил это дело термоклеем, чтобы при монтаже провода не оторвались.
Контрольное включение проблем не выявило. После этого плату блока питания обмотал изолентой.
Вся инсталляция с поисками подручных материалов заняла два часа.
Данный метод крепежа немного ухудшил звук динамика. Когда колонка просто висела на стене звук был приемлемый, когда вставлялась лапками в подрозетник и неплотно прилегала к стене, звук приятно улучшился видимо из-за подрозетника, который выполнил функцию замкнутого корпуса. Сейчас колонка очень плотно прилегает к стене (я оторвал комплектные ножки, которые давали зазор) и звук получился, как будто Алисе заткнули нос). Исправлю позже добавив пару слоев скотча для увеличения зазора.
Что касается использования голосового помощника от Яндекса, то тут пока больше разочарования, чем радости. Качество распознавания речи у данной колонки не очень хорошее. Надо говорить очень разборчиво, на небольшом расстоянии. На трех метрах возрастает количество неправильных распознаваний, дальше надо практически кричать. С 1-2 метров распознает нормально. Первое время колонка периодически отваливалась, говорила нет интернета, хотя с интернетом все было в порядке, потом само вроде наладилось.
Основная претензия, которая больше всего напрягает, так это то, что в хаотичном порядке колонка забывает разные команды, либо говорит, что выполнила, а на самом деле не выполнила. Причем это происходит не систематически, может 10 раз выполнить одну и ту же команду, а потом 5 раз либо не выполнить, либо сказать, что выполнила. А с телефона эти команды выполняются всегда четко. Можно предположить, что колонка неправильно распознает команду, но после перезагрузки по питанию удавалось эту проблему решить.
В качестве связи с моими устройствами я использую шлюз MQTT-Яндекс, который позволяет расширить возможности пока что очень скудного помощника от Яндекса. На сегодняшний день Умный дом Яндекса не знает, что бывают автоматизированные шторы, краны, существуют датчики, которые что-то измеряют. Полный перечень устройств Умного дома Яндекс можно найти на странице, где можно увидеть, что пока есть свет, розетка, переключатель, термостат и еще несколько устройств. Понимаю, что на старте требовать и ожидать многого не приходится, остается ждать и наблюдать, как будет развиваться данный продукт от Яндекса. Но если и через год перечень устройств будет тот же, а работа также не стабильна, то у меня точно будут стоять другие ассистенты, какие пока вопрос открыт). Я сторонник оффлайн распознавания и работы, чтобы раз настроил и забыл, но пока таких достойных решений практически нет, может Гугл что-то подвезет, подождем.
Стать президентом Америки и потренироваться дома: 17 неизбитых функций Яндекс-колонки
Когда у нас дома появилась Яндекс-колонка с голосовым помощником Алисой, никто толком не знал, что с ней делать
Мы спрашивали у нее погоду, просили поставить таймер, чтобы вовремя достать яйца из кастрюли, и задавали дурацкие вопросы, на которые она смешно отвечала.
Со временем я изучила навыки Алисы, и она оказалась полезной практически в любой ситуации: на вечеринке Алиса скажет незабываемый тост, за завтраком поделится последними новостями, напомнит список продуктов в магазине и займет ребенка обучающими играми, пока родители работают.
Вот несколько ее способностей, которые кажутся мне наиболее полезными. Хотя Алиса живет в разных устройствах, для этой статьи я выбрала только те навыки, которые работают в домашней колонке и не требуют дополнительных устройств — специальных розеток и систем управления умным домом.
Выбирайте, что вам необходимо прямо сейчас:
Алиса может заменить тренера: она расскажет, как сделать упражнение, включит бодрую музыку и отсчитает необходимое количество повторений.
Сложность упражнений и скорость счета можно настраивать, а тренировку выбрать на свой вкус — интервальную, общеукрепляющую или йогу.
Что сказать Алисе: «Запусти навык „Умный счетчик калорий“», «Скажи умному счетчику калорий записать», «Попроси умный счетчик калорий записать»
Навык подойдет тем, кто следит за фигурой: Алиса скажет, сколько калорий в стандартной порции пасты «Карбонара» и салата «Цезарь», и уточнит содержание белков, жиров и углеводов. За завтраком, обедом и ужином можно попросить Алису записать каждое блюдо, а вечером она сообщит, сколько калорий вы съели и рассчитает меню на следующий день.
Алиса знает и точные данные блюд из сетей фастфуда. Можно сказать ей «Бигмак и макфлури» вместо «Бургер и мороженое» и не сомневаться в точности расчетов. Не забудьте записать напитки: Алиса поможет разобраться, какую часть от ежедневного рациона составляет стакан апельсинового сока, а какую — бокал вина.
Что сказать Алисе: «Запусти навык „Расшифровка пищевых добавок“»
Когда нет под рукой таблицы с расшифровкой непонятных ингредиентов вроде E100 или Е260, то поможет Алиса. Она определит добавку по шифру, расскажет, естественное или искусственное у нее происхождение, к какой категории относится вещество — например, краситель, усилитель вкуса или консервант, — и насколько оно безопасно.
Что сказать Алисе: «Запусти навык „Проверка симптомов коронавируса“»
Алиса перечисляет симптомы, которые могут сопровождать болезнь, и просит пользователя оценить, насколько часто они у него проявляются. После этого она анализирует ответы и дает рекомендации: сидеть дома и пить больше теплой жидкости или все-таки вызвать врача.
Что сказать Алисе: «Запусти „Навык тест на алкоголь“», «Сыграем в тест на алкоголь», «Поиграем в тест на алкоголь»
Этот навык поможет оценить свое состояние наутро после вечеринки, когда нужно садиться за руль. Чтобы не рисковать ни жизнью, ни деньгами на оплату штрафов, перед поездкой стоит проконсультироваться с Алисой. Она узнает пол и вес пользователя, спросит, что и в каком количестве человек употреблял накануне, и сообщит, сколько в крови промилле алкоголя.
Если по расчетам алкоголь в крови превышает допустимые нормы, помощник предупредит, на какое время стоит отложить поездку.
Что сказать Алисе: «Запусти навык „Умный шеф“»
Алиса посоветует, что приготовить из тех продуктов, которые уже есть дома, или предложит выбрать блюдо из каталога: перечислит все закуски, горячие блюда или десерты, которые знает, пока пользователь не найдет подходящий вариант.
Сначала Алиса продиктует список продуктов, а потом перейдет к инструкциям. После каждого шага она делает паузу и ждет, пока хозяин спокойно натрет сыр или обжарит лук — и даст команду продолжать.
Что сказать Алисе: «Запусти навык „Список покупок“», «Попроси список покупок добавить молоко и хлеб», «Попроси список покупок показаться»
Чтобы не приходилось несколько раз бегать то за маслом, то за сметаной, попросите Алису стать тем самым листком со списком продуктов. Просто говорите ей, что нужно купить, в любой момент, когда об этом вспомните, а она самостоятельно составит список и синхронизирует его с вашим смартфоном. В магазине запустите Алису в браузере и попросите показать список покупок.
Квесты Алисы напоминают классические квеструмы, только все события происходят в воображении пользователя. Алиса описывает обстоятельства, в которых оказался игрок, и интерьер помещения, откуда нужно выбраться, а пользователь может скомандовать своему персонажу, куда посмотреть, какие предметы взять и как их использовать.
В отличие от квестов в реальности, Алиса не ограничивает игроков во времени: можно останавливаться, когда надоест, а потом продолжать отгадывать загадки с того же места. Историю можно подобрать на любой вкус: игроки могут очутиться в секретной лаборатории или на космическом корабле, в мире литературного произведения или сериала.
Для детей квесты тоже есть: Алиса предложит поиграть за помощников Деда Мороза или стать волшебником, который справится с заданиями, только сочиняя рифмы и составляя верные слова из набора слогов.
Если квесты требуют от игроков мыслить логически, то викторины проверяют эрудицию. Алиса предлагает пользователям посоревноваться в знаниях самых разных фактов: от скорости, с которой солнечный свет достигает поверхности Земли, до того, как звучит по-сербски слово «свинья».
Правила викторин отличаются: в одних пользователю нужно выбрать правильный вариант среди нескольких, которые называет Алиса, а в других — согласиться или не согласиться с утверждением. Можно играть в одиночку, а можно в компании или даже командами: Алиса посчитает, у кого больше правильных ответов, и выберет победителя.
Что сказать Алисе: «Сыграем в „Да, мистер президент“»
В этой игре пользователь садится в кресло президента США: его задача — продержаться у власти четыре года, пройдя сквозь череду неоднозначных ситуаций. На вопросы Алисы игрок должен отвечать только «да» или «нет»: в зависимости от принятого решения будет меняться авторитет президента и бюджет страны.
Зачастую игроку придется выбирать, что дороже — одобрение публики или экономическая стабильность. Впрочем, импичмент ему могут объявить как за растрату, так и в связи с утратой доверия, так что победить в игре будет непросто.
Те, кому удастся справиться с задачей и удержать баланс, могут попробовать свои силы в похожих играх: приквеле «День выборов», где нужно не растерять электорат, и историческом аналоге «Да, милорд», в котором за неверно принятые решения грозит казнь.
Что сказать Алисе: «Запусти навык „Легко сказать“», «Запусти навык „Песни на звуки“», «Запусти навык „Песни для произношения“»
Детям, которые только учатся разговаривать, Алиса поможет освоить сложные звуки: для этого родителям нужно активировать навык-тренажер «Легко сказать», а дальше Алиса поговорит с ребенком уже сама.
Сначала герои — фиксики или звукли — предложат ребенку игровые упражнения: например, поцокать как лошадь, подребезжать как старые автомобили, научиться делать губами трубочку или парус из языка. А потом споют вместе с ребенком песню, которая поможет закрепить звук.
Чтобы упражнения не наскучили, герои развлекают ребенка интересными фактами: например, рассказывают, каким профессиям пригодятся дроны, о которых малыш только что спел куплет, или чем может быть полезна умная колонка.
Что сказать Алисе: «Запусти навык „Игра про репку“», «Запусти навык „Игра репка“»
Алиса может рассказать ребенку обычные сказки, а может — сказку-игру. В основе лежит классический сюжет про репку, только ребенок управляет героями самостоятельно: говорит Алисе, кого позвать на помощь следующим, и она добавляет героя в сюжет.
Сказка может быть сколь угодно длинной, а герои — самыми необычными: например, нам в сказке помогали не только бабка и внучка, но и папа, папина машина и какой-то Лаек. Чтобы сказка закончилась, ребенок должен позвать мышку, а пока он до этого не додумается, у родителей будет время заняться своими делами.
Что сказать Алисе: «Запусти навык „Игра киоск с лимонадом“», «Сыграем в игру „Киоск с лимонадом“»
«Киоск с лимонадом» — экономическая игра, в которой нужно создать свою торговую точку и продержаться на рынке. Настоящие бизнес-кейсы появляются с самого начала: чтобы магазин попал в рейтинг, нужно придумать название, которого еще нет у конкурентов. К заданию придется подойти творчески: все варианты со словом «лимонад» уже, разумеется, заняты.
С каждым шагом игра становится сложнее, но интереснее. Сначала потребуется рассчитать, сколько лимонов может позволить себе киоск на первые 100 рублей и сколько из них получится лимонада. Потом ребенок знакомится с динамическими рыночными отношениями: чтобы не разориться, цену на лимонад придется корректировать в зависимости от погоды и стоимости напитка в других киосках. Еще на цену влияет узнаваемость бренда: чтобы продавать дороже, нужно вкладываться в рекламу. В общем, все как в жизни.
Что сказать Алисе: «Запусти навык „Тотальный диктант“»
Навык понравится тем, кто хочет потренировать грамотность, но впадает в тоску от классических школьных диктантов. Умный помощник прочтет текст писательницы Гузель Яхиной, который она составила специально для «Тотального диктанта» в 2018 году.
Алиса читает текст так, как это сделал бы живой человек в аудитории: сначала произносит предложение полностью, а затем — по словосочетаниям, дважды повторяя каждое из них. Но, в отличие от живого чтеца, Алису можно попросить прочитать одно и то же предложение сколько угодно раз и раздумывать над сложными случаями, никуда не торопясь.
Проверять работу придется самостоятельно на сайте «Тотального диктанта»: кроме самого текста там можно найти разбор допустимых вариантов и посмотреть комментарии по правописанию каждого слова и знака препинания.
Что сказать Алисе: «Запусти навык „Умный пересказ“»
Если школьник не успевает подготовиться к уроку литературы — а в общих чертах узнать, в чем конфликт «Отцов и детей», нужно, то поможет Алиса.
Библиотека у Алисы пока не очень большая, но ключевые тексты в ней есть: например, «Дубровский», «Преступление и наказание», «Гранатовый браслет». Подготовиться к ЕГЭ по литературе таким образом вряд ли получится, а вот для того, чтобы найти аргументы для эссе по русскому языку, такие пересказы подойдут.
Что сказать Алисе: «Запусти навык „Распределительная шляпа“»
Для тех, кому сложно определиться с вузом и специальностью, у Алисы есть собственная «Распределительная шляпа». Только она подбирает факультет не в Хогвартсе, а в российских учебных заведениях.
Чтобы посоветовать подходящие варианты, Алиса спросит у абитуриента, в каком городе он живет и хочет учиться, какие ЕГЭ выбрал и сколько получил баллов на пробных экзаменах, насколько хорошо у него с дисциплиной и нравятся ли ему занятия физкультурой.
Рекомендации Алисы достаточно поверхностны: они не учитывают, какие кружки посещает ребенок и чем любит заниматься в свободное время. Но сузить круг поисков Алиса поможет: она отбракует все вузы, которые точно не подходят по набору экзаменов, а из оставшихся уже можно выбирать подходящий институт и по другим критериям.
Что сказать Алисе: «Запусти навык „Олимпиадный навигатор“», «Запусти навык „Навигатор олимпиад“»
Этот навык пригодится выпускникам, которые хотят поступить в университет по результатам олимпиад, а не по ЕГЭ. Сложность в том, что узнавать об олимпиадах нужно гораздо раньше, чем придет время вступительных экзаменов. А еще потребуется разобраться, какая олимпиада гарантирует победителям поступление или максимальный балл за профильный экзамен, а на какую уже не стоит тратить время.
Яндекс.Станция. Как мы создавали первое устройство с Алисой
Несколько минут назад на конференции YaC 2018 мы впервые рассказали о Яндекс.Станции. Это первое мультимедийное устройство с Алисой, которое воспроизводит музыку и фильмы, рассказывает детям сказки, помогает в повседневных делах, а также поддерживает навыки от сторонних разработчиков.
Может показаться, что для создания подобных устройств достаточно взять голосового помощника, добавить к нему простой микрофон из смартфона и спрятать всё это в корпусе недорогой аудиоколонки. На практике перед разработчиками подобных систем стоят серьёзные технологические проблемы, о решении которых в Станции мы и расскажем сегодня читателям Хабра. Вы также узнаете, что именно представляет собой технологическая платформа Yandex.IO, на основе которой и создано устройство.
В посте о создании Алисы мы рассказывали о развитии компьютерных интерфейсов: от командной строки до управления мышью и голосом. Чем более доступным становился компьютер, тем быстрее развивались технологии, упрощался способ взаимодействия с устройством.
С другими домашними устройствами развитие шло схожим образом. Возможно, вы помните советские чёрно-белые телевизоры, в которых даже для переключения каналов нужно было прикладывать ощутимые физические усилия. Теперь же во многих моделях мы можем переключать каналы голосом.
Мы верим, что пришло время научить домашние устройства общаться на языке людей, а не кнопок. Именно эта идея легла в основу голосового помощника Алиса и нашего первого устройства на её основе – Яндекс.Станции.
Говорит и показывает
Станция – первое устройство Яндекса с голосовым помощником Алиса. Она подскажет погоду, установит будильник, расскажет новости, прочтёт сказку ребёнку или поможет с другими повседневными делами. Но ценность нашего устройства не только в этом. Когда мы начинали работать над Станцией, то поставили перед собой задачу создать домашнее мультимедийное устройство, возможности которого не ограничивались бы навыками голосового помощника. Эта задача включала в себя два важных требования:
1. Станция должна воспроизводить треки из Яндекс.Музыки или с любого другого устройства через Bluetooth.
2. Станция должна находить и воспроизводить видео: как из базы партнёрского контента, так и ролики из сети. Были даже варианты с собственным встроенным экраном, но от них быстро отказались в пользу HDMI-разъема для подключения к любому телевизору.
И всё это – с качественным звуком. Наше устройство должно справляться с аудиодорожкой лучше, чем динамики типичного телевизора (это касается как глубоких басов, так и общей мощности). При этом Станция должна не только хорошо звучать, но и отчётливо понимать речь пользователя. А эти задачи немного противоречат друг другу. И здесь начинается самое интересное.
Расположение имеет значение
Взгляните на картинку выше. Умные домашние устройства часто изображают так, будто они стоят в центре комнаты и воспроизводят звук во все стороны. На фотографиях это выглядит красиво, но в реальности почти никто их так не использует. Устройства, которые должны слышать голос издалека, потребляют значительные вычислительные ресурсы, поэтому работают не от аккумулятора, а от сети. Ближайшие розетки почти ни у кого не располагаются в центре комнаты, поэтому устройства обычно стоят у стен. Это значит, что нет смысла делать устройство с круговым расположением динамиков. И дело не только в экономии.
Если направить часть динамиков в стену, то возникает проблема интерференции звуковых волн, которую пришлось бы компенсировать на уровне софта. Нет лишних динамиков – нет проблемы. Поэтому в Станции мы используем два фронтальных динамика (в том числе для поддержания стереоэффекта), один вуфер и два пассивных излучателя (для глубоких басов). Но даже с их расположением в корпусе не всё так просто.
Обычно и твитеры (высокочастотные динамики), и вуфер направляют в сторону слушателя, чтобы добиться минимального искажения звука. Но в нашем случае вуфер направлен вниз. Почему?
Помните, мы говорили, что Станция должна не только выдавать качественный звук, но и уметь слышать голосовые команды? Человеческая речь – это преимущественно средние частоты (хотя полный диапазон шире: 300-3400Гц). Перед нами стояла задача по уменьшению влияния излучаемого Станцией звука на микрофоны, которые должны улавливать человеческую речь. Одним из решений этой задачи является увеличение «эхо-пути» звука в спектре человеческой речи от динамиков до микрофонов. За средние частоты в обычном режиме Станции отвечает вуфер, поэтому мы направили его вниз. Это увеличивает «эхо-путь», улучшает качество распознавания голоса и незначительно влияет на качество воспроизведения звука.
В предыдущем абзаце вы могли заметить упоминание обычного режима Станции. Если коротко, то речь об уровне громкости. Суммарная мощность всех динамиков в Станции составляет 50 Вт. Для шумной вечеринки этого более чем достаточно. Но при высокой громкости трудно распознать голос пользователя. В индустрии эту проблему решают ограничением громкости. Мы тоже думали над этим вариантом, но, к счастью, решили не портить хорошую акустику ограничениями.
Adaptive Сrossfade
Текущий уровень громкости визуализируется с помощью круговой подсветки в верхней части Станции. По мере увеличения громкости цвет меняется с зелёного до жёлтого и красного. Зелёный и желтый – это условный «обычный режим», при котором Станция хорошо воспроизводит музыку и реагирует на голосовые команды пользователя. А вот красный цвет сигнализирует о высокой громкости. В этом режиме громкость настолько велика, что устройство почти не способно слышать команды пользователя.
В режиме максимальной громкости больше не нужно думать о распознавании речи, поэтому мы отбросили компромиссы и сфокусировались на звуке. Нет, вуфер при этом не разворачивается в сторону пользователя, но мы перенаправляем средние частоты на твитеры. Выше мы называли их исключительно высокочастотниками, но они подобраны так, чтобы при необходимости справляться и со средними частотами (уверенно держат от 2к до 20к Гц). А ещё при высокой громкости Станция переключается в стерео режим, который отключен в обычном режиме из-за своего негативного влияния на качество распознавания речи.
Всё это мы назвали технологией Adaptive Сrossfade, которая, хочется верить, придётся по вкусу поклонникам качественного звука. Кстати, некоторые аудиофилы из нашей команды рекомендуют ещё и внешний кожух снимать, чтобы выиграть пару децибел (да, он съёмный).
Выше мы рассказали о том, как Станция воспроизводит звук. Теперь же мы расскажем о технологической платформе, благодаря которой она понимает пользователей.
Yandex.IO
Динамики – важная часть устройства, но далеко не главная. Станция построена вокруг платформы Yandex.IO, которая включает в себя два компонента. Прежде всего, это главная плата, которая отвечает за «мозги» всего устройства: воспроизводит музыку и фильмы, а также обеспечивает работу Алисы и всех её навыков (в том числе тех, которые уже могут создавать сторонние разработчики с помощью сервиса Диалоги).
Несколько слов о процессоре. Мы выбрали ARM Cortex-A53 не только из-за тяжелой задачи воспроизведения потокового видео, но и для работы с голосом. Со стороны может показаться, что никаких особых нагрузок здесь нет: записывайте весь аудиопоток с микрофона и транслируйте его в облако, где волшебная нейросеть всё распознает. Но это работает не так, а главная плата Станции несёт в себе целый стек технологий, который направлен на улучшение распознавания голоса. И здесь мы переходим ко второму важному компоненту платформы IO.
Микрофонная матрица
Широкая распространённость смартфонов с голосовыми помощниками создаёт иллюзию того, что достаточно взять такой же простой микрофон, встроить его в условный холодильник, который будет прекрасно слышать и понимать ваш голос из любого угла комнаты. Нет, не будет. Чувствительность простых микрофонов такова, что работают они только на небольших расстояниях и в относительно тихих внешних условиях. Существуют профессиональные микрофоны для специальных целей, которые могли бы решить эту проблему. Вот только стоят они сотни долларов, и ни одно пользовательское устройство не потянет такое увеличение стоимости.
В индустрии эту проблему решают с помощью микрофонных матриц. Один простой микрофон не справляется с задачей, но если взять несколько и заставить их работать согласованно, по принципу фазированных антенных решёток, то получим хороший направленный микрофон. Так и в Станции используется микрофонная матрица собственной разработки, состоящая из 7 микрофонов: 1 в центре и 6 по окружности.
Причём они подключены к отдельному контуру питания, и когда вы нажимаете кнопку Mute на корпусе, микрофоны физически обесточены. Работа кнопки не зависит от софта, поэтому «сломать» программно эту логику нельзя. Вот схема (более простая блок-схема тут):
Для полноценного голосового управления недостаточно одних лишь микрофонов. Устройство должно уметь отличать шум от речи и понимать команды.
Голосовая активация
Распознавание речи – крайне ресурсоемкий процесс, поэтому работает он только в облаке. Но Станция не может позволить себе отправлять весь окружающий шум в сеть: это ухудшает отзывчивость, потребляет трафик и энергию, провоцирует отключение голосового управления. Поэтому наше устройство начинает слушать и посылать звук с микрофонов на сервер только в том случае, когда пользователь произнёс ключевые слова «Алиса» или «Яндекс». Но как это работает без доступа к сети?
Нейросеть, обученная для голосовой активации, способна распознать лишь несколько слов, но зато работает быстро и встроена в само устройство, поэтому не требует подключения к интернету. Только после того, как Станция «услышала» в звуковом потоке ключевое слово, речь пользователя начинает отправляться на сервера Алисы для анализа запроса и подготовки ответа. Но не сразу.
Распознавание речи
Нет смысла отправлять в облако звуковой поток, записанный с 7 микрофонов. Для начала его нужно очистить от шума и выделить речь.
Алгоритм Direction of Arrival отвечает за определение направления, в котором находится источник речи. Как только направление речи определено, микрофонная матрица «разворачивается» в этом направлении и направляет на него «луч». Технология Beamforming позволяет выделить звук, приходящий с целевого направления, подавляя звуки, приходящие с других направлений. На этом же этапе работают алгоритмы Noise Suppression (шумоподавление) и De-reverberation (устранение реверберации).
Источником звука, мешающим распознаванию речи, может быть и сама Станция во время воспроизведения музыки и фильмов. Казалось бы, излучаемый Станцией сигнал известен и поэтому его можно вычесть из сигнала, поступающего на микрофоны. Но не всё так просто. Этот звук приходит с многократными повторениями и нелинейными искажениями (например, из-за переотражения от стен), и его удаление является нетривиальной задачей. Алгоритм Acoustic Echo Cancellation решает эту проблему.
Все эти алгоритмы работают локально на главной плате платформы IO. Только после того, как сигнал проходит через все этапы очистки и выделения речи, он отправляется на сервера Яндекса для полноценного распознавания нейросетями. Вы можете себе представить, насколько трудоемко их обучить, если для понимания одного слова требуются тысячи записей. Этот процесс постоянно совершенствуется, но нам уже удалось добиться точности распознавания речи, сопоставимой с живым собеседником.
Яндекс.Станция вскоре поступит в продажу — если вы оставите адрес на сайте, мы сообщим, когда это произойдёт. В этом посте мы не стали описывать все продуктовые возможности устройства, а сфокусировались на главных технологических вызовах, которые стоят перед разработчиками умных устройств с голосовым управлением. Хочется верить, что в ближайшем будущем мы сможем попросить Алису включить стиральную машину, купить билеты или даже накормить кота – и она выполнит просьбу. Яндекс.Станция и технология IO – наш первый шаг к этому будущему.