— Расскажите вкратце, чем вы занимаетесь в Сколтехе.
Евгений Бурнаев: Здесь нужен небольшой исторический экскурс. В середине 2000-х я работал над проектами для компании Airbus: мы одними из первых в индустрии начали использовать методы машинного обучения для задач инженерного проектирования и оптимизации. В течение нескольких лет я руководил разработкой соответствующей программной библиотеки, которая в итоге позволила автоматизированным образом строить модели для прогноза характеристик сложных инженерных изделий — например, прогнозировать подъемную силу крыла самолета и оптимизировать его геометрию. Сейчас эта библиотека встроена в коммерческий продукт, который востребован у инжиниринговых компаний, в основном западных. В 2015 г. я перешел в Сколтех, где руковожу научной группой ADASE (Advanced Data Analytics in Science and Engineering Group). Мы занимаемся применением машинного обучения в разных областях и разработкой новых алгоритмов.
У научной группы есть три глобальных направления работы: 3D-компьютерное зрение и глубинное обучение; инженерные приложения (например, предиктивные модели) и рекомендательные системы; медицинские приложения. Естественно, все это основано на современных методах машинного обучения, нейросетях и т.п., для чего мы активно ведем и фундаментальные исследования.
Алексей Артемов: По направлению «3D-компьютерное зрение и глубинное обучение» мы занимаемся разработкой различных методов машинного обучения для обработки геометрических данных. Это прежде всего данные, генерируемые в процессе лазерного сканирования, при обработке многовидовых фотографий. Мы нацелены на построение точных трехмерных моделей на основе этих данных.
Глоссарий
IMU (Inertial Measurement Unit) — инерциальные измерительные модули. Позволяют получать информацию о движении автомобиля в том случае, если сигнал GPS по каким-то причинам прервался (например, в туннелях, внутри зданий или при наличии электронных помех).
Real Time Kinematic — кинематика в реальном времени. Приемы и методы получения координат высокой точности с помощью спутниковой системы навигации. В этом методе используются два приемника GPS, которые обмениваются данными через модем.
Sensor Fusion (слияние датчиков) — это подход, согласно которому необходимо объединять данные, полученные из разнородных источников, чтобы информация была более точной. Данные, полученные с нескольких датчиков, позволяют сформировать полную картину и минимизируют недостатки каждого отдельного источника.
Лидар (LIDAR — Light Identification Detection and Ranging) — радар, работающий на световых волнах. Лидар испускает короткие импульсы света, а датчик измеряет промежуток времени, необходимый для возврата импульса. Таким образом датчик формирует изображение окружающего мира.
— Каковы особенности применения компьютерного зрения при создании беспилотников?
Алексей Артемов: В основном эти особенности связаны с требованиями, которые предъявляются к беспилотным автомобилям. Бортовой компьютер должен принимать решения в режиме реального времени, так что алгоритмы компьютерного зрения должны соответствовать определенному уровню производительности. Вы не можете на скорости 100 км/ч потратить на принятие решения целую секунду, отсюда возникает сразу несколько дополнительных задач: как сжать нейросеть и какое железо использовать, чтобы она обрабатывала данные максимально быстро. Второй момент: алгоритмы должны быть узкоспециализированными. Функционирование объекта, на котором они используются, подразумевает соблюдение определенных правил, в частности ПДД.
Евгений Бурнаев: Да, когда мы говорим об общематематических и алгоритмических задачах, это одна ситуация. Когда же речь идет о практических решениях, всегда возникают нюансы, которых не бывает в общих задачах машинного обучения, таких как, например, классификация объектов. В данном случае это могут быть проблемы со знаками или с разметкой. Другой пример — планирование управления автомобилем, эта задача чуть ли не более сложная, чем упомянутая задача классификации.
Алексей Артемов: В контексте задачи управления нужно в первую очередь учитывать ПДД. Вы можете правильно распознать дорогу, но, например, не заметить знака «Поворот налево запрещен» и таким образом нарушить правила. К тому же необходимо очень точно распознавать поведение других участников движения, причем в динамике, на высокой скорости и в сложных погодных условиях. В такой ситуации должны работать как алгоритмы компьютерного зрения (например, алгоритмы сопровождения целей), так и определенный программный слой, который гарантирует соблюдение и ПДД, и правил безопасности. Также необходим более низкоуровневый функционал, обеспечивающий, например, плавный ход автомобиля при соблюдении ПДД, чтобы он не ехал рывками.
— Достаточно ли данных с видеокамер для работы компьютерного зрения в беспилотниках? Или также необходимы лидары, радары и ультразвуковые датчики?
Алексей Артемов: Вы говорите о так называемой парадигме sensor fusion, которая, насколько мне известно, пока ни у кого полноценно не реализована. И дело не в том, что это дорого, а в том, что сложно. Если мы говорим об обычных изображениях, например об аэрофотосъемке, существуют эффективные алгоритмы их обработки и объединения признаков, которые извлекаются из изображений. Это позволяют делать сверточные нейронные сети, работа над которыми ведется уже давно, соответственно, они достигли определенного уровня алгоритмической зрелости. С данными, представленными в виде облаков точек, которые и обрабатываются в случае sensor fusion, пока все не так хорошо.
Евгений Бурнаев: Когда говорят о глубоких нейронных сетях, в первую очередь имеют в виду сверточные сети, которые работают с изображениями. Но при большом количестве информации с нескольких видов сенсоров инструменты, которые были разработаны исключительно для видео или статичных изображений, не пригодны. Необходимо разрабатывать новые архитектуры этих сетей, новые низкоуровневые алгоритмы. И сейчас мы занимаемся этими задачами.
— Каким образом в беспилотном автомобиле обрабатывается информация с внешних устройств? С помощью встроенного компьютера или используются облачные технологии?
Алексей Артемов: Конечно, она обрабатывается непосредственно в машине. Во-первых, беспилотные автомобили должны моментально принимать решения, вы не можете позволить себе передачу данных. Во-вторых, во время движения автомобиля регистрируется огромный объем сенсорных данных — по моим оценкам, десятки гигабайт в минуту. Всю эту информацию просто бессмысленно отправлять по сети. Поэтому в машину фактически вмонтирован системный блок, в котором установлено производительное и поэтому дорогое железо: несколько графических ускорителей, мощный процессор. И всё это стоит в багажнике.
Евгений Бурнаев: Сейчас в профессиональной среде идет обсуждение, стоит ли передавать определенные типы данных в облако, чтобы таким образом решать ряд задач. Например, по показаниям акселерометра можно детектировать проблему с дорожным полотном, и подобные эксперименты сейчас проводятся в Германии. Объем данных при этом несопоставим с тем, который нужно обрабатывать при решении стандартных задач беспилотного вождения.
— Десятки гигабайт во время поездок… Это же значит, что беспилотная машина превращается в полноценный центр обработки данных.
Евгений Бурнаев: Так и есть. В беспилотниках устанавливается сложное и дорогостоящее железо, и поэтому сейчас это никак нельзя назвать тривиальным и тиражируемым решением.
— Сколько приблизительно стоит полный комплект для беспилотника: датчики и встроенный компьютер?
Алексей Артемов: Стоимость одного высококачественного лазерного сенсора с охватом в 50 метров — 30–40 тыс. долл. Можно использовать вместо них лидары с 16 лучами, но даже тогда стоимость составит 8–10 тыс. долл. за штуку, а их нужно 2–3 на машину. Остальные сенсоры тоже стоят денег: GPS с Real Time Kinematic, IMU-сенсоры, радары. Плюс нужно устройство обработки данных, которое вы назвали встроенным компьютером. Даже самое простое по характеристикам устройство будет стоить порядка 2 тыс. долл. Таким образом, цена полного комплекта, не считая самой машины, будет начинаться примерно от 50 тыс. долл. Кстати, обычно для экспериментов берут Toyota Prius, так как в ней хорошо проработан интерфейс взаимодействия с шиной управления. К начальной стоимости машины нужно добавить еще столько же за электронную начинку, и вы получите ценник за беспилотник.
— В мае 2018 г. на главных новостных ресурсах прошла новость: «Беспилотный Uber сбил женщину в Аризоне из-за особенностей программы. Автопилот заметил ее, но продолжил движение». Почему это произошло? Это проблема, связанная с особенностями работы компьютерного зрения?
Алексей Артемов: Это, безусловно, трагичный случай. Но если рассмотреть его с точки зрения инженерно-технических задач, следует признать, что алгоритмы распознавания изображений зачастую допускают и более глупые ошибки. Сейчас существует целое направление научной работы, его задачей является поиск способов того, как можно обмануть нейронные сети, чтобы потом устранить выявленные недостатки. Итогом этой работы является улучшение алгоритмов нейронных сетей.
Что касается случая в Аризоне, я подозреваю, что распознавание до определенного уровня уверенности (по-видимому, недостаточного для принятия решения) все же произошло. Видеокамера видела женщину в течение нескольких секунд, автопилот мог распознать цель, захватить ее и сопровождать. Видимо, была допущена определенная алгоритмическая ошибка.
Евгений Бурнаев: Что касается упомянутого события, эта женщина переходила дорогу с велосипедом в неположенном месте в вечернее время, фактически выскочила из темной зоны перед беспилотником. Обычные водители регулярно допускают подобные ошибки, и беспилотники тоже будут их допускать, как минимум на начальном этапе. Вопрос в том, каков будет процент этих случаев и на сколько процентов он будет меньше или больше, чем у водителей-людей. Другой важный момент: кто в итоге должен нести ответственность за ошибки машины. Эта проблема пока не решена.
Пять тезисов о рынке беспилотников
В августе прошлого года РВК совместно с консалтинговой компанией Frost & Sullivan подготовила отчет о перспективах развития рынка беспилотного автотранспорта. Мы выбрали главные тезисы исследования:
- Основные игроки на рынке беспилотных автомобилей: Tesla, Mercedes-Benz, Audi. Ford и BMW планируют выпустить первые беспилотники уже к 2021 г. Их коммерциализация начнется после 2025 г.
- К 2020 г. автопроизводители создадут связанную экосистему, в которой транспортное средство будет самостоятельно обучаться, используя облачное хранилище данных, и совершенствовать свой функционал через обновления, доступные для загрузки беспроводным способом.
- К 2025 г. рынок беспилотных транспортных средств вырастет с 1,3 млрд до 84 млрд долл. Продажи автономных автомобилей в абсолютных значениях достигнут 36 млн штук. Продажи машин, оснащенных системами автономного вождения, превысят 40% мирового рынка новых легковых автомобилей.
- Развитию беспилотников будут способствовать активное внедрение автономных такси и увеличение использования бизнес-моделей мобильности в транспортной системе крупных мегаполисов.
- Ключевым для развития беспилотных автомобилей станет требование к обработке данных в реальном времени.
— С помощью каких технологий компьютерное зрение в автомобиле распознает, что именно перед ним: живое существо или неживой объект? Или в таком распознавании нет нужды и автомобиль просто должен останавливаться перед любым объектом?
Алексей Артемов: Если видишь препятствие, нужно остановиться. Как правило, так работают большинство алгоритмов. В то же время есть определенный программный слой, который рассчитывает потенциальные траектории движения окружающих объектов и соответствующим образом планирует движение машины. И если перед автомобилем находится пешеход, он пропустит или объедет его. Мы наблюдаем это на практике у себя в Сколково, когда беспилотники объезжают людей на дорогах.
При этом очень сложно предусмотреть все возможные ситуации. Коллеги из Waymo (дочерняя компания Alphabet, разрабатывает технологии для беспилотников) не так давно тестировали машину, и та остановилась на дороге по непонятной причине. Оператор выяснил, что именно случилось: машина не знала, как ей поступить, потому что прямо перед ней бабушка на инвалидном кресле гонялась за гусем. Подобную ситуацию не предскажешь, обучающую выборку для таких случаев сформировать невозможно. Самый разумный способ решения проблемы — сигнализировать людям о препятствии.
— Насколько нам известно, одна из проблем беспилотников — сложности с распознаванием отражений на зеркальных поверхностях.
Алексей Артемов: Эта проблема относится ко всем алгоритмам компьютерного зрения. Существуют так называемые незеркальные объекты, которые рассеивают свет, и поэтому их поверхности выглядят матовыми. Алгоритмы, которые нацелены на их обработку, — это обычные алгоритмы. Если же мы говорим о таких поверхностях, как стекла или зеркала, стандартными решениями не обойтись. Представьте современный тренажерный зал: зеркала, окна, огромное количество мелких деталей. Для алгоритма компьютерного зрения работа в условиях такой окружающей среды — сверхсложная задача. Как правило, современные нейросети в таких условиях не смогут распознавать объекты.
— Компьютерное зрение сфокусировано только на объектах вне автомобиля? Или не менее важно фиксировать происходящее в машине — например, состояние пассажира?
Евгений Бурнаев: Цель беспилотников в том, чтобы люди в автомобиле занимались своими делами. Возможно, есть смысл фиксировать происходящее в машине на случай, если человеку станет плохо. Но это не главная задача, чтобы решать ее в первую очередь. Кстати, подобное решение целесообразно использовать в фурах-рефрижераторах, чтобы фиксировать состояние водителей: их сосредоточенность, степень усталости, как они выполняют определенные действия и т.д.
— Насколько критична для машин с автопилотом правильная дорожная разметка? И что вы подразумеваете под «правильной разметкой» в данном случае?
Алексей Артемов: С одной стороны, разметка помогает локализовать автомобиль в пространстве — это критичное требование для работы беспилотников, а GPS далеко не всегда работает с высокой точностью. С другой, я не считаю дорожную разметку строго обязательной для функционирования беспилотных автомобилей. Я видел заезды, когда беспилотная машина ехала по занесенной снегом трассе, она воспринимала более темный и примятый снег как дорогу, в отличие от высоких сугробов на обочинах. Такого уровня распознавания достаточно, чтобы беспилотник продолжал движение.
— Дорожные знаки и разметка в разных странах отличаются. Может ли случиться так, что обученные на немецких трассах беспилотные Mercedes-Benz и BMW не будут работать в России?
Алексей Артемов: Здесь есть два аспекта. Первый: безусловно, дороги в России и Германии отличаются, поэтому для беспилотных автомобилей из другой страны необходимо будет применять другие данные, соответствующие нашей действительности. И возможно, эффективность алгоритма будет снижена. Второй: пока производители и разработчики заняты более насущными проблемами, решение обозначенной задачи — вопрос явно не ближайшего будущего.
Евгений Бурнаев: Проблема, о которой вы говорите, возникнет, когда беспилотные автомобили будут запускаться на национальных уровнях. Пока же нам важнее решить инженерные задачи, чтобы беспилотники хотя бы стабильно работали. Поэтому на данный момент испытания ограничены полигонами, конкретными улицами и трассами. Более того, когда испытания на полигонах закончатся, начнутся проблемы, связанные с законотворчеством и человеческой психологией. С законами в целом все понятно, а вот второй момент — восприятие людьми беспилотников — значительно сложнее. Представить себе, что люди для развлечения будут выходить на дорогу и останавливать движение на трассах, несложно. Обычный водитель может выйти из машины и доступно объяснить хулигану, что нужно отойти в сторону. Беспилотник так не сделает. И здесь возникает масса вопросов.
— Где автопилоты пойдут в массовое производство раньше и будут наиболее востребованы: на В2С- или В2В-рынке?
Евгений Бурнаев: Беспилотники будут применяться в B2B: работа в карьерах, сельское хозяйство, логистика. О повсеместном использовании даже в отдаленной перспективе говорить пока не приходится.
Алексей Артемов: В2В будет, безусловно, заинтересован в использовании этой технологии. В2С-сегмент… Если вы говорите о беспилотных автомобилях в центре Москвы, то я к этому отношусь крайне скептически — сделать это практически невозможно. Огромное количество пешеходов, обилие дорожных знаков и светофоров, периодическое перекрытие дорог. В условиях такой информационной перегруженности очень сложно работать. На мой взгляд, на рынке В2С пока самым интересным вариантом выглядит внедрение беспилотников на некоторых магистралях — например, на Ленинском проспекте. По нему уже ходят автобусы-экспрессы, и ничто не мешает в ближайшей перспективе сделать их беспилотными.
Бернхард Вайдеманн
пресс-атташе по вопросам автономного вождения Daimler AG
Комментарий
Технологии беспилотного вождения Mercedes-Benz
— Расскажите о вехах исторического развития технологий Mercedes-Benz. Каким путем вы пошли, как беспилотные технологии появились в ваших автомобилях, какие ключевые этапы вы прошли?
— История развития технологий компании Mercedes-Benz своими корнями уходит в прошлое. Как вы, наверное, знаете, Mercedes-Benz создала первый в мире автомобиль. Благодаря десятилетиям разработок и исследований, мы сделали автомобиль лучше и безопаснее и хотели бы продолжить сложившуюся традицию, создавая новые совершенные машины для будущих поколений водителей. Наша очередная цель — создание беспилотного автомобиля, и мы пытаемся достичь ее, используя два разных подхода.
Первый подход — эволюционный. Он направлен на совершенствование существующих систем помощи водителю. Такие системы помогают снизить нагрузку на человека, особенно в однообразных и изнурительных сценариях вождения — например, при движении в пробках, когда надо часто останавливаться и вновь двигаться в заторе. В данном случае, так же как и при разработке самых первых систем, предназначенных для помощи водителю на дороге, сценарии, заложенные при создании, будут расширены, чтобы включить большее число возможных ситуаций во время движения. В то же время мы исходим из того, что наши автомобили должны удовлетворять всем запросам, которые существуют у клиентов компании Mercedes-Benz.
Второй подход — революционный. Это разработка полностью автономных беспилотных автомобилей или автомобилей, которые могут в определенных ситуациях действовать автономно, без команд водителя. Сначала такие автомобили будут ездить в ограниченных, контролируемых пространствах — например, в парках или отдельных городских районах. Впоследствии возможности разработанных систем позволят расширить географию поездок.
Тем не менее мы должны дать возможность всем заинтересованным сторонам подготовиться к надвигающимся изменениям — это особенно важно для покупателей. Поэтому самое главное сейчас — развивать наши технологии, осознавая свою ответственность, используя эволюционный подход, а не торопиться, создавая сырые разработки, что приведет к ошибкам и негативному восприятию таких опций в будущем. Наш важнейший приоритет — безопасность. Автомобилям, использующим недоработанные технологии, не место на дороге!
— Давайте подробнее остановимся на техническом аспекте текущего этапа развития технологии. Какие системы отвечают за этот функционал, какова специфика машинного зрения (особенности работы камер, которые считывают необходимую информацию, и т.д.)? Насколько мы понимаем, технология базируется на использовании не только камер, но и радаров?
— Прежде всего необходимо отметить, что автоматизированное вождение окажет влияние на все сферы, в которых используется автомобиль, и развитие данной технологии требует глубоких экспертных знаний в этой области. Ввиду того, что необходимо компенсировать отсутствие в системе человека, нужны технологии, которые позволят безопасно совершать маневры в потоке автомобилей. Таким образом, для обеспечения безопасного движения в полностью автоматизированном автомобиле необходима информация от многочисленных сенсоров. Данные сенсоры, если можно так выразиться, выполняют функции органов чувств человека.
Старинная поговорка гласит: «Четыре глаза видят лучше двух». Тем не менее компании BOSCH и Daimler используют еще большее число «органов чувств», когда речь идет о полностью автоматизированном вождении: оптические сенсоры, радары, ультразвуковые датчики и лидары сканируют ближнее и дальнее окружающее пространство и помогают автомобилю найти верный путь. Сенсоры отличаются друг от друга не только дальностью действия или расположением на корпусе автомобиля, у них есть свои слабые и сильные стороны.
Только получив комбинированные данные от всех сенсоров (обеспечив так называемое сенсорное слияние), можно создать компьютерную модель окружающего пространства, что позволит соответствовать высоким стандартам безопасности, которые установили для себя компании BOSCH и Daimler. По мнению специалистов обеих компаний, такое условие является основополагающим для создания технологии безопасного автоматизированного вождения. Сенсоры должны предоставлять информацию для мониторинга окружающей среды в реальном времени, и только на основании такой информации контроллер автоматизированного вождения (КАВ), т.е. центральный компьютер полностью автоматизированного, беспилотного автомобиля, может принимать решения и отдавать команды силовым приводам через блок управления движением (БУД).
Кроме того, у компании Daimler есть очень четкий перечень требований к силовым приводам таких автомобилей — в частности, к приводам рулевого управления, акселерации и торможения: в полностью автоматизированном, беспилотном автомобиле Mercedes-Benz все критически важные силовые приводы и сенсоры должны быть продублированы, включая блоки управления и питания. Силовые приводы контролируются через сеть программных модулей, сгруппированных в несколько контрольных блоков. Они не только выполняют команды блока управления движением, но и используют собственные датчики, чтобы точно и надежно фиксировать движение автомобиля, а если нужно — то выполнить один из заранее запрограммированных сценариев.
Такие сценарии включают, например, распознавание и компенсацию воздействия внешних факторов, таких как дорожные неровности или неожиданно возникшая скользкая поверхность. Система также может выполнить безопасную остановку в случае, если команды от КАВ перестали поступать или они явно свидетельствуют о наличии сбоя в работе КАВ.
— Как все это выглядит для водителя? Каков пользовательский опыт?
— Разговор о пользовательском опыте в отношении беспилотного автомобиля — это прежде всего разговор обо всех преимуществах автоматизированного вождения. Несомненно, повышение безопасности является одним из самых главных преимуществ беспилотных автомобилей. Но это далеко не всё. Более того, мы уверены, что автомобиль перерастет свою текущую роль: перестав быть исключительно средством передвижения, он превратится в место отдыха и уединения, станет адаптивным цифровым обитаемым пространством, взаимодействие с которым будет простым и интуитивно понятным. Ввиду того, что вождение будет автоматическим, данное пространство станет невероятно комфортным и безопасным. Для нас важно создать для клиентов дополнительные ценности и возможности, которых нет у наших существующих продуктов. В частности, наших потребителей интересует возможность отказаться от управления автомобилем в определенных ситуациях. Представьте, что ваш автомобиль самостоятельно паркуется, когда вы его оставили у въезда на парковку, а потом встречает вас, когда вы вернулись. Или представьте автомобиль, который приедет к вам, когда это необходимо и куда необходимо. Мы работаем именно над этим.
Другой важной особенностью, которую я хотел бы упомянуть, является то, что полностью автоматизированное вождение поможет пожилым водителям и людям с ограниченными возможностями оставаться мобильными и в то же время получать удовольствие от вождения. Не стоит забывать, что автоматизация вождения изменит повседневную жизнь водителей в огромном числе аспектов, но прежде всего приведет к снижению стресса и нагрузок.
Алексей Сечкин
Директор центра инновационных технологий и решений компании «Инфосистемы Джет»
Комментарий
Сейчас многие автопроизводители уже внедряют элементы «беспилотности», не дожидаясь полной готовности технологий. В целом это пока ближе к помощи в вождении и продвинутому круиз-контролю, хотя некоторые компании уже вплотную приблизились к реализации полноценного автопилота. Audi и BMW предлагают беспилотное движение в пробке, Cadillac — продвинутый круиз-контроль (но только на определенных маршрутах), Nissan — полуавтоматический круиз-контроль (машина сама ускоряется, тормозит и подруливает, но убирать руки с руля нельзя). Mercedes-Benz реализовала автопилот, но руки также нужно держать на руле, поскольку это требование ПДД.
Tesla наиболее приближена к беспилотнику, однако есть требование каждые несколько минут касаться руля, чтобы подтверждать, что водитель на месте. Volvo тоже предлагает практически 100-процентный беспилотник, но также проверяет наличие водителя за рулем.
Мощным драйвером развития беспилотников может стать совершенствование мобильной связи 5G. В ее рамках разработана концепция Vehicle-to-everything (V2X). 5G позволяет передавать большие объемы данных с высокой скоростью и минимальными задержками. Это даст возможность производить необходимые вычисления
не в самом автомобиле, а в облаке, что снизит стоимость машины. Однако при таком подходе существенно повышаются требования к сети передачи данных и облачному ЦОДу. Надежность и киберзащищенность при этом имеют критически важное значение.