Беспилотные машины в центре Москвы мы увидим еще не скоро…

Евгений Бурнаев: Здесь нужен небольшой исторический экскурс. В середине 2000-х я работал над проектами для компании Airbus: мы одними из первых в индустрии начали использовать методы машинного обучения для задач инженерного проектирования и оптимизации. В течение нескольких лет я руководил разработкой соответствующей программной библиотеки, которая в итоге позволила автоматизированным образом строить модели для прогноза характеристик сложных инженерных изделий — например, прогнозировать подъемную силу крыла самолета и оптимизировать его геометрию. Сейчас эта библиотека встроена в коммерческий продукт, который востребован у инжиниринговых компаний, в основном западных. В 2015 г. я перешел в Сколтех, где руковожу научной группой ADASE (Advanced Data Analytics in Science and Engineering Group). Мы занимаемся применением машинного обучения в разных облас­тях и разработкой новых алгоритмов.

У научной группы есть три глобальных направления работы: 3D-компьютерное зрение и глубинное обучение; инженерные приложения (например, предиктивные модели) и рекомендательные системы; медицинские приложения. Естественно, все это основано на современных методах машинного обучения, нейросетях и т.п., для чего мы активно ведем и фундаментальные исследования.

Алексей Артемов: По направлению «3D-компьютерное зрение и глубинное обучение» мы занимаемся разработкой различных методов машинного обучения для обработки геометрических данных. Это прежде всего данные, генерируемые в процессе лазерного сканирования, при обработке многовидовых фотографий. Мы нацелены на построение точных трехмерных моделей на основе этих данных.

Алексей Артемов: В основном эти особенности связаны с требованиями, которые предъявляются к беспилотным автомобилям. Бортовой компьютер должен принимать решения в режиме реального времени, так что алгоритмы компьютерного зрения должны соответствовать определенному уровню производительности. Вы не можете на скорости 100 км/ч потратить на принятие решения целую секунду, отсюда возникает сразу несколько дополнительных задач: как сжать нейросеть и какое железо использовать, чтобы она обрабатывала данные максимально быстро. Второй момент: алгоритмы должны быть узкоспециализированными. Функционирование объекта, на котором они используются, подразумевает соблюдение определенных правил, в частности ПДД. 

Евгений Бурнаев: Да, когда мы говорим об общематематических и алгоритмичес­ких задачах, это одна ситуация. Когда же речь идет о практических решениях, всегда возникают нюансы, которых не бывает в общих задачах машинного обучения, таких как, например, классификация объектов. В данном случае это могут быть проблемы со знаками или с разметкой. Другой пример — планирование управления автомобилем, эта задача чуть ли не более сложная, чем упомянутая задача классификации. 

Алексей Артемов: В контексте задачи управления нужно в первую очередь учитывать ПДД. Вы можете правильно распознать дорогу, но, например, не заметить знака «Поворот налево запрещен» и таким образом нарушить правила. К тому же необходимо очень точно распознавать поведение других участников движения, причем в динамике, на высокой скорости и в сложных погодных условиях. В такой ситуации должны работать как алгоритмы компьютерного зрения (например, алгоритмы сопровождения целей), так и определенный программный слой, который гарантирует соблюдение и ПДД, и правил безопасности. Также необходим более низкоуровневый функционал, обеспечивающий, например, плавный ход автомобиля при соблюдении ПДД, чтобы он не ехал рывками. 

Алексей Артемов: Вы говорите о так называемой парадигме sensor fusion, которая, насколько мне известно, пока ни у кого полноценно не реализована. И дело не в том, что это дорого, а в том, что сложно. Если мы говорим об обычных изображениях, например об аэрофотосъемке, сущес­твуют эффективные алгоритмы их обработки и объединения признаков, которые извлекаются из изображений. Это позволяют делать сверточные нейронные сети, работа над которыми ведется уже давно, соответственно, они достигли определенного уровня алгоритмической зрелости. С данными, представленными в виде облаков точек, которые и обрабатываются в случае sensor fusion, пока все не так хорошо. 

Евгений Бурнаев: Когда говорят о глубоких нейронных сетях, в первую очередь имеют в виду сверточные сети, которые работают с изображениями. Но при большом количестве информации с нескольких видов сенсоров инструменты, которые были разработаны исключительно для видео или статичных изображений, не пригодны. Необходимо разрабатывать новые архитектуры этих сетей, новые низко­уровневые алгоритмы. И сейчас мы занимаемся этими задачами.

Алексей Артемов: Конечно, она обрабатывается непосредственно в машине. Во-первых, беспилотные автомобили должны моментально принимать решения, вы не можете позволить себе передачу данных. Во-вторых, во время движения автомобиля регистрируется огромный объем сенсорных данных — по моим оценкам, десятки гигабайт в минуту. Всю эту информацию просто бессмысленно отправлять по сети. Поэтому в машину фактически вмонтирован системный блок, в котором установлено производительное и поэтому дорогое железо: несколько графических ускорителей, мощный процессор. И всё это стоит в багажнике. 

Евгений Бурнаев: Сейчас в профессиональной среде идет обсуждение, стоит ли передавать определенные типы данных в облако, чтобы таким образом решать ряд задач. Например, по показаниям акселерометра можно детектировать проблему с дорожным полотном, и подобные эксперименты сейчас проводятся в Германии. Объем данных при этом несопоставим с тем, который нужно обрабатывать при решении стандартных задач беспилотного вождения. 

Евгений Бурнаев: Так и есть. В беспилотниках устанавливается сложное и дорогостоящее железо, и поэтому сейчас это никак нельзя назвать тривиальным и тиражируемым решением.

Алексей Артемов: Стоимость одного высококачественного лазерного сенсора с охватом в 50 метров — 30–40 тыс. долл. Можно использовать вместо них лидары с 16 лучами, но даже тогда стоимость составит 8–10 тыс. долл. за штуку, а их нужно 2–3 на машину. Остальные сенсоры тоже стоят денег: GPS с Real Time Kinematic, IMU-сенсоры, радары. Плюс нужно устройство обработки данных, которое вы назвали встроенным компьютером. Даже самое прос­тое по характеристикам устройство будет стоить порядка 2 тыс. долл. Таким образом, цена полного комплекта, не считая самой машины, будет начинаться примерно от 50 тыс. долл. Кстати, обычно для экспериментов берут Toyota Prius, так как в ней хорошо проработан интерфейс взаимодействия с шиной управления. К начальной стоимости машины нужно добавить еще столько же за электронную начинку, и вы получите ценник за беспилотник.

Алексей Артемов: Это, безусловно, трагичный случай. Но если рассмотреть его с точки зрения инженерно-технических задач, следует признать, что алгоритмы распознавания изображений зачас­тую допускают и более глупые ошибки. Сейчас существует целое направление научной работы, его задачей является поиск способов того, как можно обмануть нейронные сети, чтобы потом устранить выявленные недостатки. Итогом этой работы является улучшение алгоритмов нейронных сетей. 

Что касается случая в Аризоне, я подозреваю, что распознавание до определенного уровня уверенности (по-видимому, недостаточного для принятия решения) все же произошло. Видеокамера видела женщину в течение нескольких секунд, автопилот мог распознать цель, захватить ее и сопровождать. Видимо, была допущена определенная алгоритмическая ошибка. 

Евгений Бурнаев: Что касается упомянутого события, эта женщина переходила дорогу с велосипедом в неположенном месте в вечернее время, фактически выскочила из темной зоны перед беспилотником. Обычные водители регулярно допускают подобные ошибки, и беспилотники тоже будут их допускать, как минимум на начальном этапе. Вопрос в том, каков будет процент этих случаев и на сколько процентов он будет меньше или больше, чем у водителей-людей. Другой важный момент: кто в итоге должен нести ответственность за ошибки машины. Эта проблема пока не решена.

Алексей Артемов: Если видишь препятствие, нужно остановиться. Как правило, так работают большинство алгоритмов. В то же время есть определенный программный слой, который рассчитывает потенциальные траектории движения окружающих объектов и соответствующим образом планирует движение машины. И если перед автомобилем находится пешеход, он пропустит или объедет его. Мы наблюдаем это на практике у себя в Сколково, когда беспилотники объезжают людей на дорогах. 

При этом очень сложно предусмотреть все возможные ситуации. Коллеги из Waymo (дочерняя компания Alphabet, разрабатывает технологии для беспилотников) не так давно тестировали машину, и та остановилась на дороге по непонятной причине. Оператор выяснил, что именно случилось: машина не знала, как ей поступить, потому что прямо перед ней бабушка на инвалидном кресле гонялась за гусем. Подобную ситуацию не предскажешь, обучающую выборку для таких случаев сформировать невозможно. Самый разумный способ решения проблемы — сигнализировать людям о препятствии. 

Алексей Артемов: Эта проблема относится ко всем алгоритмам компьютерного зрения. Существуют так называемые незеркальные объекты, которые рассеивают свет, и поэтому их поверхности выглядят матовыми. Алгоритмы, которые нацелены на их обработку, — это обычные алгоритмы. Если же мы говорим о таких поверхностях, как стекла или зеркала, стандартными решениями не обойтись. Представьте современный тренажерный зал: зеркала, окна, огромное количество мелких деталей. Для алгоритма компьютерного зрения работа в условиях такой окружающей среды — сверхсложная задача. Как правило, современные нейросети в таких условиях не смогут распознавать объекты.

Евгений Бурнаев: Цель беспилотников в том, чтобы люди в автомобиле занимались своими делами. Возможно, есть смысл фиксировать происходящее в машине на случай, если человеку станет плохо. Но это не главная задача, чтобы решать ее в первую очередь. Кстати, подобное решение целесообразно использовать в фурах-рефрижераторах, чтобы фиксировать состояние водителей: их сосредоточенность, степень усталости, как они выполняют определенные действия и т.д. 

Алексей Артемов: С одной стороны, разметка помогает локализовать автомобиль в пространстве — это критичное требование для работы беспилотников, а GPS далеко не всегда работает с высокой точностью. С другой, я не считаю дорожную разметку строго обязательной для функционирования беспилотных автомобилей. Я видел заезды, когда беспилотная машина ехала по занесенной снегом трассе, она воспринимала более темный и примятый снег как дорогу, в отличие от высоких сугробов на обочинах. Такого уровня распознавания достаточно, чтобы беспилотник продолжал движение. 

Алексей Артемов: Здесь есть два аспекта. Первый: безусловно, дороги в России и Германии отличаются, поэтому для беспилотных автомобилей из другой страны необходимо будет применять другие данные, соответствующие нашей действительности. И возможно, эффективность алгоритма будет снижена. Второй: пока производители и разработчики заняты более насущными проблемами, решение обозначенной задачи — вопрос явно не ближайшего будущего.

Евгений Бурнаев: Проблема, о которой вы говорите, возникнет, когда беспилотные автомобили будут запускаться на национальных уровнях. Пока же нам важнее решить инженерные задачи, чтобы беспилотники хотя бы стабильно работали. Поэтому на данный момент испытания ограничены полигонами, конкретными улицами и трассами. Более того, когда испытания на полигонах закончатся, начнутся проблемы, связанные с законотворчеством и человеческой психологией. С законами в целом все понятно, а вот второй момент — восприятие людьми беспилотников — значительно сложнее. Представить себе, что люди для развлечения будут выходить на дорогу и останавливать движение на трассах, несложно. Обычный водитель может выйти из машины и доступно объяснить хулигану, что нужно отойти в сторону. Беспилотник так не сделает. И здесь возникает масса вопросов.

Евгений Бурнаев: Беспилотники будут применяться в B2B: работа в карьерах, сельское хозяйство, логистика. О повсеместном использовании даже в отдаленной перспективе говорить пока не приходится. 

Алексей Артемов: В2В будет, безусловно, заинтересован в использовании этой технологии. В2С-сегмент… Если вы говорите о беспилотных автомобилях в центре Москвы, то я к этому отношусь крайне скептически — сделать это практически невозможно. Огромное количество пешеходов, обилие дорожных знаков и светофоров, периодическое перекрытие дорог. В условиях такой информационной перегруженности очень сложно работать. На мой взгляд, на рынке В2С пока самым интересным вариантом выглядит внедрение беспилотников на некоторых магистралях — например, на Ленинском проспекте. По нему уже ходят автобусы-экспрессы, и ничто не мешает в ближайшей перспективе сделать их беспилотными.