Nvidia Drive AI-платформа для самоуправляемых автомобилей

2021: Nvidia Drive следующего поколения

12 апреля 2021 года на своей ежегодной конференции GTC Nvidia следующее поколение платформы DRIVE под названием Atlan. Разработчик называет ее «центром обработки данных на колёсах».

DRIVE Atlan по сути объединяет всю вычислительную инфраструктуру умного автомобиля в одном чипе. Платформа может обеспечить одновременную работу автомобильных систем самоуправления, интеллектуальных бортовых приборов, мультимедийных приложений при высоком уровне безопасности.

В состав DRIVE Atlan входят вычислительные ядра нового поколения с архитектурой ARM, ускорители глубокого обучения и машинного зрения. Заявленная производительность превышает 1000 триллионов операций в секунду.

Образцы DRIVE Atlan, как ожидается, станут доступны в 2023 году, а транспортные средства на базе этой платформы – не ранее 2025 года.

NVIDIA активно сотрудничает с автопроизводителями. В ближайшие шесть лет на дороги выйдут автомобили, оснащенные технологиями NVIDIA Drive, от таких компаний, как Volvo Cars, Mercedes-Benz, NIO, SAIC, TuSimple, Cruise, Zoox, Faraday Future, VinFast и не только.Метавселенная ВДНХ 3.4 т

Полный список анонсов на GTC 2021 доступен здесь.

2018

Внедрение функции распознавания лиц

15 октября 2018 года компания Visionlabs анонсировала внедрение функции распознавания лиц внутри и снаружи автомобиля в платформу Nvidia Drive. По информации компании, эта технология заменит собой ключи, обеспечит «умный» и безопасный доступ к автомобилю, персонализацию, контроль за состоянием водителя.

Платформа Visionlabs Luna может функционировать как плагин на платформе Nvidia Drive IX, работающей от суперкомпьютера Nvidia Drive AGX. Благодаря системе распознавания лиц водителям не понадобится ключ для запуска автомобиля. Камера может узнать владельца автомобиля «издалека» и по мере его приближения подтвердить его личность, чтобы обеспечить бесключевой доступ и персонализацию в управлении автомобилем.

Drive IX позволит автопроизводителям на базе искусственного интеллекта создавать автомобили следующего поколения с принципиально иным подходом к их управлению. На октябрь 2018 года искусственный интеллект для идентификации лица — это уникальная технология. Он должен работать надежно, в то же время позволять распознавать лица безопасным и удобным для пользователя способом. Ратин Кумар, тарший директор по программному обеспечению и руководитель платформы Drive IX в Nvidia

Nvidia Drive IX использует производительность платформы Nvidia Drive AGX, которая позволяет автопроизводителям и поставщикам ускорять производство автоматизированных и автономных транспортных средств. ^[1]

Партнёрство с Continental

5 февраля 2018 года Nvidia и Continental сообщили о партнерстве с целью создания полноценной самоуправляемой автомобильной системы с искусственным интеллектом (ИИ) на базе платформы Nvidia Drive. Система планируется к запуску на рынок в 2021 году. Партнеры планируют создавать вычислительные системы с ИИ разных уровней: от 2-го уровня с частичной автоматизацией до 5-го уровня с полным самоуправлением, в случае которого в автомобиле уже не будет ни руля, ни педалей.

Основная статья Continental Автономные системы вождения

Nvidia Drive IX Intelligent Experience

По данным на январь 2018 года платформа NVIDIA DRIVE IX Intelligent Experience – это набор программных инструментов для создания приложений ИИ, таких, как распознавание лиц для разблокировки машины, восприятие окружения для извещения водителя о возможной опасности, распознавание жестов для управления, распознавание речи для голосового управления и отслеживание взгляда водителя и не только.

Архитектура Nvidia Drive

Архитектура Nvidia Drive позволяет производителям автомобилей создавать и выводить на рынок легковые и грузовые автомобили, которые являются функционально безопасными и могут быть сертифицированы по международным стандартам безопасности, таким, как ISO 26262.

Nvidia Drive является целостной платформой безопасности, которая включает следующие процессоры, технологии и системы моделирования.

• Процесс: определение шагов для создания комплексных методов обеспечения безопасности при разработке, управлении и документировании системы автопилотирования.
• Разработка процессора и функциональность аппаратной части: применение разноплановых процессоров для обеспечения отказоустойчивости. К ним относятся разработанные NVIDIA решения для NVIDIA Xavier™, включающие центральные и графические процессоры, ускоритель глубокого обучения, ISP для обработки изображений, PVA для компьютерного зрения и видеопроцессоры, соответствующие стандартам высочайшего качества и безопасности. Они поддерживают технологию дублированных вычислений lockstep processing и функцию ECC (error-correcting code) в памяти и шинах и наделены возможностями встроенного тестирования. Процессор ASIL-C NVIDIA DRIVE Xavier и микроконтроллер обеспечения безопасности ASIL-D способны обеспечить рейтинг ASIL-D.
• Программная часть: включает лучшие в мире технологии обеспечения безопасности от ключевых партнеров. Операционная система NVIDIA DRIVE включает 64-битную операционную систему реального времени BlackBerry QNX, обладающую сертификатом безопасности ASIL-D, а также фреймворк приложения безопасности TTTech MotionWise, который изолирует приложения друг от друга, одновременно обеспечивая вычисления в реальном времени. ОС NVIDIA DRIVE полностью поддерживает Adaptive AUTOSAR – открытую архитектуру автомобильных систем и фреймворк приложений. Пакет инструментов NVIDIA, включая компилятор CUDA® и TensorRT™, использует уровни классификации инструментов ISO 26262, обеспечивая безопасность и надежность среде разработки.
• Алгоритмы: программный стек автономного автомобиля NVIDIA DRIVE AV выполняет такие функции, как собственное движение, восприятие, локализация и прокладывание маршрута. Для обеспечения отказоустойчивости все функции поддерживают избыточность и многоплановость. Например, избыточность восприятия обеспечивается разнообразием используемых датчиков – лидаров, камер и радаров. Алгоритмы глубокого обучения и компьютерного зрения, работающие на CPU, CUDA GPU, DLA и PVA, повышают избыточность и многоплановость системы. Стек NVIDIA DRIVE AV является системой полного резервного копирования для стека самоуправления, разработанного автопроизводителем, и обеспечивает автомобилям пятого уровня автономности высочайший уровень функциональной безопасности.
• 'Моделирование виртуальной реальности': самоуправляемый автомобиль – это очень сложная система с самыми передовыми технологиями. Ключевая задача – сделать так, чтобы система работала так, как задано, что отражено в термине SoTIF (безопасность заданной функциональности). Система должна работать определенным образом в широком спектре ситуаций и погодных условий. Тестирование на дороге не всегда управляемо, повторяемо, исчерпывающе и быстро, поэтому необходима реалистичная виртуальная среда. NVIDIA создала симулятор виртуальной реальности NVIDIA AutoSIM для тестирования платформы DRIVE и создания редких условий. Работающий на базе суперкомпьютеров NVIDIA DGX™ , NVIDIA AutoSIM используется для регрессионного тестирования и должен смоделировать миллиарды километров дороги.

2017

Nvidia Drive PX Pegasus

10 октября 2017 года компания Nvidia представила компьютер с искусственным интеллектом (ИИ), предназначенный для полностью автономных роботизированных такси.

Система под кодовым названием Pegasus является расширением вычислительной платформы для задач ИИ Nvidia Drive PX, позволяя создавать автопилотируемые автомобили пятого уровня автономности (Level 5). По данным компании, платформа Nvidia Drive PX Pegasus обеспечивает свыше 320 трлн операций в секунду, что в 10 раз больше производительности ее предшественницы Nvidia Drive PX 2.

Nvidia Drive PX Pegasus

Назначение

Nvidia Drive PX Pegasus позволяет создавать транспортные средства, которые могут работать без водителя — полностью автономные, без руля, педалей и зеркал, с интерьером в стиле дома или офиса, способные прибывать по требованию и безопасно доставлять пассажиров в точки назначения, обеспечивая свободу передвижения даже пожилым и людям с ограниченными возможностями.

Спецификации

Nvidia Drive PX Pegasus основана на четырех высокопроизводительных процессорах для задач ИИ. На платформе установлены два новейших SOC-процессора Nvidia с графическими ядрами на базе архитектуры Nvidia Volta, а также два графических процессора нового поколения, предназначенных для ускорения задач глубокого обучения и компьютерного зрения. Эта система обеспечит вычислительные возможности для полностью автономных автомобилей в компьютере размером с номерной знак со значительно меньшим энергопотреблением и стоимостью, утверждают в Nvidia.

Система Pegasus имеет сертификат высокого уровня безопасности ASIL D и оснащена автономными входами/выходами, включая CAN (сеть контроллеров), Flexray, 16 специальных высокоскоростных входов для камер, радаров, лидаров и ультразвуковых датчиков, плюс разъемы 10Gbit Ethernet. Общая пропускная способность памяти превышает 1 терабайт в секунду.

Актуальность

По состоянию на 2017 год, из 225 партнеров, применяющих платформу Nvidia Drive PX, 25 разрабатывают полностью автономные роботакси на базе графических процессоров Nvidia CUDA. Их багажник пока напоминает небольшой дата-центр, в котором установлены стойки компьютеров с серверными GPU Nvidia, выполняющими операции глубокого обучения, компьютерного зрения и параллельных вычислений. Габариты, требования по питанию и стоимость таких систем не позволяет вывести такие автомобили на массовый рынок. Вычислительные требования беспилотных машин в 50-100 раз выше, чем у самых передовых обычных автомобилей с человеком за рулем.

Создание полностью самоуправляемого автомобиля является одной из самых важных задач нашего общества и одной из самых сложных в реализации, — заявил Дженсен Хуанг (Jensen Huang), соучредитель и президент Nvidia. — Pegasus с его рекордной скоростью вычислений в ИИ-задачах и эффективностью позволит обеспечить тот необходимый прорыв, которого так ждет вся индустрия.

Доступность

Pegasus будет доступен для партнеров Nvidia во второй половине 2018 года. Программное обеспечение Nvidia DriveWorks и конфигурации Nvidia Drive PX 2 уже доступны для разработчиков автономных автомобилей и алгоритмов.

Nvidia Drive PX

На октябрь 2017 года, Nvidia Drive PX — одно из решений семейства Nvidia для задач ИИ.

Нейросети, обученные в дата-центрах на суперкомпьютерах для ИИ Nvidia DGX-1, могут работать на платформах Nvidia Drive PX, установленных в автомобилях. Унифицированная архитектура позволяет использовать те же самые программные алгоритмы, библиотеки и инструменты Nvidia Drive, которые работают в дата-центре, для выполнения операций инференса в автомобиле. Такой облачный подход позволяет автомобилям получать обновления "по воздуху", чтобы постоянно, в течение всего срока службы, обогащаться возможностями и функциями.

По данным на октябрь 2017 года, платформа Nvidia Drive PX масштабируется от одного мобильного процессора для автомобилей Level 2+/Level 3 до комбинации из нескольких мобильных процессоров и дискретных GPU для автомобилей Level 5. Эти конфигурации работают на базе единой открытой программной архитектуры. Все это позволяет автопроизводителям и поставщикам переходить от разработки в производство в широком спектре решений — от режима AutoCruise на шоссе до режима AutoChauffeur для поездок от одной точки до другой и до Pegasus для полностью автономных машин.

Nvidia вошла в состав партнерства по внедрению ИИ-технологий

27 июня 2017 года компания Nvidia объявила о стратегическом партнерстве с компаниями ZF и HELLA. Целью партнерства - внедрение технологий искусственного интеллекта в программу сертификации безопасности автомобилей NCAP (New Car Assessment Program). Соглашение неисключительное.

ZF и HELLA представят систему для самоуправляемых автомобилей, в составе которой передние камеры, программный функционал и радарные системы.

Грузовик ZF, (2016)

Цель партнерства - обеспечить рейтинг безопасности NCAP для пассажирских автомобилей, для коммерческого и специального транспорта посредством платформы NVIDIA DRIVE PX с поддержкой технологий [[Искусственный интеллект (ИИ, Artificial intelligence, AI)|искусственного интеллекта (ИИ)]]. NVIDIA DRIVE PX объединяет систему безопасности NCAP и беспилотные возможности в одной платформе.

Платформа NVIDIA DRIVE PX позволит ZF и HELLA разрабатывать программное обеспечение для масштабируемых систем, начиная с систем содействия водителю, которые используют технологии получения данных с камер и радаров для автономного управления.

Создание беспилотного автомобиля – это одна из самых важных задач современного общества и одна из самых сложных в реализации. В результате нашего сотрудничества с ZF и HELLA будут созданы решения для беспилотного вождения на базе ИИ с поддержкой NCAP-безопасности для миллионов автомобилей во всем мире. Дженсен Хуанг (Jensen Huang), сооснователь и генеральный директор NVIDIA

Мы шаг за шагом строим мощную экосистему. ZF недавно стала первым поставщиком, интегрировавшим технологию ИИ NVIDIA для автомобилей и коммерческого транспорта в решение ZF ProAI. Несколько дней назад HELLA и ZF объединили свои усилия в неэксклюзивном партнерстве, и сегодня к нам присоединилась компания NVIDIA, чтобы сделать дороги безопаснее и помочь в развитии автономного вождения. Др. Стэфан Соммер (Dr. Stefan Sommer), генеральный директор ZF Friedrichshafen AG

Объединив наш опыт в разработке технологий получения данных с передних камер и радаров с опытом NVIDIA в разработке платформы для глубокого обучения, мы сможем широко внедрить функции автопилота во многие транспортные сегменты рынка. Др. Рольф Брайденбах (Rolf Breidenbach), генеральный директор HELLA KGaA Hueck & Co.

2016: Nvidia Drive PX 2 AI

Nvidia Drive PX 2 AI - компьютер для задач, связанных с искусственным интеллектом (ИИ).

13 сентября 2016 года компания Nvidia представила Nvidia Drive PX 2 - компьютер для обработки информации и поддержки в решении задач, на основе технологий искусственного интеллекта (ИИ).

Nvidia Drive PX 2, (2016)

Однопроцессорная конфигурация вычислительной платформы Nvidia Drive PX 2 AI с функцией AutoCruise, в составе которой автоматическое ведение машины по автомагистрали и привязка к HD-карте, потребляет 10 Вт и позволяет машинам использовать глубокие сети для обработки данных с многочисленных камер и датчиков. Китайская компания Baidu планирует использовать платформу в качестве автомобильного компьютера для самоуправляемых автомобилей системы «облако-автомобиль».

Компьютер Drive PX 2 поможет автопроизводителям и партнерам ускорить производство автоматизированных и автономных транспортных средств. Автомобиль с компактным компьютером Drive PX 2 и функцией AutoCruise способен в реальном времени понимать, что происходит вокруг, определять свое местоположение на HD-карте и прокладывать безопасный маршрут.

Многие автопроизводители хотят оснастить свои автомобили компьютером с поддержкой ИИ в компактном экономичном форм-факторе. NVIDIA Drive PX 2 решает эту задачу для OEM-производителей и наших ведущих партнеров и дополняет существующее решение Nvidia для дата-центров для мэппинга и обучения. Роб Чонгор (Rob Csongor), вице-президент и директор по автомобильным решениям в Nvidia

Платформу Drive PX используют более 80 автопроизводителей, поставщиков, стартапов, исследовательских институтов, работающих над решениями для автономных транспортных средств. Архитектуру Drive PX 2 можно масштабировать от одного мобильного процессора до связки из двух мобильных процессоров и двух дискретных GPU, до системы из нескольких компьютеров Drive PX 2. Возможность масштабирования решения позволяет производителям быстро переходить от стадии разработки к производству широкого спектра самоуправляемых решений — от AutoCruise для автомагистралей до AutoChauffeur для передвижения из пункта А в точку Б и, наконец, до полностью автономного автомобиля.

Nvidia Drive PX – часть семейства вычислительных решений Nvidia для задач ИИ. Специалисты, которые тренируют глубокие сети в дата-центре на NVIDIA DGX-1, могут запускать их на Nvidia Drive PX 2 в автомобиле. В автомобиле используются те же самые алгоритмы, библиотеки и инструменты Nvidia DriveWorks, что применяются и в дата-центрах.

В основе комплексного решения унифицированная архитектура Nvidia для решения задач ИИ. В течение всего срока службы автомобиля решение будет получать беспроводные обновления для добавления технологий и возможностей.

Nvidia DRIVE PX 2 создан на основе "системы-на-чипе (SOC)" и оснащен графическим процессором на основе архитектуры Nvidia Pascal. Конфигурация на платформе одной системы-на-чипе NVIDIA Parker может обрабатывать данные с многочисленных камер, лидаров, радаров и ультразвуковых датчиков. Поддерживается автоматический ввод/вывод, включая Ethernet, CAN и Flexray.

Однопроцессорный компьютер Drive PX 2 будет доступен для производителей в четвертом квартале 2016 года, заявила пресс-служба компании.

ПО DriveWorks и конфигурация Drive PX 2 с двумя системами-на-чипе и двумя дискретными GPU доступны для разработчиков, работающих над решениями для автономных транспортных средств.

Робототехника

Примечания