Колко са успешни подобни изображения
Марката сподели, че започва да използва AI за генериране на изображения в камера за симулация. За целта ще се позовават на сензорни данни, събрани от собствените им превозни средства, които са в движение. Разработките са плод на изследователите на компанията. Използвани са текстурирани повърхностни елементи за реконструкция на сцени. Чрез тях ще се образуват различни позиции и ориентации.
Waymo
Компании за автономни превозни средства като Waymo използват симулационни среди. Така те обучават, тестват и утвърждават своите системи, преди те да бъдат внедрени в автомобили от реалния свят. Има безброй начини за проектиране на симулации, включително представяне на обекти от средно ниво, но основните опити пропускат сигнали, критични за възприемането на сцената, като жестове на пешеходци или мигащи светлини.
Що се отнася до по-сложните симулатори, като CarCraft на Waymo, те са компютърно взискателни, тъй като се опитват да моделират материалите много точно. Така сензорите като лидар и различни видове радари се държат реалистично.
Иноваторите предлагат по-опростен подход. Той е управляван от данни за симулиране на сензорите. Извличайки информация от камери в реално време, AI създава и запазва богата 3D геометрия, семантиката и външен вид на всички обекти в сцената. Предвид реконструкцията, SurfelGAN изготвя симулирани сцени от различни разстояния и ъгли на видимост.
Този нов подход позволява генерирането на реалистични изображения за симулация, използвайки сензорни данни, събрани от самоуправляващо се превозно средство. Когато траекторията на самостоятелно управляващ се автомобил и други участници в пътната обстановка се променя, системата генерира реалистични данни за визуалните сензори. Те помагат да се моделира сцената в актуализираната среда.
SurfelGAN
SurfelGAN използва подобрено представяне на карти. То е компактно, лесно за реконструиране и представяне на сцената, което запазва информацията на сензора. Същевременно не променя разумната изчислителна ефективност. Surfel (съкратен термин за „повърхностен елемент“) представлява дискове, съдържащи различна информация. Сканирането с lidar ги превръща в дискове с цветове, изчислени от данните на камерата. В допълнение те се обработват, за да адресират вариациите в осветлението и позирането.
За да борави с динамични обекти като превозни средства, програмата използва и пояснения от данните на Waymo Open. Сканирането на лидарни обекти представлява натрупване, така че при симулация Waymo може да генерира реконструкции на автомобили и пешеходци, които могат да бъдат поставени на всяко място, макар и с несъвършена геометрия и текстуриране.
Един модул в SurfelGAN е отговорен за преобразуването на изкуствени изображения в реалистично изглеждащи обекти. Неговите модели произвеждат синтетични примери от произволен шум, изведен чрез използване на разпределение. Заедно с реални данни се опитва да възпроизведе истинската среда. Синтезираните примери са с по-добра от очакваната вероятност, около 50% точност.
Waymo SurfelGAN
Модулът SurfelGAN извежда модели в рамките на вероятното, без да се позовава на известни резултати. Всеки път когато програмата правилно идентифицира синтезирано произведение, тя сигнализира на генераторите как да настроят своята продукция, за да могат да бъдат по-реалистични в бъдеще.
Обещаващи резултати
Waymo проведе поредица от експерименти, за да оцени представянето на SurfelGAN, като зареди 798 тренировъчни варианта. Всеки от тях се състои от 20 секунди данни от камерата и лидарни данни. Включва също пояснения за превозни средства, пешеходци и велосипедисти. Екипът на SurfelGAN създаде и използва нов набор от данни, наречен Waymo Open Dataset-Novel View. На тях липсват изображенията от камерата, но пресъздават сцени и изображения от реални пози. Това се прави с цел създаване на едно ново изображение за всеки кадър в оригиналния набор от данни.
Waymo събра допълнителни поредици от общо 9 800 кадъра. За всяка от тях бе направен корпус, наречен Dual-Camera-Post Dataset (DCP), за да измери реалистичността на генерираните от изображения. DCP се занимава със сценарии, при които две превозни средства наблюдават една и съща сцена едновременно, докато Waymo използва данни от първото превозно средство за реконструиране на сцените, а второто превозно средство, възпроизвежда около 1000 двойки за преценка на точността на пиксела.
Waymo SurfelGAN
Когато изображенията генерирани от SurfelGAN, са били подадени на автоматизираната система за управление, тези с най-високо качество постигат показател наравно с реалните такива. DCP създава изображения по-близки до реалните. Изследователите демонстрираха, че изображенията от SurfelGAN могат да повишат средната точност на детектора на превозно средство от 11,9% до 13%.
Програмата не е перфектна. Понякога не може да се възстанови нарушената геометрия, което води до нереалистично изглеждащи превозни средства. AI проявява голяма дисперсия, особено когато се опитва да интегрира модели, необичайни в набора от данни, като високи сгради. Въпреки това, изследователите на компанията смятат, че това е стабилна основа за бъдещо динамично моделиране на обекти и видео.
Симулацията е жизненоважен инструмент за развитието на технологията за самостоятелно шофиране, която ни позволява да изберем и проиграем най-интересните и сложни сценарии от над 20 милиона автономни километра по обществените пътища. Способността за точно симулиране на сензорите на превозното средство е много важна.
