Напредак у компјутерском виду подстиче аутономију транспорта

Визија је моћан људски сензорни унос. Омогућава сложене задатке и процесе које узимамо здраво за готово. Са повећањем АоТ™ (аутономије ствари) у различитим применама, од транспорта и пољопривреде до роботике и медицине, улога камера, рачунара и машинског учења у обезбеђивању визије и спознаје попут људи постаје значајна. Компјутерска визија као академска дисциплина узела је маха 1960-их, првенствено на универзитетима који се баве новим областима вештачке интелигенције (АИ) и машинског учења. То је драматично напредовало у наредне четири деценије како је постигнут значајан напредак у полупроводничким и рачунарским технологијама. Недавни напредак у дубоком учењу и вештачкој интелигенцији додатно је убрзао примену компјутерског вида како би се обезбедила перцепција и спознаја окружења у реалном времену, са малим кашњењем, омогућавајући аутономију, безбедност и ефикасност у различитим апликацијама. Саобраћај је једна област која је имала значајне користи.

ЛиДАР (Лигхт Детецтион анд Рангинг) је активан приступ оптичког снимања који користи ласере за одређивање 3Д окружења око објекта. То је једна од технологија коју решења компјутерског вида (која се ослањају искључиво на амбијентално светло и не користе ласере за 3Д перцепцију) покушавају да поремете. Заједничка тема је да људским возачима није потребан ЛиДАР за перцепцију дубине, па тако ни машине. Тренутне комерцијалне Л3 функције аутономне вожње (потпуна аутономија у одређеним географским подручјима и временским условима, са возачем спремним да преузме контролу у року од неколико секунди) производи данас користите ЛиДАР. Чисто засноване на визији још увек нису биле у могућности да понуде ову могућност комерцијално.

РЕКЛАМА

ТеслаТСЛА
је доминантан заговорник коришћења компјутерског вида заснованог на пасивној камери за обезбеђивање аутономије путничког возила. Током недавног догађаја компаније АИ Даи, Елон Муск и његови инжењери пружили су импресивну презентацију његове АИ, управљања подацима и рачунарских могућности које подржавају, између осталих иницијатива, функцију Фулл Селф Дривинг (ФСД) на више Теслиних модела. ФСД захтева да људски возач буде ангажован у задатку вожње у сваком тренутку (што је у складу са Л2 аутономијом). Тренутно је ова опција доступна на 160,000 возила купљених од стране купаца у САД и Канади. Пакет од 8 камера на сваком возилу пружа мапу заузетости од 360°. Подаци камере (и други) из ових возила се користе за обуку њихове неуронске мреже (која користи аутоматско означавање) за препознавање објеката, исцртавање потенцијалних путања возила, одабир оптималних и активирање одговарајућих контролних радњи. Око 75 ажурирања неуронске мреже догодило се у последњих 12 месеци (~1 ажурирање сваких 7 минута) пошто се нови подаци непрестано прикупљају и откривају грешке у означавању или маневрисање. Обучена мрежа извршава акције планирања и контроле преко уграђене, редундантне архитектуре наменске рачунарске електронике. Тесла очекује да ће ФСД на крају довести до аутономних возила (АВ), која обезбеђују потпуну аутономију у одређеним доменима оперативног дизајна без потребе за ангажовањем човека (такође се назива аутономија Л4).

Друге компаније као што су Пхиар, Хелм.аи и НОДАР такође прате авенију компјутерског вида. НОДАР има за циљ да значајно прошири опсег слике и 3Д перцепцију система стерео камера тако што ће научити да се прилагођава неусклађености камере и ефектима вибрација путем патентираних алгоритама машинског учења. Недавно је прикупио 12 милиона долара за производњу свог водећег производа, Хаммерхеад™, који користи „готове“ камере за аутомобиле и стандардне рачунарске платформе.

Осим цене и величине, чест аргумент против коришћења ЛиДАР-а је да има ограничен домет и резолуцију у поређењу са камерама. На пример, данас су доступни ЛиДАР-ови са дометом од 200 м и 5-10 М тачака/секунди (ППС сличан резолуцији). На 200 м, мале препреке као што су цигле или остаци гума ће регистровати врло мало тачака (можда 2-3 у вертикалном и 3-5 у хоризонталном правцу), што отежава препознавање објеката. Ствари постају још грубље на дужим дометима. Поређења ради, стандардне мегапикселне камере које раде на 30 Хз могу да генеришу 30М пиксела/секунди, омогућавајући супериорно препознавање објеката чак и на великим удаљеностима. Напредније камере (12 М пиксела) то могу још више повећати. Питање је како искористити ове огромне податке и произвести перцепцију која се може применити са кашњењем на нивоу милисекунди, малом потрошњом енергије и лошим условима осветљења.

РЕКЛАМА

Рецогни, компанија са седиштем у Калифорнији, покушава да реши овај проблем. Према речима извршног директора Марка Болита, његова мисија је да „пружају надљудску визуелну перцепцију за потпуно аутономна возила.” Компанија је основана 2017. године, прикупила је 75 милиона долара до данас и има 70 запослених. РК Ананд, алум компаније Јунипер Нетворкс, један је од суоснивача и главни директор производа. Он верује да коришћење камера веће резолуције, са > 120 дБ динамичког опсега, које раде са великом брзином кадрова (на пример, ОнСеми, Сони и Омнивисион) обезбеђује податке потребне за креирање 3Д информација високе резолуције, што је критично за реализацију АВ-а. Омогућавају ово:

1. Прилагођено дизајнирани АСИЦ-ови за ефикасну обраду података и производњу тачних 3Д мапа у високој резолуцији околине аутомобила. Они су произведени по ТСМЦ 7 нм процесу, са величином чипа од 100 мм², који раде на фреквенцији од 1 ГХз.
2. Власнички алгоритми за машинско учење за обраду милиона тачака података ван мреже како би се створила обучена неуронска мрежа, која онда може ефикасно да ради и континуирано учи. Ова мрежа обезбеђује перцепцију и укључује класификацију и детекцију објеката, семантичку сегментацију, детекцију трака, саобраћајне знакове и препознавање семафора
3. Минимизирање операција складиштења и множења ван чипа које су енергетски интензивне и стварају велико кашњење. Рецогни-јев АСИЦ дизајн је оптимизован за логаритамску математику и користи сабирање. Даља ефикасност се остварује оптималним груписањем тежина у обученој неуронској мрежи.

Током фазе обуке, комерцијални ЛиДАР се користи као темељна истина за тренирање података стерео камере високе резолуције и високог динамичког опсега како би се издвојиле информације о дубини и учиниле их отпорним на неусклађеност и ефекте вибрација. Према г. Ананду, њихова имплементација машинског учења је толико ефикасна да може да екстраполира процене дубине изван опсега обуке које обезбеђује калибрациони ЛиДАР (који обезбеђује основну истину до опсега од 100 м).

РЕКЛАМА

Горе наведени подаци о обуци спроведени су током дана са стерео паром камера од 8.3 мегапиксела које раде при брзини кадрова од 30 Хз (~0.5 Б пиксела у секунди). Он демонстрира способност обучене мреже да извуче 3Д информације у сцени изван опсега од 100 м са којим је обучена. Рецогнијево решење такође може да екстраполира своје учење са дневним подацима на ноћне перформансе (слика 2).

РЕКЛАМА

Према г. Ананду, подаци о домету су тачни до 5% (на великим дометима) и близу 2% (на краћим дометима). Решење обезбеђује 1000 ТОПС (трилиона операција у секунди) са латенцијом од 6 мс и потрошњом енергије од 25 В (40 ТОПС/В), што је лидер у индустрији. Конкуренти који користе целобројну математику су > 10Кс нижи по овом показатељу. Рецогнијево решење је тренутно у тестирању код више добављача прве класе у аутомобилској индустрији.

Пророк („предвиђање и гледање где је акција“), са седиштем у Француској, користи своје камере засноване на догађајима за АВ, напредне системе за помоћ возачу (АДАС), индустријску аутоматизацију, потрошачке апликације и здравствену негу. Основан 2014. године, компанија је недавно затворила свој Ц круг финансирања од 50 милиона долара, са укупно 127 милиона долара прикупљених до данас. Ксиаоми, водећи произвођач мобилних телефона, један је од инвеститора. Пропхесееов циљ је да опонаша људски вид у коме рецептори у мрежњачи реагују на динамичке информације. Људски мозак се фокусира на обраду промена у сцени (посебно за вожњу). Основна идеја је да се користе архитектуре камере и пиксела које детектују промене у интензитету светлости изнад прага (догађаја) и дају само ове податке рачунарском стеку за даљу обраду. Пиксели раде асинхроно (не уоквирени као у обичним ЦМОС камерама) и на много већим брзинама јер не морају да интегришу фотоне као у конвенционалној камери заснованој на оквирима и чекају да цео кадар заврши ово пре очитавања података. Предности су значајне – мањи пропусни опсег података, кашњење у одлучивању, складиштење и потрошња енергије. Први комерцијални ВГА сензор вида заснован на догађајима имао је висок динамички опсег (>120 дБ), ниску потрошњу енергије (26 мВ на нивоу сензора или 3 нВ/догађај). Такође је лансирана ХД (Хигх Дефинитион) верзија (заједно развијена са Сони-јем), са водећим у индустрији величином пиксела (< 5 μм).

РЕКЛАМА

Ови сензори чине језгро Метависион® платформе сенсинга, која користи вештачку интелигенцију да обезбеди паметну и ефикасну перцепцију за аутономне апликације и под проценом је више компанија у транспортном простору. Осим перцепције усмерене ка напред за АВ и АДАС, Пропхесее је активно ангажован са клијентима за надзор возача у кабини за Л2 и Л3 апликације, погледајте слику 4:

Могућности за аутомобилску индустрију су уносне, али циклуси дизајна су дуги. Током протекле две године, Пропхесее је приметио значајно интересовање и привлачност у простору машинског вида за индустријску примену. То укључује брзо бројање, површинску инспекцију и праћење вибрација.

РЕКЛАМА

Пропхесее је недавно најавио сарадњу са водећим програмерима система машинског вида како би се искористиле могућности у индустријској аутоматизацији, роботици, аутомобилској индустрији и Интернету ствари (Интернет ствари). Друге непосредне могућности су корекција замућења слике за мобилне телефоне и АР/ВР апликације. Они користе сензоре нижег формата од оних који се користе за дугорочне АДАС/АВ могућности, троше још мању енергију и раде са знатно мањим кашњењем.

Израел је водећи иноватор у високој технологији, са значајним улагањима у предузећа и активним старт-уп окружењем. Од 2015. године дошло је до око 70 милијарди долара инвестиција у технолошком сектору.. Део тога је у области компјутерског вида. Мобилеие је предводио ову револуцију 1999. године када је Амнон Схасхуа, водећи истраживач АИ на Хебрејском универзитету, основао компанију да се фокусира на перцепцију засновану на камери за АДАС и АВ. Компанија је поднела захтев за ИПО 2014. године и купио ју је ИнтелИНТЦ
2017. за 15 милијарди долара. Данас је лако водећи играч у домену компјутерске визије и АВ, а однедавно објавила своју намеру да поднесе захтев за ИПО и постати самосталан ентитет. Мобилеие је имао приход од 1.4 милијарде долара годишње и скромне губитке (75 милиона долара). Пружа могућности компјутерског вида за 50 ОЕМ произвођача који га користе у 800 модела аутомобила за АДАС могућности. У будућности, намеравају да предводе у аутономији возила Л4 (није потребан возач) користећи ову експертизу компјутерског вида и ЛиДАР могућности засноване на Интеловој силиконској фотоници платформи. Процена Мобилеие-а се процењује на ~50 милијарди долара када коначно изађу на берзу.

РЕКЛАМА

Цхампел Цапитал, са седиштем у Јерусалиму, је на челу улагања у компаније које развијају производе засноване на компјутерском виду за различите примене од транспорта и пољопривреде до безбедности и безбедности. Амир Вајтман је суоснивач и управљачки партнер и покренуо је своју компанију за улагања 2017. Први фонд је уложио 20 милиона долара у 14 компанија. Једна од њихових инвестиција била је у Инновиз, који је ушао у јавност спајањем СПАЦ-а 2018. и постао ЛиДАР једнорог. На челу са Омером Кеилафом (који је био из технолошке јединице Обавештајног корпуса Израелских одбрамбених снага), компанија је данас лидер у примени ЛиДАР-а за АДАС и АВ, са вишеструким победама у дизајну у БМВ-у и Волксваген-у.

Други фонд Цхампел Цапитал-а (Импацт Дееп Тецх Фунд ИИ) покренут је у јануару 2022. и до данас је прикупио 30 милиона долара (циљ је 100 милиона долара до краја 2022.). Доминантан фокус је на компјутерском виду, са 12 милиона долара распоређених у пет компанија. Три од њих користе компјутерски вид за транспорт и роботику.

ТанкУ, са седиштем у Хаифи, почела је са радом 2018. године и прикупила 10 милиона долара финансирања. Дан Валдхорн је извршни директор и дипломирао је на Јединици 8200, елитне високотехнолошке групе у оквиру Израелских одбрамбених снага одговорне за обавештајне сигнале и дешифровање кода. ТанкУ-ови СааС (Софтвер као услуга) производи аутоматизују и обезбеђују процесе у сложеним спољашњим окружењима који опслужују возила и возаче. Ове производе користе власници возних паркова, приватних аутомобила, бензинских и електричних пунионица како би спречили крађу и преваре у аутоматизованим финансијским трансакцијама. Услуге горива за возила остварују око 2Т глобалних прихода годишње, од чега власници приватних и комерцијалних возила троше 40% или 800 милијарди долара. Продавци и власници возних паркова губе око 100 милијарди долара годишње због крађе и преваре (на пример, коришћење картице за гориво флоте за неовлашћена приватна возила). ЦНП (Цард нот пресент) превара и неовлашћено мењање/крађа горива су додатни извори губитка, посебно када се подаци украдене картице користе у мобилним апликацијама за плаћања.

РЕКЛАМА

Производ компаније ТУфуел олакшава безбедно плаћање једним додиром, блокира већину врста превара и упозорава купце када посумњају на превару. То ради на основу АИ мотора обученог на подацима из постојећих ЦЦТВ уређаја у овим објектима и подацима о дигиталним трансакцијама (укључујући ПОС и друге позадинске податке). Параметри као што су путања и динамика возила, ИД возила, време путовања, километража, време пуњења горива, количина горива, историја горива и понашање возача су неки атрибути који се прате да би се открила превара. Ови подаци такође помажу продавцима да оптимизују рад сајта, повећају лојалност купаца и примене маркетиншке алате засноване на визији. Према речима извршног директора Дана Валдхорна, њихово решење открива 70% флоте, 90% кредитних картица и 70% случајева преваре у вези са неовлашћеним приступом.

Сонол је компанија за енергетске услуге која поседује и управља мрежом од 240 станица и продавница широм Израела. ТУфуел је распоређен на њиховим локацијама и показао је побољшану сигурност, превенцију превара и лојалност купаца. Пробе производа су у току у САД у сарадњи са водећим светским добављачем бензинских пумпи и опреме за продавнице. Сличне иницијативе су у току и у Африци и Европи.

РЕКЛАМА

Са седиштем у Тел-Авиву ИТЦ основали су академици машинског учења са Универзитета Бен-Гурион 2019. ИТЦ креира СааС производе који „измерите проток саобраћаја, предвидите застоје и ублажите их паметном манипулацијом семафорима – пре него што почну да се стварају гужве. Слично као и ТанкУ, он користи податке са готових камера (већ инсталираних на бројним саобраћајним раскрсницама) за добијање података о саобраћају уживо. Анализирају се подаци са хиљада камера широм града, а параметри као што су тип возила, брзина, смер кретања и редослед типова возила (камиони или аутомобили) се издвајају применом власничких АИ алгоритама. Симулације предвиђају проток саобраћаја и потенцијалне саобраћајне гужве до 30 минута унапред. На основу ових резултата семафори се прилагођавају како би се уједначио проток саобраћаја и спречиле гужве.

Обука АИ система траје месец дана визуелних података у типичном граду и укључује комбинацију учења под надзором и без надзора. Решење ИТЦ-а је већ распоређено у Тел-Авиву (на 25. месту међу најзакрченијим градовима на свету 2020. године), са хиљадама камера постављеним на стотинама раскрсница које контролишу семафори. ИТЦ-ов систем тренутно управља са 75 возила, за које се очекује да ће наставити да расте. Компанија инсталира а слична способност у Луксембургу и почиње суђења у већим америчким градовима. Глобално, његово решење управља са 300,000 возила са оперативним локацијама у Израелу, САД, Бразилу и Аустралији. Двир Кениг, ЦТО, је страствен у решавању овог проблема – да људима врати лично време, смањи гасове стаклене баште, побољша укупну продуктивност и што је најважније, смањи несреће на закрченим раскрсницама. Према г. Кенигу, „Наше примене показују смањење саобраћајних гужви за 30%, смањујући непродуктивно време вожње, стрес, потрошњу горива и загађење.”

РЕКЛАМА

Индоор Роботицс био основан у КСНУМКС-у Недавно прикупио 18 милиона долара финансирања. Компанија, са седиштем у близини Тел Авива, у Израелу, развија и продаје аутономна решења за беспилотне летелице за унутрашњу безбедност, безбедност и праћење одржавања. Извршни директор и суоснивач, Дорон Бен-Давид, има значајно искуство у роботици и аеронаутици стечено у ИАИИАИ
(главни одбрамбени главни извођач радова) и МАФАТ (напредна истраживачка организација у оквиру израелског Министарства одбране), која је слична ДАРПА-и у Сједињеним Државама. Растућа улагања у паметне зграде и комерцијална безбедносна тржишта подстичу потребу за аутономним системима који могу да користе компјутерски вид и друге сензорне улазе у малим и великим унутрашњим комерцијалним просторима (канцеларије, центри података, складишта и малопродајни простори). Индоор Роботицс циља на ово тржиште коришћењем дронова у затвореном простору опремљених стандардним камерама и термалним и инфрацрвеним сензорима домета.

Офир Бар-Левав је главни пословни директор. Он објашњава да је недостатак ГПС-а ометао дронове у затвореном простору да се локализују унутар зграда (обично је ГПС одбијен или нетачан). Поред тога, недостајала су погодна и ефикасна решења за пристајање и напајање. Индоор Роботицс решава ово са четири камере постављене на дрон (горе, доле, лево, десно) и једноставним сензорима домета који прецизно мапирају унутрашњи простор и његов садржај. Податке о камери (камере обезбеђују податке о локализацији и мапирању) и термалне сензоре (такође монтиране на дрон) анализира АИ систем како би открио потенцијалне проблеме безбедности, безбедности и одржавања и упозорио купца. Беспилотне летелице се напајају преко „плочице за пристајање“ на плафону, што штеди драгоцени подни простор и омогућава прикупљање података током пуњења. Очигледне су финансијске предности аутоматизације ових свакодневних процеса где је људски рад сложен и скуп у смислу запошљавања, задржавања и обуке. Коришћење ваздушних дронова у односу на земаљске роботе такође има значајне предности у погледу капиталних и оперативних трошкова, бољег коришћења простора, слободе кретања без наиласка на препреке и ефикасности снимања података камером. Према речима господина Бар-Левава, ТАМ (Тотал Аддрессабле Маркет) компаније Индоор Роботицс у интелигентним безбедносним системима за затворене просторе коштаће 80 милијарди долара до 2026. Кључне локације купаца данас укључују складишта, центре података и канцеларијске кампусе водећих глобалних корпорација.

РЕКЛАМА

Компјутерски вид прави револуцију у игри аутономије – у аутоматизацији кретања, безбедности, надгледању паметних зграда, откривању превара и управљању саобраћајем. Снага полупроводника и АИ су моћни покретачи. Једном када компјутери овладају овим невероватним сензорним модалитетом на скалабилан начин, могућности су бескрајне.