Vítejte, dnes je
čtvrtek
21.
listopad
2024
Odborný časopis a portál zaměřený na vývoj a výrobu elektroniky Možnost zobrazit si v autě na displeji venkovní prostor okolo vozidla se v blízké budoucnosti stane samozřejmostí, vždyť již dnes je často součástí parkovacích systémů automobilů. Bez velkého počátečního zájmu se této úlohy původně ujali výrobci automobilů v Asii, dnes je to však součástí nabídky většiny výrobců vozů. Společnost Renesas, přední dodavatel systémů na čipu (SoC) pro infotainment a ADAS aplikace, klade velký důraz na podporu rozvoje těchto technologií. Začala také dodávat novou generaci SoC komponentů určenou právě pro tyto aplikace.
Účelem monitorování je panoramatické zobrazení prostoru okolo vozidla. Různé záběry ve 2D mohou být spojeny dohromady, a to díky vhodnému vzájemnému polohování kamer a optimálnímu nastavení jejich barev a jasu [1] [2]. Záběry kamer z prostředí kolem vozu nemusí jako pomoc při parkování vždy zcela stačit. Proto má řidič možnost získat i doplňující informace ve formě 2D obrázku nebo pohledu dozadu, který překrývá snímaný záběr [1]. Optimálního výsledku pak lze docílit, když má řidič pro odhad vzdálenosti k dispozici 3D záběr okolí svého vozu.
A právě pomocí záběrů z 2D kamer umístěných na vozidle lze vytvořit 3D zobrazení okolí i vlastního auta. To by mělo řidiči poskytnout reálnou představu o vzdálenostech, ve kterých se nacházejí okolní objekty (chodci, jiná auta, budovy). 3D záběr by se měl dynamicky měnit v závislosti na pohybu vozidla, zatímco model samotného vozu musí být správně integrován do celkového záběru scény s osvětlením nebo odrazy modelu auta [2].
Tato úroveň aplikace určuje požadavky na 3D grafiku a počítačové vidění v embedded platformách pro automobily. Proto společnost Renesas vytvořila řadu SoC nazvanou R-Car. Druhá generace této řady (R-CAR Gen 2) byla poprvé uvolněna v březnu 2013 a podporuje rozmanité aplikace, jako jsou propojení, rozšíření zábavy a ADAS. Tato řada zajišťuje vynikající výkon s optimálními nároky na spotřebu [3] a společnou API pro usnadnění vývoje zákazníkem. Dvě součástky z této řady také podporují aplikace pro zobrazení prostoru okolo vozidel: R-Car H2 a R-Car V2H.
R-Car H2 je první součástkou, která je ušita na míru integrovanému prostředí kabiny řidiče s aplikací pro 3D zobrazení okolí. Při jejím použití musíme vzít nejdříve v úvahu požadavky na 3D grafiku. Zejména je potřeba věnovat pozornost dvěma faktorům: mapování textury obrázků 2D kamery na 3D sférickém povrchu a 3D zobrazení auta. Počet polygonů scény závisí na deformaci 3D sféry a renderování modelu auta. Pro lepší výsledky renderování musí být grafický engine schopný zpracovat v krátké době velký počet polygonů. Protože aplikace může pro danou scénu použít různé programy pro vytváření stínů, musí grafika navíc zvládnout i výkonné stínování. Tyto požadavky na výkon musí být podpořeny vysokou frekvencí GPU, která umožní rychlé zpracování dat. Všechny tyto požadavky vedly firmu Renesas k rozhodnutí integrovat velmi výkonný 3D grafický engine do R-Car H2. A opravdu – jeho 3D grafické možnosti jsou srovnatelné s nejnovějším iPadem Air 3D.
Způsob 3D snímání představuje důležitý aspekt pro získání dobře zpracovatelných dat. Toho může být docíleno dvěma způsoby. Prvním je stereo vidění (jako lidské oči), jehož nevýhodou je však dvojnásobná cena (2 kamery) a náročná integrace. Druhou možností je vytvoření 3D struktury ze záběrů pořízených při pohybu auta (SfM – Structure from Motion), čímž se zajistí stereo vidění v čase. Společnost Renesas implementovala do řady R-Car hardware akcelerátory určené pro zpracování záběrů, které jsou schopny zajistit provedení algoritmu SfM na čtyřech kamerách v reálném čase a zároveň vyhovět požadavkům na výkon a nízkou spotřebu.
Algoritmus SfM generuje výpis vektorů pohybu, které popisují pohyb vozidla a okolních objektů. Dalším náročným úkolem je pomocí výpočtů a vzájemného porovnávání těchto vektorů zjistit vlastní pohyb vozu.
Z této základní matrice mohou být vektory pohybu tříděny podle toho, zda se vztahují ke statickým nebo dynamickým objektům v okolí. Vektory pohybu statických objektů dávají informaci o vzdálenosti daného objektu.
Na obr. 1 nahoře je situace zachycená pomocí R-Car H2. Barevná kolečka reprezentují statické body záběru, které jsou výsledkem výpočtu struktury. Barvy korespondují se seskupenými objekty, které jsou potom využity pro modelování deformace. Ta potom může být využita pro adaptaci 3D modelu prostředí v reálném čase, jak je ukázáno na obr. 1 dole.
Řada součástek R-Car zahrnuje také R-Car V2H, která zajišťuje unikátní přenos videa z kamery přes ethernetovou síť až k displeji. Tento přístup nejen nemá požadavky na zbytek systému (např. šířku pásma, zásah CPU), ale také výrazně snižuje nároky na vývoj potřebného softwaru. Obr. 2 ukazuje přenos videa v R-Car V2H. Čtyři kamery nemají přístup k externí paměti, hardware akcelerátor je pro každou kameru samostatně.
Důležitým aspektem, který má vliv na to, aby tato technologie byla v co nejširší míře zaváděna do praxe, je samozřejmě cena, resp. snaha o její snížení. V tom hraje nezanedbatelnou roli i použitá kabeláž. V minulém roce se objevily dva přístupy, které zjednodušují stávající systémy pro zobrazování okolí vozidel založené na technologii LVDS [4]. Jeden používá Ethernet přes nestíněnou kroucenou dvojlinku, druhý předělává LVDS na cenově příznivější koaxiální kabely. Oba přístupy vedou ke srovnatelným cenám systému. Řešení s Ethernetem však nejen snižuje cenu, ale nabízí také výhody pro další aplikace. Tak například s rostoucím zájmem o systémy pro zaznamenávání jízdy mohou být využity i nové možnosti, jako je záznam vícekanálového simultánního videa, a to pouze s minimálním vlivem na cenu, protože je navíc potřeba pouze připojení na SD kartu. Další výhoda Ethernetu oproti LVDS spočívá ve standardním přístupu jak z úrovní MAC s AVnu Alliance, tak z PHY s Open Alliance.
Jeden z hlavních aspektů, který vyžaduje pečlivý návrh, je zpoždění přenosu včetně komprese a dekomprese, stejně jako v průběhu zpracování. Aby měl řidič dojem, že vnímá obraz v reálném čase, mělo by být celkové zpoždění od okamžiku zachycení kamerou až po zobrazení na displeji menší než 100 ms.
Kamery normálně pořizují 30 snímků za sekundu. Při použití uzávěrky se buňky senzoru aktivují najednou během expoziční doby. Potom začne zobrazovací jednotka vysílat pixel po pixelu. Poslední pixel je vyslán zhruba ke konci jednoho snímku (33 ms) po zachycení obrazu. To je první zpoždění (frame delay), které nelze snížit. Další zpoždění, které nemůže být odstraněno, vzniká v displeji. Před zobrazením musí být totiž nejprve všechny pixely do displeje doručeny – to opět představuje zpoždění kolem 33 ms. Na vykonání všech úloh zachycených na obr. 3 tak nakonec zbývá pouhých 33 ms.
Prvním článkem celého přenosu videa je přenos dat. Ethernet protokol nezajišťuje žádné prostředky pro omezení zpoždění a pro synchronizaci kamery. Proto firma Renesas zavedla u své řady R-Car první Gigabit Ethernet MAC s pokročilou podporou pro AVB hardware [5]. To zajišťuje nezbytný hardware potřebný pro snížení zátěže CPU, který optimalizuje celkový příjem komprimovaného videa. Také byly implementovány specifické mechanismy v podobě inteligentního přenosu paketů a filtrování videa z kamery. Aplikace zaměřené na vícenásobné zobrazení s rychlým startem a malým zpožděním (maximální zpoždění 2 ms) jsou součástí úvah uvedených v dokumentu AVnu Alliance nazvaném „AVB for Automotive Use“ [6].
První vícekamerový systém s Ethernetem použil kompresi Motion JPEG (MJPEG) s malým zpožděním. Tato technika je založena na dobře známém JPEG standardu, který je často používán u digitálních kamer pro běžné spotřebitele. Vliv na kvalitu videa při použití této techniky by ale mohl omezit výkon zpracování vizualizace [7].
Jako nejlepší řešení pro přenos videa tak firma Renesas použila kompresní techniku H.264 [8]. Ta totiž zajišťuje lepší kompresní poměr pro zlepšený výkon zpracování vizualizace [7] [9]. Toto řešení bylo také implementováno do spotřebních zařízení, která mohou být připojena k systémům vozidla pomocí tzv. „Renesas Infotainment connectivity solution“. S uvedením R-Car V2H implementovala společnost Renesas jako první dekodér s malým zpožděním a vícekanálovým HD rozlišením, což vyhovuje standardu H.264 pro SoC používané v automobilech.
Konečným krokem ke snížení zpoždění je jeho omezení v průběhu zpracování signálu. Tradiční systém založený na DSP vyžaduje pro zachycení videa dvojitou vyrovnávací paměť. R-Car V2H má vlastní pracovní jádro nazvané IMR, které zpracovává za chodu geometrické transformace obrazu. To umožňuje přímý tok dat s nízkým zpožděním až z 5 dekodérů. V porovnání s klasickým přístupem LVDS je díky tomuto přímému procesu zpracování dat celkové zpoždění v ethernetové síti sníženo tak, jak je znázorněno na obr. 3.
Pracovní jádro IMR je také schopné použít k náhledu tabulku (LUT) za účelem modifikace transformace stanovišť kamery do 2D nebo 3D zobrazení okolí, a to za chodu. Poloha kamery může být upravena pro každý snímek obrazu, což umožňuje animovaný přechod mezi jednotlivými uživatelskými stanovišti.
Pro zajištění vysoké kvality snímku je použito bilineární filtrování. Díky tomuto přístupu má R-Car V2H při 3D zobrazování velmi malé nároky na paměť. R-Car V2H používá stejný hardware pro rozpoznání obrazu jako R-Car H2. Následně se mohou také provést výpočty pro SfM, nebo dokonce detekce chodců. R-Car V2H je schopný s použitím histogramu najednou rozpoznat chodce na všech svých 4 kamerách. Koncept detekce chodců pomocí R-Car V2H byl také předveden na konferenci Renesas Developer Conference konané v září loňského roku v Japonsku a poté také na veletrhu electronica v Mnichově – viz obr. 4 [10].
V tomto článku byl představen trend ve vývoji aplikací vícekamerových systémů pro automobily se zaměřením na zobrazení okolí ve 3D při parkování. Rovněž byly představeny komponenty R-Car v provedení SoC. R-Car H2 je schopen vytvořit komplexní zobrazení nejbližšího okolí vozidla ve 3D, které je velmi praktickým pomocníkem při parkování. Za použití R-Car V2H byl prezentován unikátní přenos videa přes Ethernet AVB MAC a vícekanálový dekodér H.264 s malým zpožděním. Pro případ, že by se tato aplikace stala součástí autonomního parkovacího systému, firma Renesas již implementovala na systémové úrovni hlavní funkce potřebné pro ASIL B.
Simon Oudin je Senior Marketing Engineer nově vytvořené skupiny „Global ADAS Solution Group“ v rámci společnosti Renesas Electronics Europe, která se zabývá aplikacemi určenými pro sledování a zobrazování venkovního prostoru okolo dopravních prostředků.
Literatura:
[1] Mengmeng Yu and Guanglin Ma, Delphi Automotive „360° Surround View System with Parking Guidance“, May 2014
[2] M. Friebe, J. Petzold, „Visualisation Functions in Advanced Camera-Based Surround View Systems“, 2014
[3] P. Fiedle, „Mehr Power weniger Leistungsaufnahme“, February 2014
[4] N. Noebauer, „Is Ethernet the rising star for in-vehicle networks?“, September 2011
[5] S. Oudin, N. Kitajima „Das zukünftige Ethernet-AVB Netzwerk“, November 2012
[6] AVnu Alliance White Paper „AVB for Automotive Use“ http://avnu.org/whitepapers/, October 2014
[7] J. Forster, X. Jiang and A. Terzis, „The Effect of Image Compression on Automotive Optical Flow Algorithms“, 2011
[8] T. Wiegand, G. J. Sullivan, G. Bjøntegaard, and A. Luthra, „Overview of the H.264/AVC Video Coding Standard“, July 2003
[9] T. Nguyen, D. Marpe, „Performance analysis of HEVC-based intra coding for still image compression“, May 2012
[10] http://am.renesas.com/edge_ol/topics/21/index.jsp
