Účel a funkce LiDAR senzoru v Apple produktech
Vylepšení aplikací rozšířené reality (AR)
LiDAR zlepšuje přesnost a plynulost aplikací využívajících prvky rozšířené reality tím, že umožňuje zařízení lépe pochopit a interpretovat fyzické prostředí. To umožňuje přesnější umisťění virtuální objektů ve fyzickém světě a tedy realističtějšímu pocitu zobrazení.
Vylepšení fotografie a videa
LiDAR pomáhá vylepšit kvalitu fotografií a videí při nízkém osvětlení tím, že umožňuje rychlejší a přesnější autofokus. Senzor dokáže lépe určit vzdálenost a hloubku objektů ve scéně a tím pomoci fotoaparátu s lepším zaostřením (zejména při špatných světlených podmínkách).
Detekce hloubky a portrétní režim
LiDAR přispívá k pokročilé detekci hloubky, což zlepšuje efekt rozmazání pozadí (bokeh efekt) v portrétním režimu. To umožňuje vytvářet fotografie s profesionálně vyhlížejícím rozostřením pozadí, zatímco subjekt zůstává ostrý.
Měření a skenování objektů i prostoru
LiDAR lze využit v aplikacích pro měření - umožňuje uživatelům rychle a přesně měřit rozměry místností a objektů.
Navigace a asistence pro osoby se zrakovým postižením
LiDAR může také pomoci vylepšit navigaci a asistenční funkce pro osoby se zrakovým postižením tím, že poskytuje detailní informace o prostředí.
Apple Modely s LiDAR senzorem
LiDAR senzor je dostupný v integrované podobě na produktech Apple iPAD Pro 2020 a výše a iPhone 12 Pro a výše (v běžné i Max velikosti). LiDAR senzor se nachází ve formě černého kruhového senzoru poblíž fotoaparátů na zadní straně zařízení.
Parametry, typ a způsob fungování Apple LiDAR senzoru
Oficiální technické informace ohledně použitých integrovaných LiDAR senzorů společnost Apple nezveřejňuje (tají). Řadu údajů však lze odpozorovat a odvodit.
Apple využívá statické LiDAR senzory. Jejich výhodou je nízká cena, miniaturní rozměry a odolnost vůči poškození. Při této metodě není směr laserových paprsků nijak řízen - laserové paprsky směřující do všech směrů jsou emitovány a přijímány z pevné polohy. Měření vzdáleností přitom probíhá na principu Time of Flight (ToF), respektive dToF (Direct-Time-of-Flight). Jde tedy měření času laserového paprsku od vyslání ze senzoru po návrat do přijímače (receiveru).
Pokud bychom šli více do hloubky, Apple LiDAR by šlo pravděpodobně kvalifikovat jako ToF Photon Counting typ senzoru pracující s vlnovou délkou 8XX nm (běžne označováno jako Flash). Pro emitaci laserových paprsků slouží VCELs (Vertical Cavity Surface Emitting Lasers), pro příjem poté SPAD (Single Photon Avalanche Photodiodes).
Vysílání laserového světla
LiDARové zařízení vysílá krátké pulzy laserového světla směrem k cílovému objektu nebo ploše. Tyto lasery mohou být různých vlnových délek, často v infračerveném spektru, které umožňuje měření za různých světelných podmínek a přes různé typy materiálů.
Odraz a detekce
Když laserový paprsek narazí na objekt, je část světla odražena zpět k LiDARovému zařízení. Zařízení je vybaveno detektorem, který zachytává odražené světlo.
Výpočet vzdálenosti
Čas, který trvá světelnému paprsku k cestě od LiDARu k objektu a zpět, je přesně změřen. Vzdálenost mezi LiDARem a objektem je poté vypočítána na základě rychlosti světla ve vakuu (299 792 km/s), viz vzorec
s[m] = (t[s] * 299792 * 1000) / 2.Vytváření bodových mraků
Proces (3) výše se opakuje mnohokrát za sekundu s různými směry laserových paprsků. Každý měřený bod (zaznamenaný jako souřadnice X, Y, Z v prostoru) je přidán do datasetu, definující "bodový mrak". Mimo lokace každý bod může obsahovat další informace, jako je intenzita odraženého světla a barva. Bodové mraky poskytují detailní 3D reprezentaci měřeného objektu nebo krajiny.
Analýza a zpracování dat
Data získaná LiDARem mohou být dále zpracována a analyzována pomocí specializovaného softwaru k identifikaci charakteristik objektu, vytvoření digitálních modelů terénu, nebo integrace do BIM modelů. Software může rovněž sloužit k filtraci nežádoucích bodů (např. odstranění bodů reprezentujících vegetaci, pokud je cílem získat model terénu).
Apple rovněž neuvádí, jak se LiDAR senzory liší napříč modelovými řadami. Z měření je zřejmé, že výstupy se liší napříč verzí OS iOS (tedy probíhají iterativní změny v oblasti software). Současně je vhodné předpokládat i iterativní změny v hardwaru použitého LiDAR senzoru.
Maximální snímací prostor Apple LiDARem
Maximální velikost snímaného prostoru je dána skenovací aplikací, která je pro snímání prostoru prostřednictvím integrovaného LiDAR senzoru používána, a to na základě množství dat, se kterými je schopna pracovat.
Maximální dosah LiDARových paprsků
Maximální dosah vysílaných laserových paprsků je u iPadu i iPhonu omezen na 5 metrů - tedy LiDAR vidí pouze předměty v maximální vzdálenosti metrů od senzoru. Tento dosah nemá nic společného s maximální velikkostí snímaného prostoru - při skenování se lze s iPhone / iPad libovolně pohybovat.
Úhel záběru (FoV) Apple LiDARu
Čím větší FOV, tím větší plochu zvládá LiDAR pokrýt jedním skenem. Zjištěný úhel záběru pro APPLE LiDAR se liší napříč zdroji. Někde se uvádí ~ 120° x 30° (iPhone), jinde 60° × 48° (iPAD). Úhlové rozlišení se pohybuje kolem 0.2° X 0.2° (iPhone).
Samotné hodnoty však v případě skenování iPhinem / iPADem nehrají zásadní roli - skenuje se dynamicky, přičemž rychlost snímání je dostatečně rychlá pro skenování prostoru přirozenou rychlostí.
Přesnost LiDARU v iPhone / iPad Apple zařízeních
Dle práce Apple IPhone 13 Pro LiDAR Accuracy Assessment for Engineering Applications realizované na department of Geodesy and Geomatics Engineering, University of New Brunswick, na mobilním telefonu iPhone Pro 13 se pohybuje přesnost snímání rozměrů prostřednictvím integrovaného LiDARu v rozsahu ± 3 cm horizontálně a ± 7cm certikálně. K těmto rozměrům je potřeba uvést, že nebyl zjištěn přesný postup realizace měření a vyhodnocení, na který daný abstrakt s přesnostmi odkazuje.
3D skenování telefonem a tabletem probíhá v pohybu a dynamicky, přičemž typicky s rostoucí délkou skenování přesnost klesá. Tuto vlastnost lze potlačit několika způsoby:
- Skenování objektu po částech, kdy jednotlivé 3D skeny jsou následně sdruženy do celého objektu. Aplikace SiteScape toto provádí automaticky v rámci funkce Multi-Scans. V rámci funkce má podporu pořízení (a sloučení) až deseti 3D skenů s celkovou naskenovanou plochou do 500 m².
- Zvýšení kvality dat (schopnosti telefonu využívat kotevní body) eliminací vibrací při skenování pomocí použití stabilizátoru. Video níže ukazuje scan domu s použitím iPhone 13 Pro, DJI Osmo stabilizátoru pro telefony a aplikací SiteScape
iPhone 13 Pro, DJI Osmo stabilizátor, SiteScape 3D skenovací aplikace.
Rozdíl v testovaném prostoru s Apple Lidar oproti profesionálnímu měřícímu zařízení byl v případě měření na videu níže 10%. Při lineárním scanu (měření přímé vzdálenosti) se však přesnost se vzdáleností zvyšovala.
Přesnost je odvislá rovněž od iOS verze (probíhají softwarové změny v souvislosti s LiDAR snímáním).
| Skutečná | iPad M1 iOS17 | iPad 2020 iOS16 |
|---|---|---|
| 320 cm | 319 cm (-1) | 323 cm (+3) |
| 847 cm | 843 cm (-4) | 853 cm (+6) |
| 450 cm | 448 cm (-2) | 450 cm |
Výstupní data z Apple LiDARU
Při skenování je LiDARem vysílán paprsek mnohokrát za sekundu, kdy každý měřený bod (= bod odrazu) je zaznamenaný jako souřadnice X, Y, Z v prostoru. Výstupem skenování LiDARem je mračno takto zjištěných bodů (point cloud) definující přesnou informaci o tvaru a povrchové charakteristice snímaných objektů. Povrchovou charakteristikou je zde myšlena struktura, ne vzhled.
Forma práce s mračnem bodů je odvislá od použité aplikace. V praxi se mnohdy používá LiDAR v kombinací se snímáním obrazu kamerou - poté může být výstupem standardní 3D teleso včetně textur.
Je potřeba počítat s technickými schopnostmi Apple LiDAR senzoru. Například tenké / drobné předměty mohou být v závislosti od snímací vzdálenosti mimo rozlišovací schopnost senzoru.
RoomPlan API
Apple na WWDC 22 představil RoomPlan - nové rozhraní Swift API, které využívá fotoaparát a LiDAR skener na iPhonu a iPadu. Room Plan API přetváří raw dat získaná z LiDAR senzoru a přetváří je v optimalizovaný 3D model nemovitosti, včetně klíčových charakteristik, jako jsou rozměry a typy nábytku.
Toto API je již integrováno v několika skenovacích aplikacích pro iPhone a iPAD, namátkou polycam a magicplan.
Fotogrammetrie s Apple
Využívá se Apple Object Capture Algoritmus. Je opět přístupný v řadě aplikací pro 3D Skenování.
Fúze LiDARu a Fotogrammetrie
Fúze LiDARu a Fotogrammetrie je možná například s pomocí EveryPoint.
Úskalí skenování s Apple LiDAR
Skenování rozsáhlých prostor
V případě otevřených velkých prostor, kde se LiDAR v rámci svého dosahu nemá čeho chytit, může při skenu docházet i ke značnému zkreslení, viz příklad níže:
Typy pro skenování s Apple LiDAR
- Rozdělení velkých objektů do více dílčích skenů pro dosažení vyšší přesnosti