iPhoneに搭載されている3Dスキャン技術の比較

公開日：2023.04.14　更新日：2023.04.14

こんにちは、アバンセシステムのTIGERです。
今回は、3Dスキャン技術を使って3Dオブジェクトを作成して各オブジェクトの比較を行います。

現在iPhoneで使われている有名な3Dスキャン技術として、
2020年以降のiPhone/ iPadのPro端末に搭載されているLiDARスキャナがありますが、
iPhoneには他にもフォトグラメトリ、TrueDepthカメラといった3Dスキャン用の機能が実装されています。

では、これらのスキャン技術はどの程度の精度で物体の撮影ができるのでしょうか？
各機能の簡単な説明を交えつつ、いくつかの物体を3D撮影してオブジェクトに変換することで比較検証していきたいと思います。

実験概要

対象物を120mm × 130mmのボックスティッシュとして、
50cm程度離れた位置から対象物を軸に一周して、撮影します。
使用する端末は、iPhone 13 pro、
撮影・生成に使用するアプリは 3d Scanner App (Version.2.0.13)です。

LiDAR

LiDARスキャナはiPhoneの背面側に搭載されているセンサーです。
物体をレーザーで照射して、反射したレーザーが帰ってくるまでの時間を計測することで
物体までの距離や方向を測定します。

iPhoneのスキャナは専門機器に比べると光束密度が小さく、細やかなものは認識しづらいですが
スマートフォン単体で撮影、オブジェクト生成が可能な為、利便性に優れています。

下記がLiDARスキャナで撮影して、生成したモデルになります。

かなり簡略化されたポリゴンでの取得になりました。
ドットの幅が大きいこともあり、近距離で小さなものを正確に取得することは難しいようです。

TrueDepth

続いて、フロント部分に使用されているTrueDepthカメラです。
標準機能ではFaceIDの登録、認識に使用されています。

仕組みは前述したLiDARと同じく不可視のレーザーを照射して、反射から距離や方向を測定するものですが、至近距離で顔情報を読み取るためにLiDARスキャナに比べると、照射密度を高くしたレーザーを発射しています。

左: TrueDepth, 右: LiDAR のセンサードット間隔
引用元: LiDARスキャナー起動中の赤外線映像

画像から見て取れる通り、TrueDepthのセンサーはドットが小さく顔に無数に当たっていますが、
LiDARのセンサーはドットが大きく顔に複数個しか当たっていません。

TrueDepth カメラは、何千もの目に見えないドットを顔の上に投射して解析し、顔の深度マップを作成して、顔の正確なデータを読み取ります。また、顔の赤外線イメージも取り込みます。A11、A12 Bionic、A12X Bionic、A13 Bionic、A14 Bionic、A15 Bionic チップのニューラルエンジンの一部 (Secure Enclave の中で保護されています) が、深度マップと赤外線イメージを数学的モデルに変換し、そのモデルを登録済みの顔のデータと照合します。
https://support.apple.com/ja-jp/HT208108

この事前情報から、近距離で小さな対象物にTrueDepthカメラを使った場合、
LiDARと比べ高精度なオブジェクトが生成できることが期待できます。

下記がTrueDepthカメラで生成したモデルになります。

期待通り、かなり滑らかなポリゴンメッシュを得ることができました。
テクスチャにゴーストが発生していますが、許容範囲内のものだと思います。

フォトグラメトリ

続いてフォトグラメトリ です。
こちらは、Appleから提供されているObject Capture を使い、
様々な角度から撮影した画像からオブジェクトを生成する手法です。

前述のLiDAR、TrueDepthとは異なり、レーザーは使用せずに画像からオブジェクトを推定するため、専門的な機器を必要とせずにカメラとコンピュータ、専用ソフトがあれば3Dオブジェクトを作成することができます。

周囲の画像からモデルを生成するため、有効な画像の枚数が多いほどより精密なオブジェクトを生成することができます。
APIの画像上限は250枚ですが、今回は狭範囲の単純な形の為 56枚の画像から生成しました。

下記がフォトグラメトリで生成したモデルになります。

３つの手法の中ではテクスチャは非常に綺麗に生成されていました。
特に床のテクスチャにゴーストが少なく自然な画像が生成されています。
メッシュポリゴンについても、TrueDepthよりは荒いですが比較的に綺麗な面を取得できています。

まとめ

今回の実験結果について以下の表にまとめました。

名称	メッシュの精度	テクスチャの精度	対応機種
LiDAR	△	○	iPhone12以降のPro機種のみ
TrueDepth	◎	○	iPhone X以降のFaceID対応機種
フォトグラメトリ	○	◎	どの機種でも可、生成にはAPIの利用が必要

今回の実験のように対象物の一辺あたりの大きさが小さい場合は、
TrueDepthカメラかフォトグラメトリを使うとより実物に近い結果が返ってきました。
LiDARは小さい物の測定は苦手ですが、部屋全体の輪郭や椅子や机などの一回り以上大きな物を測定することができるので、対象物によって使い分けることでより良い測定ができるかと思います。

今後もスマートデバイス関連で気になった技術があれば紹介したいと思いますので、よろしくお願いします。

TIGER

月一でキャンプに行きます。最近は３Dプリンタを使ってよく遊んでいます。　　　　　　　　　　　　　　　