sensetime
CORE TECHNOLOGIESセンスタイムの主要技術をご紹介いたします。
- SenseCore AI Infrastructure
- Intelligent Automobile Technology
- General Artificial Intelligence
- Augmented Reality
- AI-enabled Content Generation
- Decision Intelligence
- AI-enabled Content Enhancement
- Medical Image Analysis
SenseCore AI
Infrastructure
SenseCoreは、 センスタイムが独自に開発した汎用AI基盤です。
強力な計算能力と最先端のアルゴリズムを組み合わせることで、AIアプリケーションの開発コストを削減して、高効率、低コスト、かつスケーラブルなAIイノベーションを実現し、情報のもつ価値をさらに高めることができます。
Intelligent Automobile Technology
コンピュータビジョンにおける長年の経験を活用し、車線、路肩、走行可能領域、車両、歩行者、交通標識、信号機などを単眼カメラで正確に検出します。カメラによる画像認識技術に加え，LiDAR認識やセンサーフュージョン技術も保有しております。
また、右左折、車線変更や道路横断など、複雑な交通シーンにおける車両、歩行者、自転車の行動について、それらの予兆や推定軌道などを、正確に予測することができます。
車両の挙動や周辺環境などの認識情報を統合することで、複雑な運転シナリオでも、安全かつスマートでスムーズな意思決定と経路計画、正確な車両制御も実現します。
マルチセンサーフュージョン技術を活用することで，都市規模の高精度3Dマップを生成することや，それを用いた高精度かつリアルタイムな自己位置推定も可能です。
これらの技術は様々なSoC(System-on-Chip)で動作対応いたします。当社独自のAI深層学習プラットフォームやFPGA開発ツール、ハードウェアアクセラレータを活用することで、上述のアルゴリズムを様々なSoCへ柔軟かつ容易に実装できるようになっています。
2020年2月にISO26262 ASIL-B認証、2020年7月にAutomotive SPICE L2認証を取得しました。
General Artificial
Intelligence
世界最高水準の物体認識アルゴリズムにより、写真や動画に写っている多種多様な物体を正確に認識します。例えば，目，口，鼻や頭，肩，手足，輪郭など，顔や人体の特徴点を検出することや，本人認証，表情や性別といった10種類以上の属性認識などを，照明条件が悪い場合であっても高速・高精度に行えるため，様々なモバイルアプリや消費者分析などで幅広くご利用いただいております。また，写真の美顔加工やメイクアップフィルタ，撮影シーンの認識，被写体による自動分類や，ビデオクリップの映っている内容を自動解析して短縮ビデオの自動生成，自動タグ付けといった，写真やビデオをより魅力的かつ利便性高く活用できる機能も提供しております。その他，ロボット向けには3D物体認識や強化学習技術も応用した自律学習型のアーム制御アルゴリズムなども保有しており，産業界のロボット導入においてコストの効果的な削減や利用柔軟性の向上を実現することができます。
Augmented Reality
センスタイムのAR /VRエンジンは、様々なプラットフォームで軽快に動作し、現実と仮想が融合した世界を実現します。
モバイル機器上でも独自のVisual SLAM技術により、オブジェクトの3D姿勢推定やトラッキングを行いながら、三次元マップをオンラインで構築，自己位置を推定します。多数の光源がある環境でも照明状態を推定しながら、リアルな三次元デジタイズやレンダリング、影などのフュージョン効果、物体間のオクルージョ効果、現実と仮想の間でのオブジェクトインタラクション効果、表情のあるアバター生成などを行います。Structure from Motion技術により、大規模なビデオデータセットから三次元オブジェクトの再構築をおこなうことで、フォトツーリズムなどにもご活用いただけます。
AI-enabled Content Generation
暗闇、オクルージョン、画角、表情など、様々な状況下で顔/体/ジェスチャーの2D/3Dキーポイントを検出・追跡することができ，これを用いて様々なエフェクトをレンダリングすることができます。例えば，顔や体、手などの3Dキーポイントを検出することで、2D/3Dアバターの表情や体の動き、ジェスチャーを表現することができます。手や足の2D/3Dキーポイントを検出することで、バーチャルなネイルや靴のバーチャル試着などの効果も実現できます。深層学習技術による高精度なリップシンクが可能なデジタルヒューマンも実現できます。
Decision Intelligence
センスタイムでは、深層強化学習や分散強化学習，マルチエージェント強化学習などをベースにしたDecision Intelligence（意思決定AI）も開発しております。例えば、FPSゲームやスポーツゲームでは、プレイヤーの味方やハイレベルな敵を生み出すことができます。自動運転における意思決定/計画/制御タスクへの応用も可能です。都市規模の交通信号制御に応用することで、動的な車線制御などを行い交通流の効率を最大化することができます。実地テストでも、従来型の信号制御にくらべて8～47％の改善効果が確かめられています。
AI-enabled Content
Enhancement
深層学習を用いた画像処理アルゴリズムにより、撮影後のピントや絞り、鮮明度の調整、ノイズや霧の除去を非常に高精度に実現できます。また、静止画やビデオに対して非常にクリアかつシャープな超解像処理をおこなうことや，写真を絵画風にスタイル変換することも可能です。人間の目の三次元認知能力を模擬したアルゴリズムにより、2D画像を3Dへ違和感なく自動変換することもできます。
Medical Image Analysis
最先端のコンピュータビジョン技術に基づき、CT、MRI、病理スライドなどの医療画像から様々な疾患の病巣や部位を迅速に検出して位置を特定することができます。例えば、MRI/CT画像から椎間板や椎体の位置を特定すること、CT画像から肺結節を検出して位置を特定すること、病理画像から細胞を検出して位置を特定することができ、医師に診断の参考情報を提供して診断効率を向上させることができます。