Nvidiaは、その

の新しいバージョンをリリースしましたIsaacロボットシミュレーションエンジンのOmniverse、つまりエンジニア向けの会社のメタバースシミュレーション

Omniverseは、エンジニアが共同作業できるようにする仮想ツールです。 これは、メタバースのサイエンスフィクションの概念に触発されました。これは、すべて相互接続された仮想世界の宇宙です。 Snow Crashなどの小説のようにおよびReady Player One。 このプロジェクトは、仮想現実シミュレーションにちなんで名付けられたHolodeckと呼ばれる独自のNvidiaプロジェクトとして数年前に開始されました。スタートレックで。

しかし、ピクサーが開発したユニバーサルシーンディスクリプション(USD)テクノロジーによって可能になった配管に基づいて、より野心的な業界全体の取り組みに変化しました。その映画を作る。 Nvidiaはこのプロジェクトに何年も何億ドルも費やしてきましたが、現在はロボットシミュレーションを更新しています。

オープンベータ

上:これらは動作中のIsaacロボットのシミュレーションです。

画像クレジット:Nvidia

新しいIsaacシミュレーションエンジンは現在オープンベータ版であるため、企業や設計者はテストできますNvidiaのシニア製品マーケティングマネージャーであるGerardAndrews氏は、VentureBeatとのインタビューで、ロボットの製造を確約する前に、シミュレートされた環境でロボットがどのように機能するかを説明しました。

Andrewsは、BMWが「デジタルツイン」として作成しているデジタルファクトリーで動作するロボットの画像とビデオをいくつか見せてくれました。 工場の設計が完了すると、デジタル設計は物理的なコピーとして現実の世界に複製されます。 そして今、Isaacベースのロボットは、ロボット用に新しく利用可能なセンサーとより堅牢なシミュレーションに基づいて、より現実的に動作します。

シミュレーションは、より優れたフォトリアリスティックな環境を作成するだけではありません。また、合成データの生成とドメインのランダム化を合理化して、ロジスティクスや倉庫から未来の工場までのアプリケーションでロボットをトレーニングするためのグラウンドトゥルースデータセットを構築します。

「IsaacSimオープンベータになります。 アーリーアダプタープログラムがあり、数百の個々の企業の数千の開発者に到達しました」とAndrews氏は述べています。 「彼らはそれを試してタイヤを蹴り、私たちにいくつかの良いフィードバックをくれました。 そして、これらの顧客からのフィードバックと多くの熱意に基づいて、これを市場に投入できることを誇りに思います。」

彼はIsaacSimが正確な物理学、リアルタイムのレイトレーシング、パストレーシング、想定どおりに動作するマテリアルなどのコアテクノロジーから派生した、現実的なシミュレーション。

「あなたが抱えている大きな問題の1つは、仮想世界と現実世界の間のギャップが特定の量を超えると、エンジニアや開発者がシミュレーションを使用しないという、シミュレーションと現実のギャップです」とAndrews氏は言います。前記。 「彼らはただそれを放棄し、機能していないと言うでしょう。」

アンドリュースは、オムニバースで実行されているアイザックシムがシミュレーターのユーティリティのゲームチェンジャーになるだろうと言いました。 そして彼は、シミュレーションは、シミュレーション用のツールの使用方法を学ぶのにかかる時間の価値があるほど十分に優れている必要があると述べました。

「多くの操作ロボット、ナビゲートロボット、それらのロボットでAIをトレーニングするための合成データの生成に関するユースケース—これらのユースケースはすでにIsaacsに組み込まれています」とAndrews氏は述べています。 「そして最後に、Omniverseプラットフォームに参加することで得られる大きなメリットは、人々が3Dワークロードで使用している可能性のある他のすべてのツールとのシームレスな接続と相互運用性です。 これらの資産を、ロボットの開発、ロボットのトレーニング、またはロボットのテストを行うシミュレーション環境に取り込むことができます。」

オムニバースとアイザック

上:Isaac SimのDofbot操作ロボット

画像クレジット:Nvidia

オムニバースはNvidiaの基盤ですIsaacプラットフォームを含むシミュレーター—現在いくつかの新機能が含まれています。

NvidiaOmniverseプラットフォーム上に構築されたIsaacSimは、ロボットシミュレーションアプリケーションおよび合成データ生成ツールです。 。 ロボット工学者は、現実の世界で可能な範囲を超えてカバレッジを拡大できる魅力的な環境と相互作用するロボットの現実的なシミュレーションを提供することにより、ロボットをより効率的にトレーニングおよびテストできます。

このリリースのIsaac Simには、マルチカメラのサポートとセンサー機能の改善、および3Dアセットの取り込みを容易にするPTC OnShapeCADインポーターも追加されています。 これらの新機能により、物理ロボットの設計と開発、ロボットのトレーニングから、ロボットをシミュレートする「デジタルツイン」への展開まで、あらゆる側面で正常にモデル化および展開できるロボットと環境の幅が広がります。正確でフォトリアリスティックな仮想環境でテストされています。


開発者は、ロボットのテストとトレーニングのための強力なシミュレーション環境を持つことの利点を長い間見てきました。 しかし、多くの場合、シミュレーターには採用を制限する欠点がありました。 アンドリュース氏によると、アイザックシムはこれらの欠点に対処している。

現実的なシミュレーション

上:BMWデジタルツインファクトリーのシーン。

画像クレジット:Nvidia

プレス資料でアイザックロボットの画像を見ていましたが、写真だと思いました。 しかし、これらはオムニバースのロボットの3Dアニメーション画像です。

リアルなロボティクスシミュレーションを提供するために、IsaacSimは高度なグラフィックス処理を含むオムニバースプラットフォームの強力なテクノロジーを活用しています。ユニット(GPU)対応のPhysX 5を使用した物理シミュレーション、リアルタイムレイを使用したフォトリアリズム、パストレーシング、および物理ベースのレンダリングに対するマテリアル定義言語(MDL)のサポート。

Isaac Simは、操作、自律ナビゲーション、トレーニングデータの合成データ生成など、最も一般的なロボティクスのユースケースの多くに対応するように構築されています。 そのモジュラー設計により、ユーザーはツールセットを簡単にカスタマイズおよび拡張して、多くのアプリケーションや環境に対応できます。

「この画像は、BMWの新工場のデジタルツインです。プランナーが取り組んだ。 彼らはそれをオムニバースの世界に持ち込みました。 そして、オムニバースにいることの素晴らしい点は、シミュレートされたロボットをこの世界に配置し、AIモデルに使用するトレーニングデータを収集し、テストを行い、さまざまなシナリオを実行できることです。 そして、それはオムニバースプラットフォームの一部であることの美しさの一種です」とアンダースは言いました。 「私はキャッチーなフレーズを思いつくことに挑戦しました、そして私は本当にキャッチーなフレーズを思いついたことがあります、しかしそれは現実的なロボットモデルと彼らが操作しようとしている複雑なシーンの周りの何かです。」

私にとって、それはピクサーの映画の世界の1つで製品を設計するようなもので、はるかに現実的なものだけです。

Omniverseを使用すると、IsaacSimはOmniverseNucleusとOmniverseConnectorsの恩恵を受け、ピクサーのUniversal Scene Description(USD)標準で環境とロボットモデルの共同構築、共有、インポートを可能にします。 エンジニアは、IsaacSDKとROS / ROS2インターフェイス、フル機能のPythonスクリプト、ロボットと環境モデルをインポートするためのプラグインを介して、ロボットの脳を仮想世界に簡単に接続できます。

合成データ生成は、今日のロボットに見られる知覚モデルをトレーニングするためにますます使用される重要なツールです。 適切にラベル付けされた実際のデータを取得することは、時間とコストのかかる作業です。 しかし、ロボット工学の場合、必要なトレーニングデータの一部は、現実の世界で収集するには難しすぎるか危険である可能性があります。 これは、人間の近くで動作する必要のあるロボットに特に当てはまります。

Issac Simには、トレーニングで重要なさまざまなセンサータイプのサポートが組み込まれています。知覚モデル。 アンドリュース氏によると、これらのセンサーにはRGB、深度、バウンディングボックス、セグメンテーションが含まれます。

どの程度現実的である必要がありますか?

「あなたは、理にかなった範囲で、そのシムとリアルのギャップを埋めたいだけです」とアンドリュースは言いました。 「小さなエラーがあると、シミュレーションに蓄積される可能性があります。 ホイールの使い方が正しくない物理モデリングのエラーのように、時間の経過とともに増加する可能性があります。 、それから初めてそれをシミュレートするとき、あなたのロボットは大丈夫かもしれません。 しかし、そのエラーが蓄積され、ロボットは現実の世界では完全にコースから外れる可能性があります。」

彼は次のように付け加えました。エンジニアがそれを使おうとすると、より良い体験ができます。 シミュレーションの世界では、私が実際のハードウェアを持っているというこの考えに常に直面しています。シミュレータをまだ使用することの価値は何ですか。」

より良いデータの取得

上:Isaac Simが材料のエンジニアリングの詳細を説明します。

画像クレジット:Nvidia

オープンベータでは、Nvidiaは合成データをKITTI形式で出力する機能を備えています。 アンドリュース氏によると、このデータをNvidia Transfer Learning Toolkitで直接使用して、ユースケース固有のデータでモデルのパフォーマンスを向上させることができます。

ドメインのランダム化により、シーン内のマテリアルの照明、色、テクスチャなど、シミュレートされたシーンを定義します。 ドメインランダム化の主な目的の1つは、シミュレーションでニューラルネットワークをさまざまなドメインパラメーターにさらすことにより、機械学習(ML)モデルのトレーニングを強化することです。 これは、モデルが実際のシナリオに遭遇したときに、モデルを適切に一般化するのに役立ちます。 実際、この手法は、モデルに何を無視するかを教えるのに役立ちます。

Isaac Simは、特定のシーンの定義に役立つさまざまな属性のランダム化をサポートしています。 これらの機能により、MLエンジニアは、合成データセットに堅牢なモデルパフォーマンスを推進するのに十分な多様性が含まれていることを確認できます。

シミュレーションは時間やその他のものを節約できます

BMW Group is using Omniverse to build a digital factory that will mirror a real-world place.

上:BMW Groupは、NvidiaのOmniverseを使用して、現実世界の場所を反映するデジタルファクトリーを構築しています。

画像クレジット:Nvidia

実生活では、 50エンジニアはプロジェクトに取り組んでいる可能性がありますが、 1つのハードウェアプロトタイプ。 アイザックのようなもので、すべてアンドリュース氏によると、ソフトウェアエンジニアは同時にそれに取り組むことができるという。 エンジニアはその一部をリモートで操作できるため、すべてのエンジニアが同じ場所にいる必要はありません。 そして、それらすべてが同じ物理空間にある必要はありません。

「私はプロセッサコアを設計していましたが、人々は実際に使用する前に常にそれをシミュレートしたいと考えていましたハードウェアですが、チップが戻ってきたとき、シミュレーターは横に置かれました」とアンドリュースは言いました。 「ロボット工学のユースケースでは、ロボット自体が高価であるため、ハードウェアを使用している場合でも、シミュレーターには価値があると感じています。」

さらにつまり、ロボットの制御が正しくない場合、現実の世界でロボットをテストすることは危険である可能性があります。 それは人間にぶつかるかもしれません。 しかし、オムニバースでテストした場合、シミュレーションは誰にも害を及ぼすことはありません。

時間の経過とともに、Nvidiaはマルチカメラサポートやfisなどを追加してきました。 heyeカメラレンズ、およびロボットの機能と環境を感知する能力を向上させるその他のセンサー。 Andrews氏によると、現実の世界で改善されるコンポーネントが多いほど、OmniverseでIsaacシミュレーションを更新できるようになります。

GamesBeat

GamesBeatの信条ゲーム業界をカバーすることは、「情熱とビジネスが出会う場所」です。 これは何を意味するのでしょうか? ゲームスタジオの意思決定者としてだけでなく、ゲームのファンとしても、ニュースがあなたにとってどのように重要であるかをお伝えしたいと思います。 GamesBeatは、記事を読んだり、ポッドキャストを聴いたり、ビデオを見たりする場合でも、業界について学び、業界との関わりを楽しむのに役立ちます。どうやってそれをしますか? メンバーシップには、以下へのアクセスが含まれます:

  • DeanBeatなどのニュースレター
  • 私たちのイベントでの素晴らしい、教育的で楽しいスピーカー
  • ネットワーキングの機会
  • GamesBeatスタッフとの特別メンバー限定のインタビュー、チャット、および「オープンオフィス」イベント
  • コミュニティメンバー、GamesBeatスタッフ、その他のゲストとの不和のチャット
  • そして多分楽しい賞品か2つ
  • 志を同じくするパーティーの紹介

会員になる