Yan Chang – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Mon, 28 Apr 2025 04:35:36 +0000 zh-CN hourly 1 196178272 R2D2:利用 NVIDIA 研究中心的新型工作流和 AI 基礎模型,提升機器人的移動和全身控制能力 http://www.open-lab.net/zh-cn/blog/r2d2-advancing-robot-mobility-whole-body-control-with-ai-from-nvidia-research/ Thu, 27 Mar 2025 05:47:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=13416 Continued]]> 歡迎閱讀首期“NVIDIA 機器人研究與開發摘要(R²D²)”。此技術博客系列將讓開發者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領域的最新研究突破。 開發強大的機器人面臨著諸多重大挑戰,例如: 我們通過在自身平臺上經過驗證的先進研究來應對這些挑戰。我們的方法將前沿研究與工程工作流相結合,并在我們的 AI 和機器人平臺(包括 NVIDIA Omniverse、Cosmos、Isaac Sim 和 Isaac Lab)上進行測試。最終生成的模型、策略和數據集可作為研究人員和開發者社區的可定制參考,以適應特定的機器人開發需求。我們期待分享我們的研究成果,共同構建機器人技術的未來。 在本期 R²D² 中,您將了解以下機器人移動及全身控制的工作流及模型,以及它們如何應對機器人導航、移動和控制方面的關鍵挑戰:

Source

]]>
13416
借助 ReMEmbR,生成式 AI 賦予機器人推理和行動能力 http://www.open-lab.net/zh-cn/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/ Mon, 23 Sep 2024 07:14:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=11362 Continued]]> 視覺語言模型 (VLM)通過將文本和圖像投影到同一嵌入空間,將基礎 LLM 的強大語言理解能力與 視覺 Transformer (ViT)的視覺功能相結合。它們可以獲取非結構化多模態數據并對其進行推理,然后以結構化格式返回輸出。這些模型基于廣泛的預訓練基礎構建,可以通過提供新提示或參數高效微調輕松適應不同的視覺相關任務。 它們還可以與實時數據源和工具集成,以便在不知道答案時請求獲取更多信息,或在知道答案時采取行動。LLMs 和 VLMs 可以充當代理,對數據進行推理,幫助機器人執行可能難以定義的有意義任務。 在之前的文章“ 使用 NVIDIA Jetson 實現生成式 AI ”中,我們展示了您可以在 NVIDIA Jetson Orin 設備上運行 LLM 和 VLM,從而實現各種新功能,例如零樣本物體檢測、視頻字幕和在邊緣設備上生成文本。 但是,

Source

]]>
11362
人人超碰97caoporen国产