• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 3 月 19 日下午 2 點,鎖定 NVIDIA AI 網絡中文專場。立即注冊觀看
    計算機視覺/視頻分析

    NVIDIA Jetson 月度最佳項目:這款自主足球機器人可以瞄準、射門和得分

    ?

    足球被認為是全球最受歡迎的運動之一,全世界有充分的理由:動作往往很激烈,比賽結合了球員的身體素質和技術,令人激動。因此,毫不奇怪,有人正在努力教機器人比賽的細節,包括如何接球、射門、傳球和進球。

    事實上,整個比賽都致力于這個想法。這個RoboCup Small Size League (SSL) Vision Blackout Technical Challenge鼓勵團隊“探索本地傳感和處理,而不是典型的非車載計算機和全球攝像機感知環境的方法。”學生 Jo?o Guilherme,他的導師Edna Barros、和其他SSL teammates來自Federal University of Pernambuco在累西腓,巴西建造了omnidirectional robot,由NVIDIA Jetson Nano Developer Kit自主執行足球任務。

    該團隊用單眼相機建造了全向機器人,可以自主執行以下任務:

    • 本地化
    • 足球檢測和抓球
    • 坐標計算
    • 將球傳給其他團隊機器人
    • 空門得分

    該團隊用人工智能軟件管道建造了機器人,平均處理速度為 30 FPS,硬件僅消耗 10.8 W 左右的功率。

    該機器人的前部有一個踢球裝置,是一個四輪全向機器人。圖 1 顯示了機器人的幾何結構。

    Chart showing the movement capability of the SSL omnidirectional robot.
    圖 1。由NVIDIA Jetson 納米開發套件自主執行足球任務

    “我們根據三項足球任務來評估我們的系統:接球、進球和傳球,成功率分別為 80%、80% 和 46.7%,”該團隊在朝向自主 RoboCup 小型聯賽機器人中提到。

    在比賽期間,各隊將使用場外計算機執行大部分計算,接收球的位置,收集場地幾何信息和裁判命令。比賽由 6 個(B 區)和 11 個(A 區)機器人組成,機器人通過最小帶寬的射頻通信接收導航命令。機器人的直徑和高度限制在 180 毫米(B 區)和 150 毫米(A 區),因此得名小型聯盟。

    這個 SSL RoboCup 競賽包括四個階段

    1. 在球場上的某個地方抓一個固定的球
    2. 空門持球得分
    3. 將機器人移動到特定坐標
    4. 間接進球(需要兩個機器人)

    此外,這一挑戰要求機器人檢測現場物體,估計其位置,計算導航路徑,并記錄過去的軌跡。

    “SSL 比賽是高度動態的環境,機器人資源極其有限,需要解決方案考慮尺寸、功耗、準確性和處理速度的權衡。這項工作提出了一種架構,使這些機器人能夠自主執行基本的足球任務,即無需接收任何外部信息。” Guilherme 和他的隊友在 Towards an Autonomous RoboCup Small Size League Robot?中闡述道。

    項目硬件

    該團隊在項目中使用了以下硬件:

    • 一個?Jetson Nano 開發者套件,用于執行嵌入式愿景和決策
    • 全向機器人
    • 羅技 C922 相機,提供單目視覺
    • 慣性傳感器,用于實現里程計估計
    • STM32F767ZI 微控制器單元(MCU),用于從 Nano 接收目標相對位置和導航標志,并使用慣性里程計執行低級別控制和軌跡估計
    Flow chart for soccer robot AI detection pipeline and movement planning.
    圖 2:足球機器人的 AI 檢測流水線與運動規劃

    想了解更多關于所用硬件的信息,請參閱 Rob?CIn 2020 Team Description Paper

    技術挑戰

    Vision Blackout Challenge 比賽期間,獲勝的機器人必須能夠完成各種基于足球的技能,包括抓住固定球、空門得分、移動到特定坐標以及間接進球(傳給另一個機器人)。

    機器人必須能夠僅使用嵌入式傳感和處理來執行這些技能。這項挑戰沒有高度限制,因此團隊在他們典型的機器人上添加了一個車載攝像頭 Jetson Nano 和一個電源板。

    Two versions of the soccer-playing robot are shown. The one on the left is modified for the Vision Blackout Challenge, with an onboard camera and power supply board. The original robot appears on the right.
    圖 3。該隊為視力障礙挑戰賽改裝的足球機器人(左)和他們原來的機器人(右)

    此外,這一挑戰要求機器人檢測現場物體,估計其位置,計算導航路徑,并記錄過去的軌跡。SSL 足球賽使用外部攝像頭和場外計算機來感知環境并向機器人發送命令。

    根據研究人員的說法,SSL Vision 體系結構“存在諸如攝像機的視野、顏色分割、軟件延遲和通信中斷等限制,迫使球隊制定應對復雜條件的解決方案。例如,比賽中的一個常見問題是球遮擋,當機器人在攝像機圖像上的投影與球重疊時會發生這種情況。另一個問題是球和機器人的位置不一致 cks,偶爾沒有檢測到或錯誤地檢測到它們。”

    在 SSL 比賽中,機器人和球的速度分別高達 3.7 米/秒和 6.5 米/秒,這導致了一場需要高吞吐量解決方案的快速比賽。此外,使用電池作為電源的尺寸限制要求解決方案具有低功耗。此外,在?匹配,需要精確的位置估計。

    該團隊還強調了精確的電機控制的重要性,這樣機器人就可以在足球場上移動,并保持其測量位置的準確性。該團隊需要一種方法來降低機器人對其位置的內部理解與實際物理位置偏離的速度。想了解更多詳細信息,請參閱 Towards an Autonomous RoboCup Small Size League Robot.

    Flow chart showing how the robot detects the soccer ball on the field.
    圖 4。足球機器人的攝像頭有助于物體檢測和視野,用于決策和路徑規劃

    項目軟件和人工智能

    該團隊使用 OpenCV2 以及校準和姿態計算技術來提取單眼相機(固定在機器人上)的“內在和外在參數”。他們使用 SSD MobileNet v2 來檢測相機幀上對象的 2D 邊界框。他們還使用了一個程序,將線性回歸應用于 SSD MobileNet 創建的邊界框坐標,該程序用于估計預先校準的相機參數。這將在場上分配與對象的底部中心相對應的點(該中心具有對象與相機的相對位置),因此也分配給機器人。

    后果

    團隊對 他們的機器人如何表現 在今年的挑戰中進行了解釋。亮點包括:

    • 抓取靜止的球:在 15 次嘗試中,機器人能夠在 12 次中成功地在球碰到運球者時停下來,成功率為 80%。
    • 進球:在 15 分鐘內,有 12 分鐘進了一球。
    • 通過:機器人在 15 次嘗試中有 7 次成功傳球,成功率為 46.7%。

    請訪問 RoboCup 2023 Results 查看完整的結果列表。該隊伍自 2019 年以來一直參加機器人杯小型聯賽,并在 2022 年贏得了他們的第一個世界冠軍(乙級)。他們目前是三屆拉丁美洲冠軍。在 Rob?CIn Small Size League Extended Team Description Paper for RoboCup 2023 中介紹了球隊對小型聯賽(SSL)乙級聯賽冠軍項目所做的改進。在 2023 年 RoboCup 的 7 月下旬,他們在法國波爾多贏得了第一名。

    圖 5。這個機器人抓取靜止的球 (左)和進球(右)

    未來計劃

    Guilherme 分享了他們的團隊在比賽中遇到的挑戰,以及為未來賽事改進的機會。他指出,大多數失敗都是由于場外物體的假陽性檢測。他說:“我們正在研究一種檢測場邊界并應用遮罩丟棄這些物體的解決方案。”。

    該團隊需要更快的物體檢測解決方案。“盡管到目前為止我們已經能夠執行基本技能,但對于 SSL 環境來說,30 FPS 的處理速度仍然很低。在主要比賽中,相機通常以 70 FPS 的速度運行,”他說。

    機器人的技能僅依賴于檢測到的物體的相對位置來實現,也就是說,它并不知道自己在現場的具體位置。Guilherme 指出:“我們相信這些信息可能有助于優化我們在足球任務中的表現,同時也能幫助我們避免點球。”例如,機器人不應該進入守門員的區域。“我們正在研究一種基于蒙特卡洛定位 (MCL)的方法,并將在未來幾個月內分享。”

    該團隊計劃在未來為機器人的系統添加更多功能(如場線檢測、定位算法和路徑規劃),他們將努力優化系統的每個部分以滿足這些需求。

    此外,該團隊繼續研究檢測場邊界和線的解決方案,并估計機器人的自我定位。他們還計劃用 Jetson Orin Nano 取代 Jetson Nano,這樣他們就可以用機器人實現更快的處理速度。升級應該有助于球隊在聯賽中更有效地競爭。

    要了解有關團隊原始項目的更多信息,請訪問 開發者論壇GitHub。您也可以探索 Jetson 社區項目,從您的機器人開發伙伴那里獲得更多的想法和靈感。

    ?

    0

    標簽

    人人超碰97caoporen国产