Sky Hackathon 由 NVIDIA 發起并主辦,項目旨在幫助在校學生、深度學習開發者在NVIDIA Jetson 邊緣高性能計算產品上部署和優化人工智能應用。在經驗豐富的 GPU 導師指導下,通過黑客松競賽的方式學習業界所需的深度學習相關應用開發及其并行計算技能,激發學生們的學習興趣與創新力。
NVIDIA 工程師將親自為參賽隊伍帶來他們對最新的深度學習與邊緣計算方面的理解、行業的趨勢與最新的技術應用及最新開發工具實戰技能知識,在訓練營中對參賽隊伍進行指導。Sky Hackathon 為參加者提供了一個難得的學習并實操的機會,學習嵌入式深度學習開發所需的動手技能, 通過使用 NVIDIA 最新的編程模型、庫和工具以加速和優化他們的AI應用程序。整個活動包含了訓練營和黑客松比賽,全程采用在線的方式。本次比賽最終成績排名前三名隊伍,將各獲得由 NVIDIA 提供的 RTX 3050 顯卡一個。其他比賽獎品由本次活動的贊助商創樂博贊助,創樂博將為本次比賽提供 21 件 Jetson Nano 開發套件。比賽最終排名前 20 名隊伍的指導教師將獲得 Jetson Nano 開發套件一套。本次黑客松比賽首次開設團隊最大進步獎,將獎勵已經多次參與 Sky Hackathon 系列比賽并在本次比賽中排名進步最大的隊伍一套 Jetson Nano 開發套件。為了確保賽事資源有效使用,每個參賽隊伍需要繳納 100 元人民幣參賽費用(以團隊為單位),請先填寫報名表,組委會會聯系各隊隊長,繳納報名費后(可開具發票),報名才算成功,且中途退賽不退還報名費。50個參賽席位等待您,名額報滿即關閉報名通道。
往期活動回顧
第一屆活動可以訪問:https://mp.weixin.qq.com/s/NmKVftUs5diTrDRl2Rblmg
第二屆活動可以訪問:https://mp.weixin.qq.com/s/1M50CStTGzQTY2ADuUpeYQ
第二屆活動導師評價:https://mp.weixin.qq.com/s/Sue6OV0eZyYlD2vvSLvwEg
第三屆活動可以訪問:https://mp.weixin.qq.com/s/r-nd9zDbaYdrQ0nZzKl5vg
第四屆活動可以訪問:https://mp.weixin.qq.com/s/df1QCJ5MRLd8CxrHkSylcg
第五屆活動可以訪問:https://mp.weixin.qq.com/s/Rt9Xz_YmI9VsjL8tUsjuqg
第六屆活動可以訪問:NVIDIA 第六屆 Sky Hackathon 報名開啟,挑戰創建 AI 大白,虛位以待!
本次活動主題
參賽題目
挑戰智能語音垃圾分類任務垃圾是世界范圍內日益嚴重的環境問題,實行垃圾分類,關系節約使用資源,也是社會文明水平的一個重要體現。
NVIDIA 正在努力加強技術研究,致力于開發創新計算解決方案,同時鼓勵開發者們利用 NVIDIA 各種 AI 開發工具,激發創造力,科技賦能,給垃圾分類注入“智慧力量”。本次 Hackathon 活動以 “挑戰智能語音垃圾分類任務” 為主題。賽事涵蓋:語音識別、垃圾檢測及用戶接口的 web 頁面實現等。
應用流程圖

比賽內容說明
比賽過程說明
1. 數據采集:每組參賽隊伍自行分工,收集數據集并標注用于模型的訓練 (語音數據需錄制、圖像數據需標注) 。
2. 模型訓練:每組參賽隊伍需要根據組委會提供的教程,在自己的服務器上搭建環境,訓練自動語音識別模型、目標檢測模型、語音合成模型。
· ASR 自動語音識別:根據錄制的語音數據制作語音識別數據集,結合對話式 AI 工具庫NeMo,訓練自動語音識別模型,通過模型來識別語音指令(如:請檢測出瓶子)
· CV 目標檢測:收集紙箱、果皮和瓶子數據集, 利用 NVIDIA TAO Toolkit 訓練檢測模型.??利用TensorRT優化訓練好的模型, 生成可執行的目標檢測推理引擎。完成圖像中的垃圾檢測和識別,輸出識別結果與文字回復。
3. 模型推理:參賽隊伍最終將訓練好的模型部署到組委會提供的 Jetson Xavier NX 集群上,進行最終的推理測試。
4.?本次活動:不限定參賽者選用的模型以及使用的訓練數據集。
5. 正式比賽時:組委會會提供最終測試數據和評分規則。每個參賽隊伍需要利用評分規則和最終的測試數據對程序進行評分。
6. 注意:除了在 Xavier NX 平臺上提交模型進行比賽外,各參賽團隊還要提交一份不少于 800 字的項目報告(項目報告模板見附件)。
在此過程中,學生將會實際體驗到:
- 基于目標識別的深度學習模型的訓練過程
- 利用 NVIDIA TAO 對模型進行剪枝等優化過程
- 利用 NVIDIA TensorRT 對訓練好的模型進行部署
- 利用 NVIDIA NeMo 進行自動語音識別模型的訓練
- 利用 NVIDIA NeMo 將自動語音識別模型部署在 Jetson Xavier NX 上
- 利用 Jetson Xavier NX 進行實際場景實驗
- 深度學習數據集的收集,篩選,清理和標注以及語音數據集的錄制構建等過程
- 基于 Flask web 框架創建完整的應用系統
活動日程安排活動形式:線上活動安排:
10月28日-11月11日 | 線上報名(https://jinshuju.net/f/crRiOo),每個參賽隊員都需要報名。報名后,組委會聯系隊長繳納報名費后才算報名成功。且中途退賽不退還報名費。報名時間內,如果所有席位報滿,組委會將有權提前關閉報名通道。 | |
11月12日 | 第一次 AI 訓練營 | |
9:30-9:40 | 歡迎致辭 | NVIDIA Maggie |
9:40-11:40 | 宣布黑客松的比賽規則,如何在服務器端利用 NVIDIA TAO 工具來訓練模型(視覺) | NVIDIA Ken |
中午休息 | ||
14:00-15:00 | 講解自動語音識別快速入門+利用 NeMo 工具庫在服務器端訓練 ASR 自動語音識別 | NVIDIA YiPeng |
11月19日 | 第二次 AI 訓練營 | |
9:30-9:40 | 前情回顧 | NVIDIA Ken He |
9:40-10:30 | 介紹如何在 Jetson Xavier NX 上利用 TensorRT部署 TAO 訓練的目標檢測模型 | NVIDIA Ken He |
10:30-11:00 | 介紹如何在 Jetson Xavier NX 上部署 NeMo 訓練的自動語音識別模型 | NVIDIA Yipeng |
10:30-11:30 | 介紹用戶接口的 web 頁面實現 | NVIDIA Wilson |
中午休息 | ||
14:00-14:20 | 贊助商產品介紹 | 贊助商 |
14:20-14:35 | Jetson 云平臺介紹 | GPUS Hawk |
14:35-18:00 | 參賽團隊遠程上機操作,答疑 | |
11月25日 | 線上測試 | |
18:00-24:00 | 開放 Jetson Xavier NX 云平臺給參賽隊伍做測試 | |
11月26日 | 線上測試 | |
8:00-24:00 | 開放Jetson Xavier NX 云平臺給參賽隊伍做測試 | |
11月27日 | 比賽 | |
8:00-14:00 | 開放 Jetson Xavier NX 云平臺給參賽隊伍做測試 | |
14:00-18:00 | 各隊開始遠程提交最終模型,組委會進行模型性能評測,系統停止接受模型提交時間為 18:00同時各參賽團隊需要在18點之前提交一份不少于800字的項目報告。如果有評分一樣的,需要有加時賽直到確定比分順序 | |
11月28日 | 公布比賽結果及大賽總結 | |
10:00-10:15 | 公布比賽結果 | NVIDIA/贊助商 |
10:15-11:00 | 本次大賽選手發揮及經驗總結 | NVIDIA Ken |
參賽推理平臺
硬件平臺:NVIDIA Jetson Xavier NX( 8G Memory )操作系統:Ubuntu 18.04 L4T 64 位元桌面版開發環境:CUDA 10.2、CUDNN8.0、TensorRT8.0、OpenCV4.1.1教學環境:Jupyter Lab 2.1.2同時為參賽隊伍提供真實的 Jetson Xavier NX 編程環境
評分標準
* 1. 自動語音識別推理精度評估(accASR):將服務器端訓練好的語音識別模型上傳到 NANO 節點上實現推理,調用語音識別模型進行推理完成語音識別任務,并計算字錯率 (cer_score) 分數,進而得到準確率的分數即(accASR = 1 -cer_score)。
* 2. 目標檢測推理精度評估:將最終提交的模型在 Jetson NX??節點上進行部署,在 Jetson NX 上對圖片鐘的垃圾進行檢測, 根據組委會提供的統一測試數據集進行推理并計算 mAP 精度部分。
* 3.?目標檢測模型推理速度評估:將最終提交的模型在 Jetson NX 節點上進行部署, 在 Jetson NX 上對垃圾進行檢測分類。根據組委會提供的統一視頻進行推理, 并計算推理速度 FPS。
* 4.?系統頁面完整性和創新性:?最終提交的系統需要有一個用戶界面, 完成完整的用戶界面并能順利操作才能得到最終的得分 25 分。
* 5. 額外加分項:??本教程在語音識別部分提供 Quartznet 預訓練模型為基礎,若能夠靈活使用框架內其他語音識別預訓練模型完成推理,則最終成績?isOthermodel 加 2 分,若能夠自制語音數據集進行模型訓練并完成推理,則最終成績?isOthermodel 加 5 分。
??視覺部分( 修改 resnet18 ,isOthermodel 加 3 分,修改 ssd ,isOthermodel 加5分,如:利用 ssd-mobilenet 則加 3 分,利用 yolo-resnet18 加 5 分 )
??用戶界面創新性, 如果能夠在用戶界面中增加新的功能或者作出有特色的美化和優化, 那么可以額外為 UI 加 5 分
最終成績通過以上4項分數的排名和第五項額外加分項獲得:
語音識別排名 :?rankASR
視覺精度排名 :?rankMAP
視覺速度排名 :rankFPS
系統用戶界面 :?rankUI
語音額外模型 :asrOtherModel (最高加5分)
視覺額外模型 :?cvOtherModel(最高加5分)
UI 美化創新??:?UI (最高加5分)
參加的全部隊伍數量 :teams
最終成績FinalScore = 100 – (rankASR -1)*25/teams – (rankMAP -1)*25/teams – (rankFPS -1)*25/teams – (rankUI -1)*25/teams + asrOtherModel + cvOtherModel +UI
分數最高者為勝出團隊。
另外本次比賽另設考勤分數,即參賽團隊必須完成兩次在線AI訓練營打卡,即可獲得考勤分。并且考勤情況我們也會通知團隊導師。
賽事交流和答疑本次 Hackathon 活動會提供專屬賽事交流微信群,所有符合參賽條件的團隊成員將被組委會人員邀請加入微信群。
NVIDIA 在開發者社區論壇會提供專屬賽事欄目:
https://developer.nvidia-china.com/forum.php?mod=forumdisplay&fid=179
有關賽事的技術問題請在論壇上提問。組委會技術團隊會負責技術答疑。
第一屆賽事技術問題回顧可以訪問:
https://developer.nvidia-china.com/forum.php?mod=forumdisplay&fid=179
NVDC-TLT 安裝文檔:
https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11673&extra=page%3D1
項目報告模板:
https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11674&extra=page%3D1
TLT 相關資料下載地址:
https://developer.nvidia-china.com/forum.php?mod=viewthread&tid=11675&extra=page%3D1
關于參賽團隊導師此次活動采用導師制。所以每個參賽隊伍都需要有一名指導老師。導師需要能夠敦促參賽團隊完成兩次在線 AI 訓練營的學習,以及最后的比賽。能給予團隊成員一定的技術指導。所有導師帶隊的團隊能完成最后的比賽,且成績有效,前二十名隊伍的參賽導師也將獲得由創樂博贊助的 Jetson Nano 開發套件各一臺(如隊伍導師重復,也只發一臺)
Q&A
Q: 我能參加嗎?A : Sky Hackathons 目前針對高校學生,當然有興趣參與的高中學生也歡迎。一般不需要有 GPU 編程經驗,但是最好有一定 Python 和編程基礎;對深度學習、神經網絡有一定理論基礎;需要自己準備數據訓練用的 GPU 服務器/工作站或者 GPU 云;本次活動暫時不接受非學生者參加。
Q: 如何報名?A : 黑客精神就是團隊合作,每隊需要選出一名隊長,并為團隊起個名字。此次活動采用導師制。所以每個參賽隊伍都會有一名指導老師。所有團隊成員應單獨報名,并填寫團隊名稱以及導師名字每隊限3-5人(不含導師)。如果報名團隊多余5人或者少于3人,我們將視為團隊無效。
團隊報名:識別以下二維碼組隊報名。

Q: 有獎勵么?A : 一般來說,NANO Hackathon 是合作而不是競爭。最好的獎品是代碼的新性能級別、與專家的相處時間、在 Jetson 平臺上運行的能力以及難忘的體驗,這些都可能使您更接近一篇新的論文或演講。但是,我們確實會頒發一些象征性的獎品和參賽證書。
優勝獎:三個 ,每個隊伍獲得 NVIDIA 提供的 RTX 3050 顯卡一個
紀念獎:每位參賽選手,并獲得參賽證書和參賽紀念品。
Q: 如何繳納報名費?A : 團隊在線報名后,請隊長在24小時內繳納報名費用,每個團隊費用為100元人民幣(跟參賽人數無關)組委會合作伙伴會開具 “技術服務費” 增值稅普通電子發票。
支付寶轉賬
支付寶賬號:18915751925 顧海燕 (請備注團隊名稱)
24小時內沒有繳納報名費用,則席位取消。
報名時間內,如果所有席位報滿,組委會將有權提前關閉報名通道。
– – – 項目報告模板 – – –
第七屆 Sky Hackathon參賽項目書參賽學校:______________________參賽隊名:______________________指導老師:______________________團隊成員:_______________________________________________________________________________________________________________________________________________________________________
項目說明:描述一下數據集收集和標注情況:描述一下您們是如何進行模型訓練(比如訓練的時間,訓練的結果,如何完成 NeMo 語音識別的模型訓練,如何利用 NVIDIA TAO 對模型進行剪枝等優化過程等)描述一下您們是如何在 Jetson Xavier NX 進行部署和推理總結(團隊收獲及照片)