案例簡介
? 本案例中通過 NVIDIA TensorRT 以及 NVIDIA T4 GPU, 極視角科技研發的人工智能計算機視覺算法推理平臺“極星，進一步提升了計算機視覺算法的準確度和推理效率，滿足了對算法實時性要求較高的行業需求，讓算法模型推理效率提升了20-40倍。
? 本案例主要應用到 NVIDIA TensorRT 以及 NVIDIA T4 GPU。
應用背景
極視角科技（ EXTREME VISION）是專業的人工智能計算機視覺算法提供商，開創了全球首家視覺算法商城，已上架 1000 余種算法，覆蓋 100 多個行業領域的應用場景，匯聚超過 200,000 位開發者。
“極星”是基于極視角強大技術能力打造的AI應用開發及服務平臺，。平臺支持快速接入各類算法、數據及智能設備，實現AI自閉環能力，并通過應用服務和標準化接口，幫助終端客戶低成本實現AI與業務的結合，快速構建智能應用。
客戶挑戰
在未來的人工智能計算機視覺算法領域，碎片化和長尾化需求將成為市場的主流與核心。在數字化轉型的過程中，某幾個特定算法將再無法滿足客戶的綜合性需求。反之，由多種不同算法組成的算法包將成為解決人工智能算法應用落地問題的發展方向。因此，對算法準確度和推理效率的高要求將成為AI算法發展的新挑戰，尤其是在那些對算法及時性和實時反饋性要求較高的行業中，這種挑戰將尤為明顯。”極星“平臺作為極視角科技計算機視覺算法的推理部署平臺，為了能夠快速接入各類算法、數據及智能設備，將客戶業務與AI高效結合，同樣面臨著在算法模型推理效率上的考驗與挑戰。
應用方案
基于上述挑戰，極視角科技選擇采用 NVIDIA TensorRT和NVIDIA T4 GPU來提供支持。使用后，TensorRT高效賦能了極星推理平臺，使算法整體推理效率得到了極大的提升，給極視角業務帶來了巨大的支持。主要體現在以下方面：
- 極視角科技采用了NVIDIA TensorRT和NVIDIA T4 GPU賦能”極星“平臺，算法模型推理速度和推理效率較原來提升了近30倍，從而能夠進一步提升了算法的及時性，滿足了客戶對于算法實時效用的高要求。
- 由于NVIDIA TensorRT和NVIDIA T4 GPU本身的技術優勢，在應用過程中，不但可以與原生推理框架間實現兼容，而且可以與原始算法高效整合，因此，在整體的技術結合和應用的過程中，算法兼容、整合和應用效率較原來提升了10倍。
使用效果
通過 NVIDIA TensorRT和NVIDIA T4 GPU, 極視角科技研發的人工智能計算機視覺算法推理平臺，”極星“，進一步提升了計算機視覺算法的準確度和推理效率，滿足了對算法實時性要求較高的行業需求，讓算法模型推理效率提升了20-40倍，其在技術兼容和整合過程中，整體效率也提升了近10倍。
“在使用 NVIDIA TensorRT和NVIDIA T4 GPU對平臺賦能后，“極星”推理平臺的算法推理效率得到了進一步的提升，更好地支持速接入各類算法、數據及智能設備，實現AI自閉環能力，并通過應用服務和標準化接口，幫助終端客戶低成本實現AI與業務的結合，快速構建智能應用。從業務拓展的角度上，憑借著高效的算法推理效率，使得算法的及時分析能力得到了提升，幫助”極星“平臺更加順利的進入了許多對算法實時性要求較高的行業，同時，也更有利于極視角對外提供算法+平臺+應用+服務的一站式AI解決方案，實現多行業數字化轉型的目標。“極視角科技研發高級副總裁，技術委員會負責人成望表示。
