NVIDIA Maxine
SDK acelerado com recursos de AI de última gera??o para a constru??o de aplica??es virtuais de colabora??o e cria??o de conteúdo.
O que é o NVIDIA Maxine?
NVIDIA Maxine é um SDK acelerado por GPU com recursos de AI de última gera??o para que os desenvolvedores criem aplica??es de colabora??o e cria??o de conteúdo virtuais, como videoconferência e streaming ao vivo.
Os SDKs AI da Maxine, efeitos de vÃdeo, efeitos de áudio e realidade aumentada (AR), s?o altamente otimizados e incluem recursos modulares que podem ser encadeados em pipelines de ponta a ponta para oferecer o melhor desempenho possÃvel em GPUs, tanto em PCs quanto em data centers. O Maxine também pode ser usado com o NVIDIA Riva, um SDK para construir aplica??es de AI de conversa??o, para oferecer recursos baseados em linguagem de classe mundial, como transcri??o e tradu??o.
Os desenvolvedores podem adicionar efeitos de AI no Maxine em suas aplica??es existentes ou desenvolver novos pipelines do zero usando o NVIDIA DeepStream, um SDK para criar análises de vÃdeo inteligentes e o NVIDIA Video Codec, um SDK para codifica??o, decodifica??o e transcodifica??o acelerada.
Vantagens
Recursos de AI de última Gera??o
Modelos pré-treinados de classe mundial para recursos de alta qualidade de áudio, vÃdeo e realidade aumentada (AR).
Desempenho de AI em Tempo Real
Recursos de AI acelerados e otimizados para inferência em tempo real nas GPUs.
Solu??o de Ponta a Ponta
Pipelines completos de ponta a ponta para decodifica??o, transcodifica??o, codifica??o, AI conversacional, vis?o computacional, streaming de vÃdeo e análises de vÃdeo.
A Touchcast utiliza renderiza??o de última gera??o e tecnologias de IA para a execu??o de belos eventos online com impressionantes locais virtuais realistas e recursos de colabora??o em tempo real. Como lÃder em impulsionar a próxima era da computa??o, o NVIDIA Maxine está pavimentando o futuro das comunica??es de vÃdeo, um futuro em que a AI e as redes neurais aprimoram e enriquecem o conteúdo de maneiras totalmente novas. Ao trabalhar com a NVIDIA, o Touchcast pode continuar na vanguarda da constru??o das experiências mais incrÃveis do mundo para seus clientes.
Edo Segal, Fundador e CEO
SDKs Maxine
SDK de Efeitos de VÃdeo
O SDK de Efeitos de VÃdeo do Maxine permite efeitos visuais baseados em AI que funcionam com entrada de webcam padr?o e podem ser facilmente integrados em videoconferências e canais de cria??o de conteúdo. Os modelos de deep learning subjacentes s?o otimizados usando o NVIDIA? TensorRT? para inferência de alto desempenho, possibilitando aos desenvolvedores aplicar vários efeitos em aplica??es em tempo real.
Os principais recursos incluem:
- Super resolu??o: Gera um vÃdeo com detalhes aprimorados usando redes neurais de AI que reduz artefatos e preserva a textura com escalonamento de alta qualidade de até 4 vezes.
- Upscaler: Oferece alto rendimento e até 4 vezes de vÃdeo dimensionado de alta qualidade com um parametro de nitidez ajustável.
- Redu??o de artefato: remove artefatos de compress?o do vÃdeo codificado, preservando os detalhes originais.
- Remo??o de ruÃdo de vÃdeo: remove o ruÃdo de camera de baixa luz introduzido no processo de captura de vÃdeo, preservando os detalhes.
- Plano de fundo virtual: segmenta uma pessoa e aplica remo??o, substitui??o ou desfoque de plano de fundo com tecnologia de IA.
SDK de Realidade Aumentada
O SDK de Realidade Aumentada oferece rastreamento facial 3D em tempo real baseado em AI e estimativa de pose corporal com base em um feed de camera da web padr?o. Os desenvolvedores podem criar efeitos AR exclusivos, como sobrepor conteúdo 3D em um rosto, dirigir personagens 3D e intera??es virtuais em tempo real.
Os principais recursos incluem:
- Rastreamento de rosto: detecta rostos humanos em imagens e vÃdeos e especifica a localiza??o e o tamanho da caixa delimitadora.
- Rastreamento de pontos de referência do rosto: reconhece caracterÃsticas e contornos faciais usando 126 pontos-chave e rastreia a pose da cabe?a e a deforma??o facial devido ao movimento e express?o da cabe?a em três graus de liberdade em tempo real.
- Malha facial: representa um rosto humano com uma malha 3D com até 3.000 vértices e seis graus de liberdade.
- Estimativa da pose do corpo: prevê e rastreia 34 pontos-chave do corpo humano em 2D e 3D. Normalmente usado em reconhecimento de atividade, transferência de movimento e intera??es virtuais em tempo real.
- Contato com os olhos (inscreva-se para acesso antecipado): Simula o contato com os olhos estimando e alinhando o olhar com a camera.
- Audio2Face (em breve): Anima um rosto digital 2D ou 3D com alta fidelidade com base apenas em uma entrada de áudio.
SDK de Efeitos de áudio
O SDK de Efeitos de áudio oferece algoritmos de aprimoramento de qualidade de áudio baseados em AI, melhorando a qualidade de conversa??o de ponta a ponta para áudio de banda estreita, banda larga e banda ultralarga.
Modelos de IA otimizados de alto desempenho permitem que milhares de streams de áudio sejam processados em tempo real por GPU, melhorando a qualidade do áudio em até dois pontos de pontua??o média de opini?o (MOS) em métricas de qualidade subjetiva e objetiva, como Avalia??o Perceptual da Fala Qualidade (PESQ) e Análise Perceptual da Qualidade Escuta Objetiva (POLQA). Em aplica??es de desktop, os modelos otimizados permitem que várias aplica??es, como games, sejam executados simultaneamente com impacto mÃnimo na qualidade de ambos.
Os desenvolvedores podem se integrar a aplica??es Windows e Linux independentes para processar áudio de microfone e alto-falante ou em servidores de alta densidade para processar milhares de fluxos de áudio por servidor.
Os principais recursos incluem:
- Remo??o de ruÃdo (NR): remove vários ruÃdos de fundo comuns usando modelos de AI de última gera??o, preservando a voz natural do falante.
- Remo??o de eco da sala (REC): remove reverbera??es de áudio usando modelos de AI de última gera??o, restaurando a clareza da voz de um locutor.
- Super resolu??o de áudio (inscreva-se para acesso antecipado): Melhora a qualidade de áudio em tempo real aumentando a amostragem do fluxo de entrada de áudio de 8kHz para 16kHz e de 16kHz para 48kHz de taxa de amostragem.
- Cancelamento de eco acústico (inscreva-se para acesso antecipado): Cancela o eco do dispositivo acústico em tempo real do fluxo de áudio de entrada. Com a tecnologia baseada em AI, um cancelamento mais eficaz é obtido do que com o processamento de sinal digital tradicional.
Usando esses recursos, os desenvolvedores também podem criar múltiplos efeitos inovadores, combinando NR e REC, ao mesmo tempo que oferece desempenho otimizado e latência em tempo real.
Projeto Maxine Baseia-se em Poderosos SDKs NVIDIA
Explore tecnologias que se integram ao pipeline modular, personalizável e escalonável do Maxine. Por exemplo, a colabora??o com públicos globais pode ser melhorar significativamente quando se fala em seu idioma. Para permitir uma melhor comunica??o e compreens?o, o Projeto Maxine integra tradu??o em tempo real do NVIDIA Riva e convers?o de texto em voz com anima??o fotográfica "retrato ao vivo" e contato visual em tempo real. O Projeto Maxine é uma aplica??o de referência para o Omniverse Avatar, uma plataforma de tecnologia para gera??o de avatares AI interativos.
Análise de VÃdeo e Imagem
O SDK DeepStream oferece um pipeline de streaming de ponta a ponta para processamento de múltiplos sensor baseado em AI e compreens?o de vÃdeo e imagem.
Codifica??o e Decodifica??o de VÃdeo
O SDK de Codifica??o de VÃdeo é um amplo conjunto de APIs, incluindo ferramentas de alto desempenho, amostras e documenta??o, para codifica??o e decodifica??o de vÃdeo acelerada por hardware no Windows e Linux. OAI Face Codec (em breve) permitirá vÃdeo mais suave e redu??o de largura de banda em até 10 vezes.
AI Conversacional
O SDK Riva é um framework de aplica??o para servi?os de AI conversacional multimodal que oferece desempenho em tempo real em GPUs.
Recursos
Reinventando Aplica??es de VÃdeo
Veja como os desenvolvedores de Notch, Headroom, Be.Live e Touchcast est?o usando NVIDIA Maxine.
Novas Tecnologias de AI
Leia sobre as ferramentas de software de desenvolvedor mais recentes lan?adas no GTC 2021.
Apresenta??o de Abertura do GTC 2021
Saiba mais sobre a atualiza??o mais recente para NVIDIA Maxine do CEO da NVIDIA, Jensen Huang.
últimas NotÃcias sobre Maxine
Leia como os principais provedores de colabora??o, cria??o de conteúdo e streaming est?o usando o NVIDIA Maxine.
O download do NVIDIA Maxine é gratuito para os membros do Programa de Desenvolvedores da NVIDIA.