SDK de Efectos de Video

El SDK de Efectos de Video de Maxine permite efectos visuales basados en inteligencia artificial que se ejecutan con la entrada estándar de la cámara web y se pueden integrar fácilmente en las canalizaciones de videoconferencia y creación de contenido. Los modelos de deep learning subyacentes se optimizan con NVIDIA? TensorRT? para inferencias de alto rendimiento, lo que hace posible que los desarrolladores apliquen múltiples efectos en aplicaciones en tiempo real.

Las características clave incluyen:

• Súper resolución: genera un video con detalles mejorados utilizando redes neuronales de inteligencia artificial que reducen los artefactos y preservan la textura con un escalado de alta calidad de hasta 4 veces.
• Upscaler: ofrece un alto rendimiento y un video escalado de alta calidad hasta 4 veces con un parámetro de nitidez ajustable.
• Reducción de artefactos: elimina los artefactos de compresión del video codificado mientras conserva los detalles originales.
• Eliminación de ruido de video: elimina el ruido de la cámara con poca luz introducido en el proceso de captura de video mientras conserva los detalles.
• Fondo virtual: segmenta a una persona y aplica la eliminación, el reemplazo o el desenfoque del fondo con tecnología de inteligencia artificial.

COMIENCE CON EL SDK DE EFECTOS DE VIDEO ?

SDK de Realidad Aumentada

El SDK de Realidad Aumentada ofrece seguimiento facial en 3D en tiempo real y basado en inteligencia artificial y estimación de la pose corporal basada en una cámara web estándar. Los desarrolladores pueden crear efectos AR únicos, como superponer contenido 3D en una cara, conducir personajes 3D e interacciones virtuales en tiempo real.

Las características clave incluyen:

• Seguimiento facial: detecta rostros humanos en imágenes y videos y especifica la ubicación y el tama?o del cuadro delimitador.
• Seguimiento de puntos de referencia faciales: reconoce los rasgos y contornos faciales utilizando 126 puntos clave y rastrea la postura de la cabeza y la deformación facial debido al movimiento y la expresión de la cabeza en tres grados de libertad en tiempo real.
• Malla de rostros: representa un rostro humano con una malla 3D con hasta 3000 vértices y seis grados de libertad.
• Estimación de la postura del cuerpo: predice y rastrea 34 puntos clave del cuerpo humano en 2D y 3D. Se utiliza habitualmente en el reconocimiento de actividades, la transferencia de movimiento y las interacciones virtuales en tiempo real.
• Contacto visual (solicite acceso anticipado): simula el contacto visual estimando y alineando la mirada con la cámara.
• Audio2Face (próximamente): anima una cara digital 2D o 3D con alta fidelidad basada solo en una entrada de audio.

COMIENCE CON EL SDK DE REALIDAD AUMENTADA ?

SDK de Efectos de Audio

El SDK de Efectos de Audio ofrece algoritmos de mejora de la calidad de audio basados en inteligencia artificial, que mejoran la calidad de conversación de un extremo a otro para audio de banda estrecha, banda ancha y banda ultraancha.

Los modelos de IA optimizados de alto rendimiento permiten procesar miles de transmisiones de audio en tiempo real por GPU, mejorando la calidad de audio en hasta dos puntos de puntuación de opinión media (MOS) en métricas de calidad objetivas y subjetivas, como la Evaluación Perceptual de la Calidad del Habla (PESQ) y Análisis Perceptual de la Calidad Auditiva Objetiva (POLQA). En las aplicaciones de escritorio, los modelos optimizados permiten que múltiples aplicaciones, como games, se ejecuten simultáneamente con un impacto mínimo en la calidad de ambas aplicaciones.

Los desarrolladores pueden integrarse en aplicaciones independientes de Windows y Linux para procesar el audio del micrófono y el altavoz o en servidores de alta densidad para procesar miles de transmisiones de audio por servidor.

Las características clave incluyen:

• Eliminación de ruido (NR): elimina varios ruidos de fondo comunes utilizando modelos de inteligencia artificial de última generación mientras se conserva la voz natural del hablante.
• Eliminación de eco de sala (REC): elimina las reverberaciones del audio utilizando modelos de IA de última generación, restaurando la claridad de la voz de un hablante.
• Súper resolución de audio (solicite acceso anticipado): mejora la calidad del audio en tiempo real al aumentar la frecuencia de muestreo del flujo de entrada de audio de 8kHz a 16kHz y de 16kHz a 48kHz.
• Cancelación de eco acústico (solicitar acceso anticipado): cancela el eco del dispositivo acústico en tiempo real de la transmisión de audio de entrada. Con la tecnología basada en IA, se logra una cancelación más efectiva que con el procesamiento tradicional de se?ales digitales.

Con estas funciones, los desarrolladores también pueden crear multiplos efectos innovadores combinando NR y REC al tiempo que ofrecen un rendimiento optimizado y latencia en tiempo real.

COMIENCE CON EL SDK DE EFECTOS DE AUDIO ?