La nueva IA de Microsoft simula la voz de cualquier persona con tan solo 3 segundos de audio

Microsoft denomina a esta herramienta como un “modelo de lenguaje de códec neural”, y se basa en una tecnología llamada EnCodec, que Meta anunció en octubre de 2022. A diferencia de otros métodos de conversión de texto en voz que suelen sintetizar el habla manipulando las formas de onda, VALL-E genera códigos de códec de audio a partir de texto e indicaciones acústicas.

Básicamente, analiza cómo suena una persona, descompone esa información gracias a EnCodec, y utiliza datos de entrenamiento para hacer coincidir lo que ha aprendido sobre cómo sonaría esa voz si pronunciara otras frases fuera de la muestra dada.

Microsoft entrenó las capacidades de síntesis de voz de VALL-E con una biblioteca de audio, creada por Meta, llamada LibriLight. Contiene 60.000 horas de habla inglesa de más de 7.000 hablantes, en su mayoría extraídas de audiolibros de dominio público de LibriVox.

En el sitio web de ejemplos de VALL-E, Microsoft ofrece docenas de muestras y audio del modelo de IA en acción por si quieres echarle un ojo. Dentro verás varias opciones: “Speaker Prompt” es el audio de tres segundos que se proporciona a VALL-E y que debe imitar; “Ground Truth” es una grabación preexistente de ese mismo orador diciendo una frase concreta con fines comparativos.

Por otro lado, “Baseline” es un ejemplo de síntesis proporcionada por un método convencional de síntesis de texto a voz, y la muestra “VALL-E” es la salida del modelo VALL-E.

Sus creadores ya valoran la posibilidad de que VALL-E pueda utilizarse para apps de conversión de texto a voz de alta calidad, edición de voz, cambiar una grabación de una persona a partir de una transcripción de texto (haciéndole decir algo que originalmente no dijo) y creación de contenidos de audio cuando se combine con otros modelos de IA generativa como GPT-3.

Fuente: www.computerhoy.com