Los movimientos faciales de los robots con rostros humanoides siempre han tenido un hándicap y es sincronizar labios y audio para llegar a parecer un humano. El movimiento labial es de enorme importancia en la comunicación humana ya que capta nuestra atención. Por lo tanto, la común desincronización de labios y audio en los robots es la que desvela su falta de vida.

Un grupo de investigadores del Departamento de Ciencias de la Computación de la Universidad de Columbia ha presentado un rostro robótico humanoide con labios de silicona suave accionados por un mecanismo de 10 grados de libertad. Hasta ahora los labios robóticos no suelen tener la complejidad mecánica imprescindible para reproducir los movimientos de la boca. Por su parte, los métodos de sincronización que existen hasta ahora dependen de reglas manuales, lo que ha limitado su realismo. Este grupo de investigadores ha utilizado un proceso de aprendizaje auto supervisado basado en un autocodificador variacional (VAE), combinado con un transformador de acción facial, lo que permite al robot inferir de forma autónoma trayectorias labiales más realistas directamente del audio del habla.

Además, la sincronización aprendida se generaliza con éxito en múltiples contextos lingüísticos, lo que permite la articulación del habla del robot en 10 idiomas que no se habían visto durante el entrenamiento. El robot adquirió esta habilidad mediante aprendizaje observacional, en lugar de seguir reglas. Primero aprendió a usar sus 26 motores faciales observando su propio reflejo en el espejo, antes de aprender a imitar el movimiento labial humano viendo horas de videos de YouTube. Al tratarse de una habilidad aprendida irá mejorando según interactúe con humanos.