Els moviments facials dels robots amb rostres humanoides sempre han tingut un handicap i és sincronitzar llavis i àudio per arribar a semblar un humà. El moviment labial és molt important en la comunicació humana ja que capta la nostra atenció. Per tant, la comuna desincronització de llavis i àudio en els robots és la que desvetlla la seva manca de vida.

Un grup d’investigadors del Departament de Ciències de la Computació de la Universitat de Columbia han presentat un rostre robòtic humanoide amb llavis de silicona suau accionats per un mecanisme de 10 graus de llibertat. Fins ara els llavis robòtics no solen tenir la complexitat mecànica imprescindible per reproduir els moviments de la boca. Per la seva banda, els mètodes de sincronització que hi ha fins ara depenen de regles manuals, cosa que n’ha limitat el realisme. Aquest grup d’investigadors ha utilitzat un procés d’aprenentatge auto supervisat basat en un autocodificador variacional (VAE), combinat amb un transformador d’acció facial, cosa que permet al robot inferir de manera autònoma trajectòries labials més realistes directament de l’àudio de la parla.

A més, la sincronització apresa es generalitza amb èxit en múltiples contextos lingüístics, cosa que permet l’articulació de la parla del robot en 10 idiomes que no s’havien vist durant l’entrenament. El robot va adquirir aquesta habilitat mitjançant aprenentatge observacional, en comptes de seguir regles. Primer va aprendre a fer servir els seus 26 motors facials observant el seu propi reflex al mirall, abans d’aprendre a imitar el moviment labial humà veient hores de vídeos de YouTube. Com que es tracta d’una habilitat apresa anirà millorant segons interactuï amb humans.