Finanziato dal programma Horizon 2020 della Commissione Europea con concessione n. 762021, l’obiettivo finale del progetto è la creazione di un avatar umano fotorealistico 3D automatico per l'interpretazione in diretta di trasmissioni televisive utilizzando il linguaggio dei segni in specifici domini broadcast quali le previsioni metereologiche, tramite l’uso di nuovi algoritmi e tecnologie AI.
Fincons Group svolge il ruolo fondamentale di coordinatore del progetto per il consorzio di ricerca che include, aziende, università e centri di ricerca quali: the University of Surrey (UK), il Fraunhofer Heinrich Hertz Institute – HHI (DE), Human Factors Consult (DE), SwissTXT (CH) e Vlaamse Radio en Televisieomroep – VRT (BE). Forte di una comprovata esperienza a fianco dei maggiori broadcaster Europei, il Gruppo è anche il principale partner di integrazione ICT.
CONTENT4ALL è una soluzione sostenibile che permette di incrementare l’accessibilità e i servizi per i non udenti a costi ridotti. Riducendo gli oneri di produzione, i broadcaster possono rendere accessibile più contenuti nel linguaggio dei segni, raggiungendo un’audience più ampia e rendendo l’esperienza più inclusiva e coinvolgente. La soluzione permette inoltre di adempire a nuovi decreti legislativi quali l’Art.30, 21 della Convenzione delle Nazioni Unite sui diritti delle persone con disabilità.
L’avatar fotorealistico in 3D, definito ai fini del progetto il “realtar”, traspone in real-time un interprete del linguaggio dei segni in un essere umano virtuale realistico. Questo è possibile grazie ad un innovativo studio remoto dove i movimenti di una persona reale sono catturati (corpo, mani e anche espressioni del viso) e adattati con algoritmi di advanced Deep Learning e Machine Learning.
Il realatar può poi essere distribuito tramite video stream che sono pienamente compatibili con le ultime innovazioni Next Gen TV grazie agli standard all’avanguardia HbbTV 2.0.1 e ATSC 3.0.
Nello specifico alcuni obiettivi chiave del progetto sono:
- Animazione live remota per distribuzione di linguaggio dei segni live con essere umano 3D virtuale
- Sviluppo di tecnologie e algoritmi per esplorare la generazione del linguaggio dei segni
- Estrazione di parametri di interpretazione del linguaggio dei segni, sviluppo real-time di modelli 3D e animazione
- Valutazione della performance del trial con utenti finali e associazioni locali quali la Federazione Svizzera dei Non udenti (Svizzera), Doof Vlaanderen e subappaltatori locali (Flanders/Belgium).
- Creazione di modelli di business sostenibili
Nel suo whitepaper "Market Insight: Three Key Areas in Which AI Will Disrupt the Video Entertainment Ecosystem” Gartner enumera CONTENT4ALL tra i progetti AI che possono cambiare radicalmente il modo in cui opera l’industria creativa del video, posizione ulteriormente supportata dalla risposta a CONTENT4ALL al FutureZone dell’IBC 2019 e confermata al Future Park NAB 2020.
CONTENT4ALL utilizza le ultime tecnologie AI quali:
Riproduzione delle espressioni facciali con RGB video e parametri viso
Riproduzione dei movimenti del corpo come scheletro tramite sensori di profondità e algoritmi AI
Riproduzione dei gesti tramite l’inserimento di movimenti delle mani e modelling delle dita grazie ad algoritmi di advanced Deep leasing