Ερευνητές των πανεπιστημίων του San Francisco και του Berkeley, σε συνεργασία με την εταιρία Speech Graphics, αλλάζουν τα δεδομένα για την επικοινωνία των παράλυτων ασθενών. Χρησιμοποιώντας μία συσκευή Brain-Computer Interface (BCI), μετέτρεψαν τα αναλογικά σήματα που παράγει ο εγκέφαλος σε ψηφιακά σήματα τα οποία καταλαβαίνει ο υπολογιστής. Έτσι, έδωσαν τη δυνατότητα σε μία γυναίκα η οποία είχε παραλύσει από εγκεφαλικό, να μπορέσει να μιλήσει ξανά μέσω ενός ψηφιακού avatar το οποίο ήλεγχε με το BCI.
Οι ερευνητές τοποθέτησαν μία συστοιχία ηλεκτροδίων στο κέντρο ελέγχου του λόγου στον εγκέφαλο της ασθενούς. Αυτά κατέγραφαν τα ηλεκτρικά σήματα τα οποία κανονικά θα κινούσαν τους μύες στο σαγόνι, τα χείλη και τη γλώσσα και τα μετέδωσαν μέσω καλωδίου σε έναν υπολογιστή. Έπειτα, με τη χρήση AI και εκπαίδευση μερικών εβδομάδων, η AI μετέφραζε τα ηλεκτρικά σήματα για περισσότερες από 1.000 λέξεις.
Το εντυπωσιακό είναι πως κατάφεραν να συνθέσουν μία φωνή η οποία βασίστηκε σε φυσικά δείγματα της φωνής της ασθενούς τα οποία είχαν καταγραφεί πριν το εγκεφαλικό. Έπειτα, με τη βοήθεια της Speech Graphics, της εταιρίας η οποία ανέπτυξε τα φωτορεαλιστικά animation προσώπου του The Last of Us II και του Halo Infinite, έδωσαν “ζωή” στο avatar της ασθενούς, το οποίο πλέον μπορούσε να μιλήσει με τη φωνή της και να κινήσει τους “ψηφιακούς μύες” που έπρεπε, για να παράγει ένα ρεαλιστικό αποτέλεσμα. Έτσι, η ασθενής μπόρεσε να εκφράσει και συναισθήματα με το avatar, επικοινωνώντας ακόμα και χωρίς λέξεις.
Δημιουργώντας ένα ψηφιακό avatar το οποίο μπορεί να μιλήσει, να κάνει εκφράσεις και να παράγει λόγο σε πραγματικό χρόνο, συνδεδεμένο απευθείας στον εγκέφαλο του ασθενούς, αποκαλύπτεται η πραγματική δυναμική των AI προσώπων σε τομείς πέρα από τα video games. Η αποκατάσταση του λόγου είναι από μόνη της εντυπωσιακή, αλλά η επικοινωνία μέσω εκφράσεων του προσώπου είναι τόσο βασική σε αυτό που μας κάνει ανθρώπους και αποκαθιστά μία αίσθηση ελέγχου στον ασθενή ο οποίος το έχει χάσει αυτό. – Michael Berger, CTO Speech Graphics.
Η έρευνα δημοσιεύθηκε στο Nature.
Παράλυτη γυναίκα μιλάει ξανά μέσω ψηφιακού avatar (ΒΙΝΤΕΟ)
