VOXReality

Το VOXReality είναι ένα φιλόδοξο έργο του οποίου στόχος είναι να προωθήσει και να αξιοποιήσει τη σύγκλιση δύο σημαντικών τεχνολογιών, της επεξεργασίας φυσικής γλώσσας (NLP) και της υπολογιστικής όρασης (CV). Και οι δύο τεχνολογίες παρουσιάζουν μεγάλη άνθηση λόγω της σχεδόν καθολικής κυριαρχίας των καθοδηγούμενων από δεδομένα (data-driven) μεθόδων, και συγκεκριμένα της μηχανικής μάθησης (ML) και της τεχνητής νοημοσύνης (AI). Αφενός, οι τεχνολογίες αυτές οδηγούν την επανάσταση της εκτεταμένης πραγματικότητας (XR) πέρα από ό,τι ήταν δυνατό μέχρι σήμερα, και αφετέρου, οι διεπαφές που βασίζονται στην ομιλία και την κατανόηση κειμένου φέρνουν επανάσταση στην αλληλεπίδραση ανθρώπου-μηχανής και ανθρώπου-ανθρώπου. Το VOXReality επιδιώκει μια «οικονομική» προσέγγιση για τον συνδυασμό αυτών των δύο δυνατοτήτων, με την ενσωμάτωση μοντέλων όρασης-γλώσσας (Vision-Language) και φυσικής γλώσσας (NLP), υποστηρίζοντας μονοκατευθυντικές και αμφίδρομες συναλλαγές μεταξύ τους. Τα συστήματα όρασης υποστηρίζουν τόσο την επαυξημένη όσο και την εικονική πραγματικότητα, ενώ η κατανόηση γλώσσας προσθέτει έναν φυσικό τρόπο για τους ανθρώπους να αλληλεπιδρούν με τη ραχοκοκαλιά των συστημάτων XR ή να δημιουργούν πολυμεσικές εμπειρίες συνδυάζοντας την όραση και τον ήχο. Τα αποτελέσματα του έργου είναι διττά: 1) Ένα σύνολο προ-εκπαιδευμένων μοντέλων XR επόμενης γενιάς που συνδυάζουν σε διάφορα επίπεδα την τεχνητή νοημοσύνη γλώσσας και όρασης, και επιτρέπουν πλουσιότερες και πιο φυσικές εμπειρίες που αναμένεται να ενισχύσουν την υιοθέτηση της τεχνολογίας XR. 2) Ένα σύνολο εφαρμογών που χρησιμοποιούν αυτά τα μοντέλα για να επιδείξουν καινοτομία σε διάφορους τομείς. Οι παραπάνω τεχνολογίες θα επικυρωθούν μέσω τριών περιπτώσεων χρήσης: 1) Προσωπικοί βοηθοί που είναι ένας αναδυόμενος τύπος ψηφιακής τεχνολογίας που επιδιώκει να υποστηρίξει τους ανθρώπους στις καθημερινές τους εργασίες και σχετίζονται με την αλληλεπίδραση ανθρώπου-μηχανής (HCI). 2) Εικονικά συνέδρια που φιλοξενούνται και εκτελούνται πλήρως στο διαδίκτυο, συνήθως χρησιμοποιώντας μια πλατφόρμα εικονικής τηλεδιάσκεψης που δημιουργεί ένα κοινόχρηστο εικονικό περιβάλλον, επιτρέποντας στους συμμετέχοντες να παρακολουθούν και να αλληλεπιδρούν από οπουδήποτε στον κόσμο. 3) Θεατρικές παραστάσεις που συνδυάζουν εξατομικευμένη μετάφραση γλώσσας και οπτικά εφέ επαυξημένης πραγματικότητας ενεργοποιούμενα σε πραγματικό χρόνο, βάσει της ομιλίας και της κατάστασης των αντικειμένων στη σκηνή.

Η ομάδα μας ασχολήθηκε με: 1) Την ανάπτυξη μοντέλων όρασης-γλώσσας για την παραγωγή χωρικών περιγραφών εικόνας, και την απάντηση ερωτήσεων γύρω από αυτές που αφορούν χωρικές σχέσεις μεταξύ των εμφανιζόμενων αντικειμένων. 2) Τη βελτιστοποίηση μοντέλων τεχνητής νοημοσύνης βασιζόμενων σε μετασχηματιστές (transformers).

Κοινοπραξία

MAGGIOLI SPA
ETHNIKO KENTRO EREVNAS KAI TECHNOLOGIKIS ANAPTYXIS
UNIVERSITEIT MAASTRICHT
STICHTING NEDERLANDSE WETENSCHAPPELIJK ONDERZOEK INSTITUTEN
SYNELIXIS LYSEIS PLIROFORIKIS AUTOMATISMOU & TILEPIKOINONION ANONIMI ETAIRIA
STICHTING DUTCH VIRTUAL REALITY DAYS
ADAPT IT AE
F6S NETWORK IRELAND LIMITED
HOLO-INDUSTRIE 4.0 SOFTWARE GMBH
ELLINIKO FESTIVAL ANONYMOS ETAIREIA