Επιστημονικά Επιτεύγματα

ΕΠΤΑ ΧΡΟΝΙΑ ΕΡΕΥΝΑΣ POETICON

Poeticon Flyers

Μερικά από τα θεμελιώδη στοιχεία έρευνας και ανάπτυξης στο ΙΓΕΤ εκπορεύονται από τη σειρά ερευνητικών έργων POETICON. Το POETICON είναι ένα διεπιστημονικό έργο στους τομείς των Γνωσιακών Συστημάτων και της Ρομποτικής, χρηματοδοτούμενο από την Ευρωπαϊκή Επιτροπή. Ξεκίνησε τον Ιανουάριο του 2008, συνεχίστηκε ως POETICON++ τον Ιανουάριο του 2012 και βρίσκεται στον έβδομο χρόνο αδιάλειπτης και εστιασμένης έρευνας. Το  POETICON ξεκίνησε με ένα φιλόδοξο στόχο βασικής έρευνας: να διερευνήσει και να μοντελοποιήσει την «ποιητική της καθημερινότητας», δηλαδή τη σύνθεση αισθητηριοκινητικών αναπαραστάσεων και φυσικής γλώσσας στην καθημερινή αλληλεπίδραση των ανθρώπων· κάτι που σχετίζεται με το βασικό ερώτημα στο χώρο της Τεχνητής Νοημοσύνης σχετικά με το «πώς αναδύεται το νόημα». Το πρόβλημα αυτό προσεγγίστηκε από μια Ενσώματη και Δρώσα Γνωσιακή οπτική (Embodied and Enactive Cognition). Αναπτύχθηκαν βασικά εργαλεία για την ανάλυση της γλώσσας, της όρασης και της κίνησης και διερευνήθηκε η μοντελοποίηση της ενοποίησής τους με δυναμικό τρόπο. Πειραματική έρευνα έδωσε τροφή στην ανάπτυξη αυτών των τεχνολογιών, ενώ η χρήση μιας ανθρωπόμορφης ρομποτικής πλατφόρμας συνεισέφερε στην επίδειξη τού τι μπορεί να πετύχει για τα Γνωσιακά Συστήματα η πραγματικά ενιαία επεξεργασία των τριών διαφορετικών γνωσιακών λειτουργιών.

Το POETICON++ χτίζει πάνω σε αυτά τα προκαταρκτικά αποτελέσματα υποστηρίζοντας πως τα ρομπότ χρειάζονται τη φυσική γλώσσα για ελεγχόμενη γενίκευση επίκτητων συμπεριφορών και για δημιουργικότητα. Κύριος στόχος του είναι η ανάπτυξη ενός πρωτοποριακού υπολογιστικού μηχανισμού για αξιόπιστη γενίκευση κινήσεων και οπτικών εμπειριών για ρομπότ που θα αξιοποιεί την ιεραρχική και παραγωγική φύση της γλώσσας για «ευρετηρίαση» (ονοματοδοσία) ​αισθητηριοκινητικών εμπειριών σε διάφορα επίπεδα αφαίρεσης. Ο μηχανισμός ενοποιεί εργαλεία επεξεργασίας φυσικής γλώσσας και αναγνώρισης οπτικών ενεργειών και αντικειμένων με προηγμένες ικανότητες χειρισμού και κίνησης, ικανότητες αυτόνομης εξερεύνησης δυνατοτήτων χρήσης των αντικειμένων (affordance-based self exploration) και ένα νευρωνικό δίκτυο εκμάθησης γλώσσας και κίνησης για: α) παραγωγή συμπεριφορών μέσω φωνητικών εντολών, και β) αναγνώριση οπτικών σκηνών από ανθρωποειδή.

Το  POETICON συντονίζεται από τη διευθύντρια του ΙΓΕΤ και συγκεντρώνει μια διεθνή ομάδα επιστημονικών υπευθύνων και των εργαστηρίων τους, περιλαμβανομένων των Καθ. Γιάννη Αλοίμονου (Πανεπιστήμιο του Μέρυλαντ), Καθ. Giulio Sandini, Καθ. Luciano Fadiga και Καθ. Giorgio Metta (Ιταλικό Τεχνολογικό Ινστιτούτο, Ιταλία), Καθ. Angelo Cangelosi (Πανεπιστήμιο του Πλύμουθ) και Καθ. Jose Santos Victor (Ανώτατο Τεχνολογικό Ινστιτούτο, Πορτογαλία). 

Η μινιμαλιστική γραμματικής της κίνησης

The Minimalist Grammar of Action

Έχει δειχθεί ότι γλώσσα και κίνηση μοιράζονται μια κοινή νευρολογική βάση και πιο συγκεκριμένα μια κοινή “σύνταξη”, μια κοινή ιεραρχική και συνθετική οργάνωση. Ενώ υπάρχουν γραμματικοί φορμαλισμοί και σχετιζόμενα διαφοροποιητικά ή παραγωγικά υπολογιστικά μοντέλα για τη δομή της γλώσσας, δεν υπάρχουν αντίστοιχοι φορμαλισμοί και μοντέλα για τη δομή της κίνησης. Εντούτοις, η δομική πρόσεγγιση στη μελέτη της κίνησης έχει σημαντική επίδραση στην εκμάθηση δραστηριοτήτων και τη γενίκευσή τους, τόσο στην έρευνα της ανθρώπινης νόησης, όσο και στην υπολογιστική έρευνα. Αναπτύξαμε μια μινιμαλιστική γραμματική της κίνησης, μια φορμαλιστική περιγραφή της δομής της κίνησης, η οποία χρησιμοποιεί το υπόδειγμα της παραγωγικής μετασχηματιστικής γραμματικής του Τσόμσκυ και τεκμηριώνεται με νευροβιολογικά ευρήματα. Παρόλο που υπάρχει πληθώρα γραμματικών για την περιγραφή της δομής της γλώσσας, επιλέξαμε την προσέγγιση του Τσόμσκυ και πιο συγκεκριμένα την πιο πρόσφατη εξέλιξή της, το Μινιμαλιστικό Πρόγραμμα. Ο κύριος λόγος αυτής της επιλογής ήταν το γεγονός ότι αυτό το πλαίσιο είναι το αποκορύφωμα μιας προσπάθειας να περιγραφεί και να εξηγηθεί η σύνταξη στη γλώσσα με αρχές και παραμέτρους που δεν είναι συνδεδεμένες με την ιδιοσυγκρασία του ανθρώπινου γλωσσικού συστήματος, αλλά, αντιθέτως ενδέχεται να έχουν αντιστοιχίες με άλλα βιολογικά συστήματα. Ως εκ τούτου, αυτή η προσέγγιση επιτρέπει να αναζητηθούν καθολικές έννοιες όχι μόνο στις δομές των διαφορετικών ανθρωπίνων γλωσσών, αλλά και στο φάσμα της φυσικής γλώσσας σε μη-συμβολικούς αισθητηριοκινητικούς χώρους, όπως η ανθρώπινη κίνηση.

Η παραγωγική μας γραμματική της κίνησης αποτελείται από ένα σύνολο τερματικών και μη-τερματικών συμβόλων, χαρακτηριστικών και κανόνων παραγωγής στον αισθητηριοκινητικό χώρο. Η ανάγκη της συμπλήρωσης των τιμών των χαρακτηριστικών της κίνησης, οδηγεί τη συγχώνευση των συστατικών της κίνησης σε δυαδικές δομές οργανωμένες ιεραρχικά σε χρονικές ακολουθίες κινήσεων αυξανόμενης πολυπλοκότητας. Αυτά τα χαρακτηριστικά-κλειδιά είναι το εργαλείο μιας κίνησης, το επηρεαζόμενο αντικείμενο και ο τελικός σκοπός. Ένα ελάσσον σύνολο από κανόνες παραγωγής (στο οποίο τα συμπληρώματα μιας κίνησης, δηλαδή το εργαλείο και το αντικείμενο, έχουν πρωταρχικό ρόλο) εφαρμόζονται αναδρομικά παράγοντας δένδρα κίνησης, ενώ ένας αναλυτής χτίζει τέτοια δένδρα από κάτω προς τα πάνω αντιμετωπίζοντας ταυτόχρονα ούρια και πραγματική αναδρομή (δηλ. διακοπτόμενες δομές κίνησης και μακρινές εξαρτήσεις). Αναδρομή, συγχώνευση και μετακίνηση, παρουσιάζονται ως μηχανισμοί που εκδηλώνονται όχι μόνο στην γλώσσα, αλλά και στην ανθρώπινη κίνηση. 

Πειράματα με Λίθινα Εργαλεία του POETICON

Poeticon Lithic Tool Experiments

Ποιες είναι οι κοινές χρήσεις των αντικειμένων; Ποιες ιδιότητες τους είναι χαρακτηριστικές; H γνώση των δυνατοτήτων των αντικειμένων και των ιδιοτήτων τους είναι μέρος της κοινής μας λογικής, και ως εκ τούτου είναι σημαντική στην ανάπτυξη ευφυών συστημάτων και την διερεύνηση των μηχανισμών μάθησης στον άνθρωπο. Ωστόσο, τέτοιου είδους πληροφορία δεν έχει ποτέ ξανά συγκεντρωθεί σε μεγάλη κλίμακα και εντελώς αμερόληπτα από την πλευρά του σχεδιαστή του πειράματος. Έχουμε σχεδιάσει και διεξάγει μια σειρά γνωσιακών πειραμάτων μέσω των οποίων εκμαιεύσαμε τέτοια πληροφορία σε μεγάλη κλίμακα. Στα πειράματα, χρησιμοποιήσαμε τόσο οπτικά όσο και απτικά ερεθίσματα απαρτιζόμενα από λίθινα εργαλεία, δηλ. καινοφανή αντικείμενα για το σύγχρονο άνθρωπο, κατασκευασμένα για συγκεκριμένες λειτουργίες που ήταν μέρος των καθημερινών δραστηριοτήτων μιας άλλης εποχής. Τα αντικείμενα αυτά, αποδείχθηκαν ιδανικά για τη συγκέντρωση πλούσιας πληροφορίας για τις δραστηριότητες του σύγχρονου ανθρώπου χωρίς να καθοδηγηθούν οι συμμετέχοντες με οποιονδήποτε τρόπο.

Οι συμμετέχοντες χρησιμοποίησαν ελεύθερο λόγο (προφορικές αναφορές) απαντώντας μια απλή ερώτηση: τι αντικείμενα βλέπουν και για ποιο σκοπό θα μπορούσαν να τα χρησιμοποιήσουν. Το πείραμα είχε διάφορα σκέλη, όπου άλλαζαν κάποιες παράμετροι, όπως για παράδειγμα η παρουσίαση οπτικών αναπαραστάσεων των ερεθισμάτων σε οθόνη υπολογιστή, έναντι ενεργού χειρισμού μιας συλλογής λίθινων εργαλείων (απτικά ερεθίσματα) σε άλλο σκέλος. Όλες οι συνεδρίες μαγνητοσκοπήθηκαν από δύο κάμερες (τοποθετημένες η μία απέναντι από το συμμετέχοντα και η άλλη στο πλάι). Το αποτέλεσμα ήταν πάνω από 95 ώρες προφορικών αναφορών, από περίπου 120 συμμετέχοντες. Τα δεδομένα αυτά περιλαμβάνουν λεκτικά εκφραζόμενη σημασιολογική πληροφορία σχετικά με ιδιότητες και δυνατότητες χρήσεις αντικειμένων, σχετική επιχειρηματολογία, καθώς και ένα πλούσιο σύνολο παντομίμας, χειρονομιών και κινήσεων διερεύνησης αντικειμένων.

PRAXICON: Μια Σημασιολογική Μνήμη για Ρομπότ

The Praxicon Semantic Memory

Η ανάγκη δομημένης γνώσης για ευφυή συστήματα, ανεξαρτήτως τομέα και εφαρμογής έχει οδηγήσει στην ανάπτυξη βάσεων γνώσης και οντολογιών στη μορφή σχεσιακών βάσεων δεδομένων και δικτύων σημασιολογικού συσχετισμού. Ευρήματα και θεωρίες της Νευροεπιστήμης παραπέμπουν σε μια πολυαισθητηριακή και κατανεμημένη σημασιολογική μνήμη στον ανθρώπινο εγκέφαλο˙ ωστόσο, από την γνωσιακή οπτική, οι συνήθεις βάσεις γνώσης κοινής λογικής και οι οντολογίες παραμένουν στατικές αποθήκες λεκτικών –κυρίως- εννοιών, με ειδικού σκοπού δημιουργούμενους σημασιολογικούς συσχετισμούς. Από την οπτική της μηχανικής, η γενίκευση μεγάλης κλίμακας και η συλλογιστική κοινής λογικής σε ευφυή συστήματα και στη ρομποτική ακόμα σκοντάφτει στο κενό μεταξύ των υψηλού επιπέδου αναπαραστάσεων και τις χαμηλού επιπέδου οπτικοκινητικές εμπειρίες. Έχουμε αναπτύξει το PRAXICON, ένα δυναμικό, αναδρομικό και αναφορικό σημασιολογικό δίκτυο με βιολογικές βάσεις που στοχεύει να αντιμετωπίσει τις προκλήσεις αναπαράστασης και ενοποίησης γνώσης στην Ενσώματη και Δρώσα Γνωσιακή Οπτική.

Οι έννοιες στο PRAXICON μπορούν να έχουν συγκεκριμένη (φυσική) ή αφηρημένη αναφορά σχετιζόμενη με οντότητες, κινήσεις και χαρακτηριστικά, χωρίς περιορισμούς στο γνωστικό αντικείμενο. Έχουν πολλαπλές αναπαραστάσεις (συμβολικές, αντιληπτικές, κινητικές). Όλες είναι σημαντικές, αλλά κάποιες από αυτές είναι πιο σημαντικές από άλλες όσον αφορά τη γενίκευση και τη συλλογιστική. Οι συσχετίσεις μεταξύ εννοιών στο PRAXICON είναι απλές ή αναδρομικής φύσεως˙ αφορούν ένα πεπερασμένο σύνολο πραγματιστικών τύπων σχέσεων και προσδίδουν περιορισμούς στην παραγωγή νέων συσχετίσεων, χωρίς όμως να περιορίζουν μια τέτοια παραγωγή. Το PRAXICON τραβά μια διακριτή γραμμή μεταξύ γλώσσας και σημασιολογικής μνήμης˙ θεωρεί τη γλώσσα περισσότερο ως μια επιπλέον τροπικότητα που συνεισφέρει (σημαντικά και μοναδικά) στην κατάκτηση και χρήση της γενικευμένης γνώσης μέσω δυναμικής διάδρασης με την αντίληψη και την κίνηση, παρά ένα μέσο αποτελεσματικής αναπαράστασης τέτοιας γνώσης. Υποστηρίζουμε πως το PRAXICON είναι απαραίτητο για τα ευφυή συστήματα, έτσι ώστε να προχωρήσουν πέρα από τη μηχανική μάθηση με λίγα δεδομένα εκπαίδευσης (one-shot learning) προς μια μεγάλης κλίμακας (και όχι περιορισμένη σε συγκεκριμένο θεματικό τομέα) γενίκευση και σε συλλογιστική κοινής λογικής.

COSMOROE: Διατροπικές Σχέσεις σε Πολυτροπικούς Διαλόγους

COSMOROE-Cross Modal Relations in Multimedia

Υπάρχει πληθώρα πολυμεσικών συλλογών δεδομένων που έχουν δημιουργηθεί από επαγγελματίες αλλά και ερασιτέχνες. Παράλληλα, η παραγωγή τέτοιων δεδομένων αυξάνεται συνεχώς: τηλεοπτικές παραγωγές, εικονογραφημένες εκδόσεις (όπως εφημερίδες, βιβλία, μπλογκ και εγκυκλοπαίδειες), φωτογραφικά άλμπουμ με λεζάντες (στα κοινωνικά μέσα δικτύωσης ή σε αρχεία επισήμων φορέων, π.χ. σε έρευνες σκηνών εγκλήματος), ερασιτεχνικά βίντεο, βίντεο παρακολούθησης, οπτικοακουστικά αρχεία σχετιζόμενα με την εκπαίδευση ή την πολιτιστική κληρονομιά, ηλεκτρονικά παιχνίδια που ελέγχονται με κινήσεις ή τη φωνή, για να δώσουμε μερικά μόνο παραδείγματα. Κατά την επεξεργασία τέτοιων μηνυμάτων, χρησιμοποιούμε το γνωσιακό μας σύστημα για να ιχνηλατούμε αυτή την ενοποίηση ώστε να την καταλάβουμε, προβλέποντας και ερμηνεύοντας συνεχώς, όσο το μήνυμα (ή η επεξεργασία του) εξελίσσεται δυναμικά στο χρόνο. Ωστόσο, τί είναι αυτό που ιχνηλατούμε; Με άλλα λόγια, τί βλέπουμε καθώς ακούμε, ή τί διαβάζουμε καθώς κοιτάμε; Η κατανόηση των διαδικασιών της σημασιολογικής διασύνδεσης κατά την ενοποίηση γλώσσας, εικόνας και ήχου μπορεί να συμβάλλει ριζικά στην ενεργοποίηση της κριτικής σκέψης τόσο κατά την επεξεργασία πληροφορίας που δημιουργούν άλλοι όσο και στα οπτικοακουστικά μηνύματα που παράγουμε οι ίδιοι.

Το COSMOROE είναι ένα θεωρητικό πλαίσιο για μοντελοποίηση της σημασιολογικής αλληλεπίδρασης μεταξύ διαφόρων μέσων έκφρασης, κατά τη δημιουργία πολυτροπικών μηνυμάτων. Το COSMOROE αναγνωρίζει έναν αριθμό ειδών σημασιολογικών συσχετίσεων μέσω των οποίων εξυπηρετείται η ενοποίηση των τροπικοτήτων κατά τη διαδικασία σχηματισμού πολυτροπικών μηνυμάτων. Οι λεκτικές και οπτικές αναπαραστάσεις αντικειμένων, δραστών, κινήσεων, χειρονομιών, γεγονότων, και αφηρημένων εννοιών συμμετέχουν σε ένα σημασιολογικό διαδραστικό παιχνίδι που κυμαίνεται από απλές μονοσήμαντες σχέσεις ισοτιμίας (ισοδυναμίας) σε αναγκαστική ισοδυναμία (περιπτώσεις μετωνυμιών και μεταφορών), αντίφασης και συμπληρωματικότητας. Το COSMOROE έχει χρησιμοποιηθεί σε πληθώρα πολυτροπικών πλαισίων, όπως η ανάλυση τηλεοπτικών ταξιδιωτικών σειρών, γελοιογραφιών και ταινιών του Χόλυγουντ. Παραδείγματα τέτοιων αναλύσεων είναι διαθέσιμα μέσω της μηχανής αναζήτησης COSMOROE. Προσφάτως, μια υπόθεση εργασίας σχετιζόμενη με τις σχέσεις του COSMOROE οδηγεί μια σειρά πειραμάτων για τη διερεύνηση του ρόλου γλώσσας και εικόνας στον καθορισμό της σημαντικότητας των αντικειμένων (object saliency) κατά την αντίληψη περίπλοκων ερεθισμάτων.

Χρονισμός και Αντίληψη του Χρόνου

Timing and Time Perception Flyer

Σε συνέχεια των δραστηριοτήτων του ερευνητικού δικτύου TIMELY, η Αργυρώ Βατάκη (Αθήνα, Ελλάδα) μαζί με τους Hedderik van Rijn (Groningen, Ολλανδία) και Warren Meck (Durham, NC, ΗΠΑ) ξεκίνησαν και καθιέρωσαν τα πρώτα διεπιστημονικά Περιοδικά και Σειρές Διαδικτυακών Επιθεωρήσεων αφιερωμένα στο Χρονισμό και την Αντίληψη του Χρόνου:

Timing & Time Perception Journal των Εκδόσεων Brill

«Ο συγχρονισμός είναι πανταχού παρών στην καθημερινή μας ζωή – από τους ήχους του ξυπνητηριού, στην ικανότητα μας να περπατούμε, να χορεύουμε, να θυμόμαστε και να επικοινωνούμε με τους άλλους. Αυτή η ιδιαίτερη σχέση έχει οδηγήσει επιστήμονες από διαφορετικά πεδία να εξετάσουν το χρόνο και να ερευνήσουν πώς τα άτομα αντιλαμβάνονται, επεξεργάζονται και χρησιμοποιούν αποτελεσματικά το χρόνο στις καθημερινές τους δραστηριότητες. Το Timing and Time Perception Journal στοχεύει να γίνει το φόρουμ για όλες τις ψυχοφυσιολογικές, νευροαπεικονιστικές, φαρμακολογικές, υπολογιστικές και θεωρητικές προόδους στον τομέα του χρονισμού και της αντίληψης του χρόνου στους ανθρώπους και τα ζώα. Οραματιζόμαστε μια διεπιστημονική προσέγγιση στα υπό εξέταση πεδία, συμπεριλαμβανομένης της συνεργασίας με την Νευροεπιστήμη και Φιλοσοφία της κατανόησης της έννοιας του χρόνου, τη Γνωσιακή Επιστήμη και την Τεχνητή Νοημοσύνη για την προσαρμογή της βασικής έρευνας σε προγράμματα τεχνητής νοημοσύνης (artificial agents), την Ψυχιατρική, τη Νευρολογία, τις Συμπεριφορικές και Υπολογιστικές Επιστήμες, για τη νευρολογική αποκατάσταση και μοντελοποίηση του διαταραγμένου εγκεφάλου, για να δώσουμε μερικά μόνο παραδείγματα.»

«Το περιοδικό Timing & Time Perception (Εκδότης: Brill) ξεκίνησε με τη διαπίστωση ότι η μελέτη του “χρονισμού και της αντίληψης του χρόνου” μεγαλώνει εκθετικά με ενδιαφέρον από διαφορετικά επιστημονικά πεδία, όπως η γνωσιακή επιστήμη, η επιστήμη των υπολογιστών, τα οικονομικά, η ψυχολογία, η φιλοσοφία, η ρομποτική και η νευροεπιστήμη. Όπως με κάθε επιστημονική αναζήτηση, εφόσον καθιερωθεί μια επαρκής εμπειρική βάση, καθίσταται αναγκαίο και επιθυμητό να υποστηριχθεί αυτή η ταχύτατα αναπτυσσόμενη περιοχή του επιστητού με μια πλατφόρμα για την έκδοση ολοκληρωμένων και διεπιστημονικών επιθεωρήσεων. ... Είμαστε στην ευχάριστη θέση να ανακοινώσουμε πως το περιοδικό “Timing & Time Perception Reviews” (μια συλλογική έκδοση του Πανεπιστημίου του Groningen και των εκδόσεων Brill) ξεκινά να εκδίδεται με ελεύθερη πρόσβαση με αυτό το στόχο κατά νου...» (Timing & Time Perception Reviews, τεύχος 1, 2014).