Μία από τις βασικές λειτουργίες της παρεχόμενης πλατφόρμας είναι η αυτόματη οπτική ανάλυση κάθε στοιχείου κατά τη στιγμή της μεταφόρτωσής του και η σχολίασή του με περιγραφικό κείμενο και ετικέτες, ώστε να μπορεί εύκολα να ανακτηθεί και να φιλτραριστεί. Εφαρμόζοντας σχολιασμούς ως φίλτρα στην αναζήτηση και ανάκτηση στοιχείων, οι χρήστες μπορούν εύκολα να βρουν περιεχόμενο σε συλλογές μεγάλης κλίμακας που ταιριάζει στις ανάγκες τους και να το οργανώσουν σε σημασιολογικά συνεκτικές ομάδες (τα Έργα). Για τη διαδικασία σχολιασμού στοιχείων, έχουν ενσωματωθεί διάφορα μοντέλα για την παροχή πληροφοριών που κυμαίνονται από αντικείμενα και ενέργειες που αναγνωρίζονται στα στοιχεία, έως περιγραφικές λεζάντες κειμένου που παρέχουν μια φιλική προς το χρήστη περιγραφή των στοιχείων. Με περισσότερες λεπτομέρειες, η αυτόματη διαδικασία ανάλυσης και σχολιασμού πολυμέσων που χρησιμοποιείται για κάθε στοιχείο περιλαμβάνει τα εξής:
Αυτόματη λεζάντα εικόνας: Η λεζάντα μπορεί να βελτιώσει σημαντικά την ανάκτηση εικόνας δημιουργώντας μια περιγραφή ελεύθερου κειμένου για κάθε εικόνα, παρέχοντας πρόσθετο πλαίσιο για το οπτικό περιεχόμενο. Το ακόλουθο Σχήμα δείχνει δύο κάρτες στοιχείων με τις αντίστοιχες δημιουργημένες λεζάντες. Με την ευρετηρίαση αυτών των λεζάντων, είμαστε σε θέση να ανακτήσουμε στοιχεία ακόμη και αν ο χρήστης δεν έχει παράσχει σχετικά μεταδεδομένα ή περιγραφή κειμένου. Για παράδειγμα, ένας χρήστης μπορεί να ανακτήσει τα στοιχεία που φαίνονται στο σχήμα, τα οποία απεικονίζουν το Άγαλμα της Ελευθερίας και τα ερείπια του Κολοσσαίου, με αντίστοιχα ερωτήματα, παρόλο που ο χρήστης που τα ανέβασε δεν παρείχε τέτοιες πληροφορίες.
Δύο κάρτες στοιχείων με αυτόματα δημιουργημένες λεζάντες
Ανίχνευση αντικειμένων: Το μοντέλο ανίχνευσης αντικειμένων χρησιμοποιείται για την αναγνώριση αντικειμένων μέσα σε εικόνες και καρέ βίντεο. Στην περίπτωση των εικόνων, ανιχνεύουμε και αποθηκεύουμε το πλαίσιο οριοθέτησης που περιέχει το αντίστοιχο αντικείμενο, ενώ στα βίντεο παρέχουμε επίσης χρονικές πληροφορίες. Εάν ένας χρήστης θέλει να βρει εικόνες ή βίντεο που περιέχουν ένα συγκεκριμένο αντικείμενο, μπορεί να φιλτράρει τα στοιχεία χρησιμοποιώντας το φίλτρο αντικειμένων και η πλατφόρμα θα επιστρέψει όλες τις εικόνες και τα βίντεο που έχουν σχολιαστεί με αυτήν την ετικέτα. Το παρακάτω σχήμα δείχνει τρεις κάρτες στοιχείων, δύο εικόνες και ένα βίντεο με τα αντίστοιχα αναγνωρισμένα αντικείμενα.
Αναζήτηση και ανάκτηση με το «φίλτρο αντικειμένου» – παραδείγματα
Αναγνώριση ενέργειας: Το μοντέλο αναγνώρισης ενέργειας χρησιμοποιείται για τον εντοπισμό ενεργειών μέσα σε εικόνες και καρέ βίντεο. Η αναγνώριση ενέργειας σε εικόνες και βίντεο υποδεικνύει μια άλλη κατηγορία που ένας χρήστης θα μπορούσε να χρησιμοποιήσει για να φιλτράρει περιεχόμενο πολυμέσων. Εάν ένας χρήστης θέλει να βρει εικόνες ή/και βίντεο που περιέχουν μια συγκεκριμένη ενέργεια, μπορεί να φιλτράρει τα στοιχεία χρησιμοποιώντας το φίλτρο ενέργειας και η πλατφόρμα θα επιστρέψει όλες τις εικόνες ή/και τα βίντεο που έχουν σχολιαστεί με αυτήν την ετικέτα. Στο παρακάτω σχήμα, παρέχουμε τρία παραδείγματα, δύο βίντεο και μία εικόνα με τις αντίστοιχες αναγνωρισμένες ενέργειες.
Αναζήτηση και ανάκτηση με το «φίλτρο δράσης» – παραδείγματα
Εποπτεία Περιεχομένου: Στην πλατφόρμα χρησιμοποιούνται δύο μοντέλα εποπτείας για το φιλτράρισμα του περιεχομένου, διασφαλίζοντας ότι η πλατφόρμα παραμένει ασφαλής και κατάλληλη για όλους τους χρήστες. Εκπαιδεύσαμε δύο μοντέλα εποπτείας που είναι σε θέση να ανιχνεύουν ενοχλητικό και μη ασφαλές για εργασία (NSFW) περιεχόμενο. Για τις εικόνες, τα αποτελέσματα της εποπτείας, συμπεριλαμβανομένης μιας βαθμολογίας εμπιστοσύνης, αποθηκεύονται και καταχωρούνται. Για τα βίντεο, τα μοντέλα εφαρμόζονται σε βασικά καρέ και ένα βίντεο θεωρείται NSFW ή ενοχλητικό εάν τουλάχιστον μία σκηνή λαμβάνει μια τέτοια ετικέτα. Κατά την ανάκτηση, οι χρήστες έχουν την επιλογή να συμπεριλάβουν ή να εξαιρέσουν αυτόν τον τύπο περιεχομένου, ενώ το περιβάλλον χρήστη χρησιμοποιεί αυτές τις ετικέτες για να θολώσει τα αντίστοιχα στοιχεία για να αποτρέψει την έκθεση των χρηστών σε ενδεχομένως ακατάλληλο περιεχόμενο. Για παράδειγμα, στα αριστερά του παρακάτω σχήματος, ο χρήστης έχει ενεργοποιήσει το φίλτρο Ενοχλητικό για να λαμβάνει μόνο εκείνα που έχουν επισημανθεί ως τέτοια. Οι χρήστες μπορούν να επιλέξουν να αποκαλύψουν το πραγματικό περιεχόμενο κατά την κρίση τους κάνοντας κλικ στο κουμπί αποκάλυψης στην επάνω δεξιά γωνία κάθε στοιχείου, όπως απεικονίζεται στα δεξιά του σχήματος.
Σχήμα 4: Στοιχείο με ενοχλητικό περιεχόμενο – θόλωση ή αποκάλυψη του πραγματικού περιεχομένου
Ανίχνευση meme: Για εικόνες, εφαρμόζουμε ένα μοντέλο ανίχνευσης meme σε κάθε εικόνα για να προσδιορίσουμε αν πρόκειται για meme ή όχι. Το αποτέλεσμα αποθηκεύεται και καταχωρείται στο ευρετήριο. Το παρακάτω σχήμα παρουσιάζει μία εικόνα που έχει κατηγοριοποιηθεί ως meme στον χώρο εργασίας MedDMO.
Σχήμα 4: Στοιχείο με ενοχλητικό περιεχόμενο – θόλωση ή αποκάλυψη του πραγματικού περιεχομένου
Επιπλέον, η αυτόματη ανάλυση πολυμέσων δημιουργεί για κάθε στοιχείο έναν πίνακα ιδιοτήτων, μια περιγραφή του στοιχείου και έναν πίνακα ανάλυσης μεταδεδομένων. Ο χρήστης μπορεί να δει τις γενικές ιδιότητες στην καρτέλα λεπτομερειών στοιχείου που εμφανίζεται όταν κάνει κλικ σε ένα στοιχείο, όπως φαίνεται στο παρακάτω σχήμα, ενώ, όταν κάνει κλικ στην καρτέλα Μεταδεδομένα, ο χρήστης μπορεί να περιηγηθεί στα πλήρη μεταδεδομένα της εικόνας, όπως φαίνεται παρακάτω. Ο χρήστης μπορεί να επεξεργαστεί την περιγραφή ενός στοιχείου κάνοντας κλικ στο κουμπί επεξεργασίας και παρέχοντας μια νέα περιγραφή στοιχείου, όπως απεικονίζεται παρακάτω.
Καρτέλα λεπτομερειών περιουσιακού στοιχείου – Ιδιότητες
Επεξεργασία της περιγραφής του στοιχείου
Πίνακας ανάλυσης μεταδεδομένων
