Την Τετάρτη 29 Οκτωβρίου 2025 και ώρα 12:00 θα γίνει η δημόσια παρουσίαση και υποστήριξη της Διδακτορικής Διατριβής του υποψήφιου διδάκτορα του Τμήματος Ηλεκτρονικών Μηχανικών κ. Ιωάννη Σαραντόπουλου με θέμα: «Έξυπνες συσκευές στο διαδίκτυο των πραγμάτων με επεξεργασία στα άκρα του δικτύου». Η παρουσίαση και υποστήριξη της Διδακτορικής Διατριβής θα πραγματοποιηθεί στην αίθουσα συνεδριάσεων του νέου κτηρίου του Τμήματος Ηλεκτρονικών Μηχανικών στα Χανιά.
Στον παρακάτω σύνδεσμο παρέχεται δυνατότητα απομακρυσμένης συμμετοχής μέσω τηλεδιάσκεψης:
https://meet.google.com/ihw-ipti-vrp
ΠΕΡΙΛΗΨΗ
Τα έντομα διαδραματίζουν ζωτικό ρόλο στα οικοσυστήματα, συμμετέχοντας στην επικονίαση
και άλλες φυσικές διαδικασίες, παρότι υπάρχει περίπτωση να προκαλέσουν προβλήματα στις
αγροτικές καλλιέργειες. Επομένως, είναι απαραίτητος ο έλεγχος και η ρύθμιση των πληθυσμών
τους. Οι κλασικές τεχνικές για την παρακολούθηση εντόμων έχουν περιορισμένο εύρος,
απαιτούν πολύ χρόνο, και χρειάζονται πολλούς εξειδικευμένους εργαζόμενους. Η πρόοδος στην
τεχνολογία, μαζί με την ανάπτυξη του Διαδικτύου των Πραγμάτων (Internet of Things) και την
ταχύτατη εξέλιξη της Τεχνητής Νοημοσύνης, καθιστούν εφικτή την αυτοματοποιημένη και μη
επεμβατική παρακολούθηση των εντόμων με έξυπνες παγίδες. Η παρούσα διατριβή
επικεντρώνεται στην αξιοποίηση τεχνολογιών Διαδικτύου των Πραγμάτων και επεξεργασίας στα
άκρα του δικτύου (Edge Computing) για την ανάπτυξη έξυπνων συσκευών που ενσωματώνουν
τεχνικές τεχνητής νοημοσύνης (Artificial Intelligence). Ο στόχος είναι η δημιουργία αυτόνομων,
καινοτόμων συστημάτων παρακολούθησης δεδομένων σε πραγματικό χρόνο, τα οποία
καλύπτουν τις σύγχρονες ανάγκες της γεωργίας και της περιβαλλοντικής διαχείρισης. Μεταξύ
των βασικών συνεισφορών της διατριβής είναι η ανάπτυξη μιας ηλεκτρονικής παγίδας εντόμων
(smart e-trap) χαμηλού κόστους, που πραγματοποιεί τοπική επεξεργασία εικόνας με
ενσωματωμένο μοντέλο βαθιάς μάθησης για αυτόματη καταμέτρηση επιβλαβών εντόμων.
Αναπτύχθηκε μια οικονομικά αποδοτική συσκευή, η οποία διαθέτει αυξημένη ενεργειακή
αυτονομία και παρέχει ικανοποιητικής ποιότητας εικόνες για τις ανάγκες αναγνώρισης. Η
συσκευή αυτή είναι σχεδιασμένη να καταμετράει το πλήθος των εντόμων και να μεταφέρει
εικόνες από το εσωτερικό της παγίδας σε έναν απομακρυσμένο διακομιστή.
Η ανάλυση και η καταμέτρηση των εντόμων πραγματοποιούνται τοπικά, μέσω ενσωματωμένων
κβαντισμένων μοντέλων βαθιάς μάθησης (Deep Learning). Αυτή η μελέτη συγκρίνει διάφορες
παραμέτρους της απόδοσης τριών διαφορετικών συσκευών ακμής, συγκεκριμένα του ESP32,
του Raspberry Pi Model 4, και του Google Coral, οι οποίες εκτελούν αλγορίθμους βαθιάς
μάθησης χρησιμοποιώντας το πλαίσιο ανάπτυξης TensorFlow Lite. Κάθε συσκευή άκρης (Edge
Device) ήταν σε θέση να επεξεργάζεται εικόνες και να επιτυγχάνει ακρίβεια καταμέτρησης
(accuracy) άνω του 95%. Ωστόσο, οι χρόνοι της επεξεργασίας και η κατανάλωση ενέργειας
διαφοροποιούνταν μεταξύ των διαφορετικών συσκευών. Τα ευρήματά μας υποδηλώνουν ότι το
ESP32 αναδεικνύεται ως η πλέον κατάλληλη επιλογή στο πλαίσιο αυτής της εφαρμογής
σύμφωνα με την πολιτική μας για συσκευές χαμηλού κόστους και χαμηλής κατανάλωσης
ενέργειας. Στο δεύτερο μέρος, ακολουθεί η περιγραφή της ανάπτυξης μιας εντομοπαγίδας
βασισμένης σε εικόνες, με χαρακτηριστικά που την ξεχωρίζουν από άλλες παγίδες με κάμερα:
(α) δεν απαιτείται χειροκίνητη επισήμανση των εικόνων εκπαίδευσης για την εκμάθηση της
καταμέτρησης των εντόμων στόχων και (β) απομακρύνει αυτόματα τα παγιδευμένα έντομα,
γεγονός που την καθιστά ιδανική για παρατεταμένη χρήση. Η συσκευή περιλαμβάνει μια παγίδα
χωνιού με φερομόνη, στην οποία έχει ενσωματωθεί ένας Raspberry Pi μικροϋπολογιστής
εξοπλισμένος με κάμερα και αλγορίθμους βαθιάς μάθησης για την καταμέτρηση γεωργικών
παρασίτων. Επιπρόσθετα, η συσκευή λαμβάνει οδηγίες από τον διακομιστή που καθορίζει τη
λειτουργικότητά της, ένας ενσωματωμένος σερβοκινητήρας μπορεί να περιστρέφει αυτόματα
το αποσπώμενο κάτω μέρος του κάδου για την απόρριψη των αφυδατωμένων εντόμων όταν
αρχίσουν να συσσωρεύονται. Ως αποτέλεσμα, ξεπερνά έναν ουσιαστικό περιορισμό των
παγίδων εντόμων με κάμερες που είναι η αναπόφευκτη επικάλυψη και απόκρυψη που
προκαλείται από τη συσσώρευση εντόμων με την πάροδο του χρόνου, ενισχύοντας την
αυτόνομη λειτουργική δυνατότητα της παγίδας. Εξετάζονται περιπτώσεις που δεν έχουν
μελετηθεί επαρκώς στη βιβλιογραφία, όπως η καταμέτρηση σε συνθήκες συμφόρησης και
μεγάλων συγκεντρώσεων με τη χρήση αλγορίθμων καταμέτρησης πλήθους με χάρτες
πυκνότητας. Τέλος, διεξάγεται μια συγκριτική ανάλυση των αποτελεσμάτων που προκύπτουν
από τις μετρήσεις πληθυσμού εντόμων, εφαρμόζοντας διαφορετικές μεθόδους βαθιάς
μάθησης: α) εντοπισμό αντικειμένων (YOLOv7/8), β) καταμέτρηση πλήθους (CSRNET), και γ)
συνελικτικά μοντέλα με παλινδρόμησης. Είναι αξιοσημείωτο ότι δεν υφίσταται μια ενιαία και
ιδανική μέθοδος μέτρησης κατάλληλη για όλες τις περιστάσεις που αφορούν έντομα διαφόρων
μεγεθών με επικάλυψη. Έχοντας αξιολογηθεί τα πλεονεκτήματα και τα μειονεκτήματα,
υποδεικνύεται ότι το YOLOv7/8 αποτελεί γενικά την πιο ικανοποιητική λύση. Στο τρίτο μέρος,
αξιοποιείται το νέο σύνολο δεδομένων Diopsis, το οποίο περιλαμβάνει επισημασμένες εικόνες
από κολλώδεις παγίδες στον αγρό. Με βάση αυτό το σύνολο εξετάζεται: (α) η ενίσχυση των
εικόνων με διαφορετικά υπόβαθρα και (β) η προσέγγιση SAHI που επιτρέπει την ανίχνευση
μικροσκοπικών αντικειμένων σε μοντέλα εντοπισμού αντικειμένων όπως το YOLO. Η εξαγωγή
εντόμων από εκπαιδευτικές εικόνες για τη δημιουργία βελτιωμένων φόντων και η χρήση αυτών
των φόντων ως βάσεις για την τεχνητή μετατόπιση των εντόμων μπορούν να ενισχύσουν την
ακρίβεια του εντοπισμού. Επιπλέον, συνδυάζονται τεχνικές SAHI κατά τη λειτουργία του
μοντέλου YOLO10nano, επιτυγχάνοντας mAP50 περίπου 72,7%. Με την επίτευξη mAP50 στο
72,7% αξιοποιώντας ένα μικρό μοντέλο όπως το YOLO10nano, το οποίο είναι κατάλληλο για
μικρές συσκευές άκρης, αποδεικνύεται η αποδοτική παρακολούθηση εντόμων σε ενεργειακά
αποτελεσματικές συσκευές, όπως το Raspberry Pi Zero W 2.
Τέλος, η εργασία επεκτείνεται πέρα από τον έλεγχο βιοποικιλότητας και την οπτική
καταμέτρηση, με την πρόταση ανάπτυξης ενός ολοκληρωμένου συστήματος ακουστικής
επιτήρησης, το οποίο συνδυάζει ποικίλες τεχνολογίες. Το σύστημα αυτό αποσκοπεί στη
δημιουργία μιας πλατφόρμας για την κατανεμημένη παρακολούθηση ηχητικών δεδομένων σε
πραγματικό χρόνο. Το σύστημα χρησιμοποιεί ένα δίκτυο μικροφώνων τοποθετημένων σε
συσκευές ESP32, τα οποία μεταδίδουν συμπιεσμένα κομμάτια ήχου μέσω πρωτοκόλλου MQTT
σε συσκευές Raspberry Pi 5 για ακουστική ταξινόμηση. Οι συσκευές αυτές ενσωματώνουν ένα
μοντέλο βαθιάς μάθησης μετασχηματιστή ήχου (AST) εκπαιδευμένο στο AudioSet dataset, το
οποίο επιτρέπει την άμεση κατηγοριοποίηση και τη χρονοσήμανση των ηχητικών συμβάντων με
μεγάλη ακρίβεια. Η έξοδος του μετασχηματιστή διατηρείται σε μια βάση δεδομένων συμβάντων
και στη συνέχεια μετατρέπεται σε μορφή JSON κατόπιν αιτήματος ή αναγκών διεπαφής. Τα
παραγόμενα αρχεία JSON επεξεργάζονται επιπλέον σε μια δομή γράφου, η οποία ενσωματώνει
το σχολιασμένο ηχοτοπίο, προσφέροντας μια πολυδιάστατη και ολιστική απεικόνιση των
ηχητικών περιβαλλόντων. Οι γράφοι και οι JSON δομές εξετάζονται και αναλύονται έπειτα μέσω
ειδικού Python κώδικα και γλωσσικών μοντέλων (LLM), επιτρέποντας στο σύστημα να
ανταποκρίνεται σε περίπλοκες ερωτήσεις αναφορικά με τη φύση, τις σχέσεις και το πλαίσιο των
καταγεγραμμένων ηχητικών συμβάντων. Προτείνεται μια νέα μέθοδος ανάλυσης γράφων που
επιτυγχάνει χαμηλά ποσοστά αναγνώρισης ψευδών περιστατικών. Η μεθοδολογία δημιουργίας
και επεξεργασίας γράφων συμβάντων που επισημαίνεται εφαρμόστηκε στην ανάλυση του
ηχητικού περιεχομένου μιας ταινίας διάρκειας 1 ώρας και 40 λεπτών που περιλαμβάνει
επικίνδυνες πρακτικές οδήγησης. Η προσέγγισή μας με γράφους πέτυχε ακρίβεια (Accuracy)
0,882, πιστότητα (Precision) 0,8, ανάκληση (Recall) 1,0 και βαθμολογία F1 0,89. Συνδυάζοντας
την αξιοπιστία της κατανεμημένης ανίχνευσης ήχων με την ακρίβεια της ταξινόμησης ήχου που
βασίζεται στον μετασχηματιστή (AST), η προτεινόμενη μέθοδος αντιμετωπίζει τα ηχητικά
δεδομένα ως κείμενο, δημιουργώντας τις βάσεις για νέες, προηγμένες εφαρμογές στην
ακουστική επιτήρηση και την περιβαλλοντική παρακολούθηση, μεταξύ άλλων.