Παρακολούθηση σχεδόν σε πραγματικό χρόνο πουλιών

Από RemoteSensing Wiki

Εικόνα 1. Ένα διάγραμμα που δείχνει την πλήρη ροή εργασιών για την παρακολούθηση σχεδόν σε πραγματικό χρόνο των πουλιών Everglades που περιλαμβάνει πέντε βασικά στοιχεία: (Α) συλλογή ακατέργαστων εικόνων στο πεδίο χρησιμοποιώντας ένα σύστημα μη πληρώματος αεροσκάφους. (Β) επεξεργασία εικόνων σε ορθομωσαϊκά σε σταθμό εργασίας. (Γ) χρήση μιας αυτοματοποιημένης ροής εργασιών για την εκτέλεση μιας ποικιλίας βημάτων υπολογιστικής όρασης και επεξεργασίας δεδομένων σε μια υπολογιστική πλατφόρμα υψηλής απόδοσης. (Δ) μετακίνηση εικόνων σε υπηρεσία πλακιδίων cloud για οπτικοποίηση δεδομένων. (Ε) αρχειοθέτηση δεδομένων σχετικά με τη θέση και τον αριθμό των προβλεπόμενων πτηνών• και (ΣΤ) παρουσίαση αυτών των δεδομένων και των σχετικών απεικονίσεων στον Ιστό.

Πίνακας 1. Ακρίβεια (βαθμολογία F1), ακρίβεια, ανάκληση, συντελεστής προσδιορισμού ( R 2 ) και σφάλμα μέσου τετραγώνου ρίζας (RMSE) για τα έξι εστιακά είδη (Μεγάλος Μπλε Ερωδιός, Μεγαλοτσικνιάς, Ροζέ κουταλιά, Χιονοτοκίνιος, White Ibis και Wood Stork). Τα είδη ταξινομούνται από πάνω προς τα κάτω με βάση τον επιπολασμό τους στα δεδομένα των δοκιμών, με το White Ibis να είναι το πιο κοινό και το Great Blue Herons να είναι το πιο σπάνιο. Οι αρνητικοί συντελεστές προσδιορισμού υποδεικνύουν προβλέψεις που είναι χειρότερες από τη μέση αφθονία.

Εικόνα 2. Πίνακας σύγχυσης που δείχνει σωστές και λανθασμένες ταξινομήσεις ειδών. Όλα τα πουλιά σε κάθε σειρά ανήκουν στα είδη που αναφέρονται για αυτήν τη σειρά και προβλέπονται από το μοντέλο ως το είδος στη σχετική στήλη. Οι ποσοστιαίες τιμές είναι το ποσοστό των ατόμων για τα παρατηρούμενα είδη που εμφανίζονται στο κελί (δηλαδή, είναι οι μετρήσεις στο κελί διαιρούμενο με το άθροισμα των μετρήσεων σε όλες τις στήλες στην ίδια σειρά επί 100) και τα κελιά χρωματίζονται με αυτό το ποσοστό. Πουλιά που δεν εντοπίστηκαν από το μοντέλο δεν περιλαμβάνονται. Τα είδη ταξινομούνται από πάνω προς τα κάτω και από αριστερά προς τα δεξιά με βάση τον επιπολασμό τους στα δεδομένα των δοκιμών, με το White Ibis να είναι το πιο κοινό και οι Μεγάλοι Μπλε Ερωδιοί να είναι οι πιο σπάνιοι.

Αντικείμενο Εφαρμογής: Παρακολούθηση σχεδόν σε πραγματικό χρόνο πουλιών με χρήση συστημάτων αεροσκαφών χωρίς πλήρωμα και όρασης υπολογιστή.

Πρωτότυπος Τίτλος: 'Near real-time monitoring of wading birds using uncrewed aircraft systems and computer vision.'

Συγγραφείς: Ethan P. White, Lindsey Garner, Ben G. Weinstein, Henry Senyondo, Andrew Ortega, Ashley Steinkraus, Glenda M. Yenni, Peter Frederick, S. K. Morgan Ernest

Πηγή: Remote Sensing in Ecology and Conservation, ZSL (1)

Εισαγωγή: Η ανάγκη για παρακολούθηση της άγριας ζωής σε μεγάλες χωρικές εκτάσεις είναι ολοένα και πιο κοινή στη μελέτη και διαχείριση πληθυσμών και οικοσυστημάτων. Οι έρευνες μεγάλης κλίμακας μπορούν να διεξαχθούν χρησιμοποιώντας αερομεταφερόμενη παρακολούθηση είτε από αεροσκάφη με πλήρωμα είτε από χωρίς πλήρωμα. Υπάρχει μια αυξανόμενη ανάγκη για αυτό το είδος παρακολούθησης να πραγματοποιείται συχνά για να υποστηρίξει την ενεργή διαχείριση και τις οικολογικές προβλέψεις. Τα μη πληρωμένα συστήματα αεροσκαφών επιτρέπουν τη συλλογή δεδομένων υψηλής ανάλυσης σε σχετικά μεγάλο βαθμό με σημαντικά μειωμένο κόστος. Η όραση υπολογιστή επιτρέπει σε αυτές τις εικόνες να υποβάλλονται σε αυτόματη επεξεργασία σε δεδομένα σχετικά με τη θέση και τα χαρακτηριστικά μεμονωμένων οργανισμών, με αποτέλεσμα πιο ακριβείς και λιγότερο χρονοβόρους μετρητές. Παρά τις προόδους αυτές, οι περισσότερες εναέριες έρευνες εξακολουθούν να γίνονται σπάνια και συχνά υπάρχουν μεγάλες καθυστερήσεις μεταξύ της απόκτησης αερομεταφερόμενων εικόνων και της μετατροπής τους σε δεδομένα παρακολούθησης πληθυσμού. Η παρακολούθηση πουλιών στο Everglades παρέχει μια ιδανική περίπτωση χρήσης για παρακολούθηση σχεδόν σε πραγματικό χρόνο με χρήση UAS. Το Everglades είναι ένα μοναδικό οικοσύστημα που έχει επηρεαστεί σοβαρά από πάνω από 100 χρόνια ανθρώπινης δραστηριότητας και τώρα βρίσκεται στο επίκεντρο μιας από τις μεγαλύτερες και πιο δαπανηρές προσπάθειες αποκατάστασης οικοσυστήματος στην ιστορία. Τα μεγάλα παραπήγματα αποτελούν βασικό συστατικό του οικοσυστήματος. Ένας αριθμός σημείων αναφοράς αποκατάστασης βασίζεται στις αποικίες φωλεοποίησης τους. Η μελέτη των πουλιών και η αξιολόγηση των σημείων αναφοράς αποκατάστασης στην κλίμακα του Everglades απαιτεί μεγάλης κλίμακας ατομικές καταμετρήσεις ειδών σε 8500 km 2 . Η τρέχουσα προσέγγιση σε αυτές τις έρευνες περιλαμβάνει την πτήση μικρού πληρώματος στην περιοχή μία φορά το μήνα κατά τη διάρκεια της αναπαραγωγικής περιόδου με παρατηρητές που υπολογίζουν τον αριθμό των ειδών σε κάθε αποικία και τη λήψη ψηφιακών φωτογραφιών από το παράθυρο του αεροσκάφους για μετέπειτα χειρομέτρηση σε υπολογιστή. Λόγω της εκτεταμένης και επομένως χρονοβόρας φύσης των μετρήσεων των χεριών, τα μόνα δεδομένα που αναφέρονται τακτικά για αυτόν τον δείκτη είναι οι ετήσιες μέγιστες μετρήσεις. Τα εβδομαδιαία δεδομένα είναι ιδανικά λόγω της ταχύτητας με την οποία τα πτηνά ανταποκρίνονται στις μεταβαλλόμενες περιβαλλοντικές συνθήκες και στις ανάγκες των διαχειριστών νερού, αλλά το κόστος και ο κίνδυνος των πτήσεων με πλήρωμα καθιστούν τις εβδομαδιαίες έρευνες απαγορευτικές. Η χρήση εικόνων UAS και εργαλείων υπολογιστικής όρασης εξαλείφει την ανάγκη για μέτρηση χεριών, οι εβδομαδιαίες έρευνες πολλών τοποθεσιών εξακολουθούν να δημιουργούν μια σχεδόν καθημερινή ανάγκη επεξεργασίας εικόνων σε δεδομένα, η οποία είναι δαπανηρή και χρονοβόρα εάν απαιτείται από ένα άτομο να εκτελέσει καθένα από τα πολλαπλά βήματα σε αυτή τη διαδικασία. Εδώ, περιγράφουμε την ανάπτυξη ενός συστήματος παρακολούθησης μεγάλης κλίμακας για το Everglades που συνδυάζει έρευνες UAS για τη λήψη εικόνων ολόκληρων αποικιών πουλιών, αλγόριθμους υπολογιστικής όρασης για την ανίχνευση πτηνών σε εικόνες και την ταυτοποίησή τους σε είδη και αυτοματοποιημένες ροές εργασίας για να διασφαλιστεί ότι οι εικόνες μετατρέπονται γρήγορα σε πληροφορίες σχετικά με τους πληθυσμούς πουλιών (Εικ. 1 ). Αυτό το σύστημα από άκρο σε άκρο παράγει ακριβείς μετρήσεις για τα περισσότερα είδη και μας επέτρεψε να διεξάγουμε εβδομαδιαία παρακολούθηση 8 αποικιών τα τελευταία 4 χρόνια, με λιγότερο συχνά δεδομένα για επιπλέον 32 αποικίες. Το μεγαλύτερο μέρος του συστήματος είναι πλήρως αυτοματοποιημένο, επιτρέποντας τη μετατροπή εικόνων από το πεδίο σε δεδομένα στον ιστό μέσα σε λίγες μέρες, διευκολύνοντας έτσι την παρακολούθηση σχεδόν σε πραγματικό χρόνο των σχετικών πληθυσμών σε μεγάλη κλίμακα.

Μεθοδολογία: Διεξάγαμε συνεχείς έρευνες UAS σε συνολικά 40 διαφορετικές ενεργές αποικίες παρακινούμενων πουλιών στο Everglades ξεκινώντας το 2020. Οι έρευνες που σχετίζονται με αυτό το έγγραφο πραγματοποιήθηκαν μεταξύ Φεβρουαρίου και Μαΐου 2020, 2021, 2022 και 2023. Οι αποικίες αναπαραγωγής στα Everglades ποικίλλουν σημαντικά τόσο σε θέση όσο και σε μέγεθος ανά χρόνια. Ως εκ τούτου, κάθε χρόνο επιλέγαμε ένα υποσύνολο αποικιών για πιο εντατική έρευνα με εβδομαδιαίες έρευνες που επικεντρώνονται σε μεγάλες αποικίες που είναι σταθερά παρούσες ανά χρόνια και περιλαμβάνουν ποικιλία ειδών (Εικ. 1Α ). Χρησιμοποιήσαμε το τετρακόπτερο DJI Inspire II. Για τις αποικίες που ερευνήθηκαν εβδομαδιαία, χρησιμοποιήσαμε σημεία ελέγχου εδάφους (GCPs), μεγάλους γεωαναφερόμενους στόχους εύκολα ορατούς στις εναέριες εικόνες, για να αυξήσουμε την ακρίβεια των πραγματικών θέσεων στα ορθομωσαϊκά. Μια έρευνα UAS σε μια μεμονωμένη αποικία δημιουργεί δεκάδες έως χιλιάδες επικαλυπτόμενες εικόνες που είναι αποθηκευμένες σε μορφή JPEG. Χρησιμοποιώντας το λογισμικό AgiSoft Metashape, οι εικόνες από κάθε έρευνα συνδυάζονται σε μια ενιαία ολοκληρωμένη εικόνα, γνωστή ως ορθομωσαϊκή, για να παρέχουν μια πλήρη άποψη ολόκληρης της αποικίας (Εικ. 1Β ). Οι ανθρώπινες ετικέτες για την εκπαίδευση του μοντέλου όρασης υπολογιστή δημιουργήθηκαν χρησιμοποιώντας έναν ρεαλιστικό συνδυασμό προσεγγίσεων σχολιασμού που εστιάζουν σε επτά είδη: Λευκό Ibis, Μεγαλοτσικνιάς, Μεγάλος Μπλε Ερωδιός, Χιονοτοκίνια , Wood Stork, Roseate Spoonbill, και Anhinga. Για να ανιχνεύσουμε και να ταξινομήσουμε τα πουλιά στις εικόνες, χρησιμοποιήσαμε ένα μοντέλο ανίχνευσης αντικειμένων ενός σταδίου RetinaNet-50 που υλοποιήθηκε χρησιμοποιώντας το πακέτο DeepForest Python. Το RetinaNet-50 είναι ένα συνελικτικό νευρωνικό δίκτυο με κοινές κεφαλές ανίχνευσης και ταξινόμησης που ενσωματώνει πυραμίδες χαρακτηριστικών για τη λήψη πολύπλοκων δομών πολλαπλής κλίμακας σε εικόνες και χρησιμοποιεί εστιακή απώλεια για την αντιμετώπιση της ανισορροπίας τάξης μεταξύ τάξεις προσκηνίου και παρασκηνίου. Το μοντέλο ήταν προεκπαιδευμένο για την ανίχνευση πτηνών, αλλά όχι την ταυτοποίησή τους σε είδη. Αξιολογήσαμε τα μοντέλα υπολογιστικής όρασης χρησιμοποιώντας τέσσερις μετρήσεις: (1) ακρίβεια (2) ανάκληση (3) συνολική ακρίβεια και (4) σύγκριση των μετρήσεων που δημιουργούνται από τον αλγόριθμο με τις μετρήσεις από ανθρώπινες ετικέτες χρησιμοποιώντας το ριζικό μέσο τετραγωνικό σφάλμα (RMSE) και τον συντελεστή προσδιορισμού για τη γραμμή 1:1 ( R 2 ) τόσο σε μη μετασχηματισμένη όσο και σε τετραγωνική ρίζα μετασχηματισμένα δεδομένα. Πραγματοποιήθηκαν αξιολογήσεις τόσο για την ικανότητα του μοντέλου να ανιχνεύει και να μετράει πτηνά ανεξαρτήτως είδους όσο και σε επίπεδο είδους. Τα πτηνά που δεν μπορούσαν να αναγνωριστούν με βεβαιότητα από τους ανθρώπους επισήμανσης αποκλείστηκαν από αναλύσεις σε επίπεδο είδους. Για να διευκολύνουμε την ταχεία χρήση αυτής της παρακολούθησης που βασίζεται σε UAS, αναπτύξαμε μια ολοκληρωμένη ροή εργασιών για γρήγορη μετάβαση από τις επιτόπιες έρευνες UAS, μέσω αλγορίθμων επεξεργασίας εικόνας και όρασης υπολογιστή, σε δεδομένα για την αφθονία και τις τοποθεσίες των πτηνών (Εικ. 1 ). Οι εικόνες από το πεδίο συγχρονίζονται πάνω από το σύννεφο σε έναν σταθμό εργασίας όπου δημιουργούνται ορθομωσαϊκά.

Αποτελέσματα: Το μοντέλο υπολογιστικής όρασης εντόπισε με ακρίβεια πτηνά σε εικόνες με ακρίβεια 0,84 και ανάκληση 0,86. Ως αποτέλεσμα, το μοντέλο παρέχει εξαιρετικά ακριβείς μετρήσεις του αριθμού των πουλιών σε μια εικόνα. Το μοντέλο μηχανικής μάθησης είχε επίσης καλή απόδοση στην ταξινόμηση των ανιχνευθέντων πτηνών στο επίπεδο του είδους για τα περισσότερα είδη (Πίνακας 1 ). Οι Great Egrets, Roseate Spoonbills, White Ibis και Woodstorks έχουν όλα συνολική ακρίβεια (βαθμολογίες F1) >0,85, ακρίβεια >0,8 και ανάκληση >0,85. Οι Great Blue Herons είχαν χαμηλότερες, αλλά ακόμα καλές τιμές για F1 (0,75), ακρίβεια (0,83) και ανάκληση (0,68). Οι Μεγάλοι Μπλε Ερωδιοί συγχέονταν με τους Μεγαλοτσικνιάδες και τους Ροζέ Κουταλιές (Εικ. 2). Το μοντέλο απέτυχε να ταξινομήσει σωστά οποιονδήποτε Snowy Egrets με αποτέλεσμα να μην υπάρχουν προβλέψεις για αυτό το είδος και μηδενικές ή NA τιμές για F1, ακρίβεια και ανάκληση (Πίνακας 1 ). Οι χιονοτοκίνιες συγχέονται συνήθως με το White Ibis (Εικ. 2), ένα είδος που φαίνεται πολύ παρόμοιο όταν προβάλλεται σε εικόνες UAS και είναι πιο κοινό στα δεδομένα εκπαίδευσης. Οι Χιονοτσικνιάδες συγχέονται επίσης με τους Μεγαλοτσικνιάδες. Σύμφωνα με την τυπική σύμβαση όρασης υπολογιστή, αυτές οι μετρήσεις σε επίπεδο είδους βασίζονται σε περιπτώσεις όπου το πτηνό δοκιμής εντοπίστηκε επιτυχώς από το μοντέλο. Ο συνδυασμός υψηλής ακρίβειας ανίχνευσης και καλής ταξινόμησης ειδών οδηγεί σε ακριβείς μετρήσεις για τα περισσότερα είδη. Τα σφάλματα ρίζας μέσου τετραγώνου ήταν χαμηλά, με μέσο όρο σφαλμάτων λιγότερα από δύο άτομα για όλα τα είδη εκτός από τους Χιονοτσικνιάς και το White Ibis (Πίνακας 1 ). Το White IBIS RMSE, 5,95, αναμενόταν να είναι υψηλότερο λόγω του μεγάλου αριθμού White Ibis σε κάθε καλλιέργεια και βασιζόταν επίσης κατά κύριο λόγο σε μια μόνο ακραία τιμή. Οι συντελεστές προσδιορισμού ήταν επίσης υψηλοί, με εξαίρεση τους Great Blue Erons και τους Snowy Egrets. Οι μεγάλοι μπλε ερωδιοί είναι το λιγότερο κοινό είδος στο δοκιμαστικό σετ με μόνο 0–3 άτομα/καλλιέργεια. Οι μετρήσεις τόσο μικρές καθιστούν δύσκολη την απόκτηση υψηλών τιμών του R 2 με διακριτά δεδομένα. Το σύστημα ροής εργασιών επιτρέπει αυτές τις προβλέψεις να γίνονται σχεδόν σε πραγματικό χρόνο (~2–7 ημέρες από την έρευνα έως τα διαθέσιμα δεδομένα). Τα αποτελέσματα εμφανίζονται χρησιμοποιώντας διεπαφές ιστού για να επιτρέψουν στους ερευνητές και τους διαχειριστές να εξερευνήσουν γρήγορα τη θέση, τον αριθμό και τα είδη πουλιών στις αποικίες που ερευνήθηκαν εντατικά. Ενώ τα δεδομένα παράγονται σχεδόν σε πραγματικό χρόνο, τίθενται εμπάργκο από το κοινό μέχρι το τέλος της αναπαραγωγικής περιόδου για να περιοριστεί η χρήση τους στον οικοτουρισμό με τρόπους που θα μπορούσαν να αυξήσουν την ενόχληση των αποικιών που φωλιάζουν.