Στο παραδοσιακό λογισμικό, λέμε στον υπολογιστή τι να κάνει βήμα-βήμα με κανόνες. Στη μηχανική μάθηση, δίνουμε στον υπολογιστή πολλά παραδείγματα και τον αφήνουμε να βρει τους κανόνες μόνος του. Η μηχανική μάθηση είναι η πιο ευρέως χρησιμοποιημένη κλάδος της τεχνητής νοημοσύνης σήμερα.
Ένα απλό παράδειγμα: το φίλτρο ανεπιθύμητης αλληλογραφίας
Το να γράψουμε κάθε κανόνα που αποφασίζει αν ένα email είναι ανεπιθύμητο είναι πρακτικά αδύνατο. Αντ' αυτού, το σύστημα δείχνεται χιλιάδες emails με ετικέτα "ανεπιθύμητο" ή "κανονικό". Το μοντέλο μαθαίνει τα μοτίβα σε αυτά τα παραδείγματα και γίνεται ικανό να ταξινομεί νέα emails που δεν έχει δει ποτέ.
Τρεις βασικοί τύποι μάθησης
- Επιβλεπόμενη μάθηση: Το μοντέλο εκπαιδεύεται σε παραδείγματα με γνωστές σωστές απαντήσεις. Η πρόβλεψη τιμών ακινήτων, η αναγνώριση αντικειμένων σε εικόνες και ο εντοπισμός ανεπιθύμητης αλληλογραφίας είναι παραδείγματα.
- Μη επιβλεπόμενη μάθηση: Το μοντέλο ανακαλύπτει κρυφόμενες ομάδες και δομές σε μη ετικετισμένα δεδομένα, όπως η ομαδοποίηση πελατών ανάλογα με παρόμοια συμπεριφορά αγορών.
- Μάθηση με ενίσχυση: Το μοντέλο μαθαίνει την καλύτερη στρατηγική μέσω δοκιμής και σφάλματος, καθοδηγούμενο από ανταμοιβές και ποινές. Οι τεχνητές νοημοσύνες που παίζουν παιχνίδια και ορισμένες εφαρμογές ρομποτικής χρησιμοποιούν αυτή τη μέθοδο.
Βαθιά μάθηση και νευρωνικά δίκτυα
Η βαθιά μάθηση είναι μια προσέγγιση μηχανικής μάθησης εμπνευσμένη από το πώς λειτουργεί ο εγκέφαλος, χρησιμοποιώντας πολυεπίπεδα "τεχνητά νευρωνικά δίκτυα". Χάρη στα μεγάλα δεδομένα και τους ισχυρούς επεξεργαστές, οδήγησε σε σημαντικές προόδους στην αναγνώριση ομιλίας, επεξεργασία εικόνας, μετάφραση και συνομιλητικούς βοηθούς που παράγουν κείμενο.
Καθημερινά παραδείγματα
- Συστάσεις σε πλατφόρμες βίντεο και μουσικής
- Ξεκλείδωμα με το πρόσωπο στα τηλέφωνα και αυτόματη ομαδοποίηση σε γκαλερί φωτογραφιών
- Εντοπισμός ύποπτων συναλλαγών από τις τράπεζες
- Προβλέψεις κυκλοφορίας σε εφαρμογές χαρτών
- Αυτόματη μετάφραση και φωνητικοί βοηθοί
Περιορισμοί και κίνδυνοι
- Ποιότητα δεδομένων: Ένα μοντέλο είναι τόσο καλό όσο τα δεδομένα στα οποία εκπαιδεύεται. Ατελή ή λανθασμένα δεδομένα οδηγούν σε λανθασμένα αποτελέσματα.
- Προκατάληψη: Οι κοινωνικές προκαταλήψεις στα δεδομένα εκπαίδευσης μπορούν να αντανακλαθούν στο μοντέλο, γι' αυτό η κατασκευή δίκαιων, διαφανών συστημάτων είναι σημαντικό πεδίο έρευνας.
- Εξηγησιμότητα: Μπορεί να είναι δύσκολο να καταλάβουμε πώς ορισμένα περίπλοκα μοντέλα φτάνουν σε μια απόφαση.
- Ιδιωτικότητα: Το πώς χρησιμοποιούνται τα προσωπικά δεδομένα στην εκπαίδευση απαιτεί νομική και ηθική προσοχή.
Πώς εκπαιδεύεται και δοκιμάζεται ένα μοντέλο;
Στα έργα μηχανικής μάθησης, τα δεδομένα χωρίζονται συνήθως σε τρία μέρη. Αυτός ο διαχωρισμός είναι ο βασικός τρόπος για να βρούμε αν ένα μοντέλο έχει μάθει πραγματικά:
- Δεδομένα εκπαίδευσης: Το κύριο σύνολο δεδομένων από το οποίο το μοντέλο μαθαίνει τα μοτίβα· η μεγαλύτερη μερίδα των δεδομένων πηγαίνει εδώ.
- Δεδομένα επικύρωσης: Χρησιμοποιούνται κατά την εκπαίδευση για να επιλεγούν οι ρυθμίσεις του μοντέλου και να συγκριθούν διαφορετικές προσπάθειες.
- Δεδομένα δοκιμής: Χρησιμοποιούνται μια φορά στο τέλος για να μετρηθεί πόσο καλά το μοντέλο Abschneidet σε δεδομένα που δεν έχει δει ποτέ.
Όταν τα δεδομένα είναι περιορισμένα, η μέθοδος "διασταυρωμένης επικύρωσης" χωρίζει τα δεδομένα σε διάφορα μέρη και χρησιμοποιεί κάθε μέρος τη σειρά του για δοκιμή, ώστε το αποτέλεσμα να μην εξαρτάται από έναν τυχαίο διαχωρισμό.
Υπερπροσαρμογή: το μοντέλο που αποστηρίζει
Ένα από τα πιο συνηθισμένα προβλήματα στη μηχανική μάθηση είναι η "υπερπροσαρμογή". Σε αυτή την περίπτωση, το μοντέλο αποστηρίζει όχι μόνο τους γενικούς κανόνες στα δεδομένα εκπαίδευσης αλλά και τις τυχαίες λεπτομέρειές και τον θόρυβό τους. Ως αποτέλεσμα, φαίνεται σχεδόν τέλειο στα δεδομένα εκπαίδευσης, αλλά η απόδοσή του πέφτει σημαντικά σε νέα δεδομένα. Είναι ακριβώς σαν ένας φοιτητής που αποστηρίζει τις ερωτήσεις των περσινών ετών χωρίς να καταλαβαίνει το μάθημα και μετά δυσκολεύεται με μια νέα ερώτηση. Η συλλογή περισσότερων και ποικιλότερων δεδομένων, το να μην κάνουμε το μοντέλο πιο περίπλοκο από όσο χρειάζεται και η διακοπή της εκπαίδευσης όταν η απόδοση στα δεδομένα επικύρωσης αρχίζει να πέφτει είναι συνηθισμένοι τρόποι μείωσης της υπερπροσαρμογής.
Προεπεξεργασία δεδομένων
Η προεπεξεργασία δεδομένων είναι η διαδικασία που κάνει τα ακατέργαστα δεδομένα αναλύσιμα και επεξεργάσιμα από το μοντέλο. Τα δεδομένα που συλλέγονται από τον πραγματικό κόσμο είναι συχνά θορυβώδη, περιέχοντας λανθασμένες καταχωρήσεις, ελλείπουσες τιμές ή ασυνεπείς μορφές. Αν αυτά τα δεδομένα εισαχθούν στο μοντέλο χωρίς καθαρισμό, το σύστημα μπορεί να μάθει λάθος μοτίβα, οδηγώντας σε παραπλανητικά αποτελέσματα. Γι' αυτό, ο καθαρισμός δεδομένων είναι ένα από τα πιο χρονοβόρα αλλά και κρίσιμα στάδια της διαδικασίας μηχανικής μάθησης.
Σε αυτή τη διαδικασία, τα ελλείποντα δεδομένα συμπληρώνονται χρησιμοποιώντας συγκεκριμένες μεθόδους ή αφαιρούνται εντελώς. Επιπλέον, εφαρμόζονται διαδικασίες κανονικοποίησης για να αποτραπεί η κυριαρχία μεταβλητών με διαφορετικές κλίμακες η une über die andere. Για παράδειγμα, αποτρέπει μια μεταβλητή με πολύ μεγάλες τιμές να κάνει μια μεταβλητή με μικρές τιμές ανενεργή. Αυτό επιτρέπει στο μοντέλο να εστιάζει δίκαια σε όλα τα χαρακτηριστικά.
Μηχανική χαρακτηριστικών
Η μηχανική χαρακτηριστικών είναι η τέχνη της παράγωγης σημαντικών μεταβλητών από ακατέργαστα δεδομένα που το μοντέλο μπορεί να κατανοήσει καλύτερα και που αυξάνουν την πρόβλεψιμότητα. Αντί να χρησιμοποιούνται απλώς τα υπάρχοντα δεδομένα, η δημιουργία νέων πληροφοριών συνδυάζοντας ή μετασχηματίζοντας αυτά τα δεδομένα επηρεάζει άμεσα την επιτυχία του μοντέλου. Αυτό το στάδιο είναι εκεί που η ειδικότητα του επιστήμονα δεδομένων συναντά τη μαθηματική δομή των δεδομένων.
Για παράδειγμα, αντί να χρησιμοποιηθεί μια ημερομηνία ως έχει, μπορούν να προστεθούν στο μοντέλο πληροφορίες όπως το αν αυτή η ημερομηνία πέφτει σε Σαββατοκύριακο ή δημόσια αργία. Τέτοιες μετασχηματισμοί επιτρέπουν στο μοντέλο να παρατηρήσει κρυμμένες εποχιακές ή κυκλικές επιπτώσεις στα δεδομένα. Η επιλογή των σωστών χαρακτηριστικών βοηθά το μοντέλο να πετύχει υψηλότερα ποσοστά ακρίβειας με λιγότερα δεδομένα.
Επιλογή μοντέλου και υπερπαράμετροι
Οι ρυθμίσεις που ελέγχουν τη διαδικασία μάθησης και τη συμπεριφορά του μοντέλου, οι οποίες καθορίζονται χειροκίνητα πριν ξεκινήσει η εκπαίδευση, ονομάζονται υπερπαράμετροι. Αυτές οι ρυθμίσεις καθορίζουν πόσο βαθιά εξετάζει το μοντέλο τα δεδομένα, πόσο γρήγορα μαθαίνει και το επίπεδο πολυπλοκότητάς του. Η λανθασμένη επιλογή υπερπαραμέτρων μπορεί να αφήσει το μοντέλο πολύ απλό ή να το οδηγήσει να αποστηρίξει εντελώς τα δεδομένα εκπαίδευσης.
Η βελτιστοποίηση αυτών των ρυθμίσεων γίνεται συνήθως μέσω δοκιμής και σφάλματος ή συστηματικών μεθόδων αναζήτησης. Ο στόχος είναι να διασφαλιστεί ότι το μοντέλο διατηρεί την επιτυχία του στα δεδομένα εκπαίδευσης ενώ παρουσιάζει την ίδια απόδοση σε νέα δεδομένα που δεν έχει δει ποτέ. Αυτή η ισορροπία αποτελεί τη βάση της ικανότητας γενίκευσης του μοντέλου.
Σχέση μεταξύ μηχανικής μάθησης και μεγάλων δεδομένων
Τα μεγάλα δεδομένα είναι ένας από τους πρωταρχικούς λόγους για τους οποίους η μηχανική μάθηση έχει γίνει τόσο αποτελεσματική στη σύγχρονη εποχή. Καθώς αυξάνεται το όγκο των δεδομένων, τα μοντέλα αποκτούν την ικανότητα να αναγνωρίζουν σπάνιες εμφανίσεις και να λύνουν πιο περίπλοκα μοτίβα. Οχι μόνο η αύξηση της ποσότητας αλλά και η ποικιλία και η ταχύτητα ροής των δεδομένων επιτρέπουν στα συστήματα να παρέχουν απαντήσεις σε πραγματικό χρόνο.
Τα μεγάλα σύνολα δεδομένων είναι απαραίτητα για την εκπαίδευση μοντέλων με πολλές παραμέτρους, όπως η βαθιά μάθηση. Όταν δεν υπάρχουν επαρκή δεδομένα, τα περίπλοκα μοντέλα πέφτουν γρήγορα στο πρόβλημα της υπερπροσαρμογής. Γι' αυτό, η επέκταση των πηγών από τις οποίες συλλέγονται τα δεδομένα και ο εμπλουτισμός τους σε διαφορετικές μορφές είναι τα κύρια στοιχεία που αυξάνουν την ικανότητα των συστημάτων τεχνητής νοημοσύνης.
Συχνά χρησιμοποιούμενοι τύποι αλγορίθμων
Οι αλγόριθμοι που χρησιμοποιούνται στη μηχανική μάθηση επιλέγονται με βάση το τύπο του προβλήματος που πρέπει να λυθεί και τη δομή των διαθέσιμων δεδομένων. Κάθε αλγόριθμος αναλύει τις σχέσεις στα δεδομένα χρησιμοποιώντας διαφορετικές μαθηματικές μεθόδους και παράγει διαφορετικά αποτελέσματα. Μερικές από τις συνηθισμένες βασικές προσεγγίσεις είναι:
- Δέντρα απόφασης: Διαιρούν τα δεδομένα ρωτώντας συγκεκριμένες ερωτήσεις και δημιουργούν ιεραρχική δομή.
- Γραμμική παλινδρόμηση: Ορίζει τη σχέση μεταξύ δύο ή περισσότερων μεταβλητών κατά μήκος μιας γραμμικής γραμμής.
- K-means ομαδοποίηση: Ομαδοποιεί τα δεδομένα σε έναν προκαθορισμένο αριθμό ομάδων με βάση τις ομοιότητές τους.
- Μηχανές διανυσματικής στήριξης: Καθορίζουν το όριο με το ευρύτερο χάσμα που χωρίζει δεδομένα που ανήκουν σε διαφορετικές κατηγορίες.
- Τυχαία δάση: Συνδυάζουν έναν μεγάλο αριθμό δέντρων απόφασης και συγχωνεύουν το αποτέλεσμα καθενός μέσω ψήφου.
Παρακολούθηση και συντήρηση μοντέλου
Η διαδικασία δεν τελειώνει αφού ένα μοντέλο μηχανικής μάθησης εκπαιδευτεί και αναπτύσσεται· αντίθετα, ξεκινά ένα συνεχές στάδιο παρακολούθησης και συντήρησης. Τα δεδομένα στον πραγματικό κόσμο μπορούν να αλλάξουν με την πάροδο του χρόνου, και τα μοτίβα από την περίοδο που εκπαιδεύτηκε το μοντέλο μπορεί να χάσουν την εγκυρότητά τους. Αυτή η κατάσταση ονομάζεται concept drift και προκαλεί τη μείωση της πρόβλεψης επιτυχίας του μοντέλου με την πάροδο του χρόνου.
Για να αποτραπεί αυτός ο κίνδυνος, η απόδοση των μοντέλων παρακολουθείται τακτικά και εκπαιδεύονται ξανά με νέα δεδομένα σε συγκεκριμένα διαστήματα. Οι διαδικασίες παρακολούθησης μοντέλου ελέγχουν αν το σύστημα παράγει ακόμα αξιόπιστα αποτελέσματα. Αυτή η κυκλική δομή επιτρέπει στα συστήματα τεχνητής νοημοσύνης να προσαρμόζονται στον δυναμικό κόσμο και να παραμένουν ενημερωμένα.
Συχνές ερωτήσεις
Είναι η ΤΝ και η μηχανική μάθηση το ίδιο πράγμα;
Όχι. Η ΤΝ είναι ευρύ πεδίο που καλύπτει συστήματα που συμπεριφέρονται νοηματικά· η μηχανική μάθηση είναι μια από τις πιο συνηθισμένες μέθοδοι μέσα σε αυτή.
Τι χρειάζομαι για να μάθω μηχανική μάθηση;
Βασική στατιστική, γραμμική άλγεβρα και μια γλώσσα προγραμματισμού (συνήθως Python) είναι καλή αρχή. Υπάρχουν πολλά δωρεάν online πόροι.
Πηγές και επιπλέον ανάγνωση
- Google – Machine Learning Crash Course (συνολο δεδομένων και υπερπροσαρμογή)
- Goodfellow, I., Bengio, Y. and Courville, A. (2016), Deep Learning, MIT Press
- scikit-learn documentation – Cross-validation: evaluating estimator performance
Αφήστε ένα σχόλιο
Η διεύθυνση email σας δεν θα δημοσιευθεί. Τα απαιτούμενα πεδία επισημαίνονται με *