Αυτός είναι ο τίτλος της 3ης έκδοσης του ίδιου, από τους Randolph H. Pherson και Richards J. Heuer Jr, δημοσιεύτηκε από το Sage το 2019
Δεν είναι φθηνό βιβλίο, επομένως δεν ενθαρρύνω την αγορά του, αλλά ενθαρρύνω την ανάγνωση του περιεχομένου του μέσω του λίστα περιεχομένων και μέσω Το «Look inside» της Amazon ευκολία.
Γιατί έτσι? Οι προκλήσεις που αντιμετωπίζουν οι αναλυτές πληροφοριών είναι ιδιαίτερα δύσκολες, επομένως τυχόν μέθοδοι που χρησιμοποιούνται για την αντιμετώπισή τους μπορεί να έχουν ευρύτερο ενδιαφέρον. Αυτά διατυπώνονται στον Πρόλογο, ως εξής:
Αυτή η αναφορά παρουσιάζει ενδιαφέρον με διάφορους τρόπους:
- Σε ποιο βαθμό οι προκλήσεις που αντιμετωπίζονται είναι παρόμοιες/διαφορετικές με αυτές των αξιολογήσεων δημοσίως ορατών παρεμβάσεων;
- Πόσο διαφορετικό είναι το σύνολο εργαλείων και η κατηγοριοποίηση των περιεχομένων αυτού του συνόλου;
- Πόση έρευνα έχει γίνει για την ανάπτυξη και τη δοκιμή αυτού του συνόλου εργαλείων;
Οι ΠΡΟΚΛΗΣΕΙΣ
Ορισμένες από αυτές τις προκλήσεις αντιμετωπίζουν επίσης ομάδες αξιολόγησης που εργάζονται σε πιο φανερά και λιγότερο ανταγωνιστικά περιβάλλοντα, αν και σε μικρότερο βαθμό. Για παράδειγμα, τι θα λειτουργήσει στο μέλλον σε ελαφρώς διαφορετικά περιβάλλοντα (1), ελλείποντα και διφορούμενα στοιχεία (2) και με πελάτες και άλλους ενδιαφερόμενους που ενδέχεται ηθελημένα ή ακούσια να μην αποκαλύψουν ή να παραπλανήσουν (3) και των οποίων οι συστάσεις μπορεί να επηρεάσουν ζωές των ανθρώπων, θετικά και αρνητικά (4).
Τα περιεχόμενα του σετ εργαλείων
Η πρώτη μου εντύπωση είναι ότι αυτό το βιβλίο ρίχνει το δίχτυ του πολύ πιο φαρδύ από το μέσο κείμενο αξιολόγησης (αν υπάρχει κάτι τέτοιο). Οι οικογένειες μεθόδων περιλαμβάνουν την ομαδική εργασία, την οργάνωση, την εξερεύνηση, τη διάγνωση, την αναπλαισίωση, την πρόβλεψη, την υποστήριξη αποφάσεων και πολλά άλλα. Δεύτερον, υπάρχουν αρκετές μέθοδοι σε αυτές τις οικογένειες για τις οποίες δεν είχα ακούσει πριν, όπως η ανάλυση Bowtie, η θερμοκοιτίδα ευκαιριών, η μορφολογική ανάλυση, η προθανάτια ανάλυση, η ανίχνευση εξαπάτησης και ο εντοπισμός ασυνεπειών. Τα δύο τελευταία παρουσιάζουν ιδιαίτερο ενδιαφέρον. Ας ελπίσουμε ότι είναι κάτι περισσότερο από μια απλή επωνυμία μεθόδου.
Έρευνα και δοκιμές
Αξίζει να δούμε, παράλληλα με αυτή τη δημοσίευση, αυτό το έγγραφο 17 σελίδων από τους Artner, S., Girven, R., & Bruce, J. (2016). Αξιολόγηση της αξίας των δομημένων αναλυτικών τεχνικών στην κοινότητα πληροφοριών των ΗΠΑ. RAND Corporation. Τα βασικά ευρήματά του συνοψίζονται ως εξής:
-
- Η Κοινότητα Πληροφοριών των ΗΠΑ δεν αξιολογεί συστηματικά την αποτελεσματικότητα των δομημένων αναλυτικών τεχνικών, παρά την αυξημένη χρήση τους.
- Μια πολλά υποσχόμενη μέθοδος αξιολόγησης αυτών των τεχνικών θα ήταν η έναρξη ποιοτικών ανασκοπήσεων της συνεισφοράς τους σε φορείς παραγωγής πληροφοριών σε διάφορα θέματα, εκτός από συνεντεύξεις με συγγραφείς, διαχειριστές και καταναλωτές.
- Μια πιλοτική μελέτη RAND διαπίστωσε ότι οι δημοσιεύσεις νοημοσύνης που χρησιμοποιούν αυτές τις τεχνικές γενικά αντιμετώπιζαν ένα ευρύτερο φάσμα πιθανών αποτελεσμάτων και επιπτώσεων σε σχέση με άλλες αναλύσεις.
- Οι ποσοτικές αξιολογήσεις που συσχετίζουν τη χρήση δομημένων τεχνικών με μέτρα αναλυτικής ποιότητας, μαζί με ελεγχόμενα πειράματα που χρησιμοποιούν αυτές τις τεχνικές, θα μπορούσαν να παρέχουν μια πληρέστερη εικόνα της συμβολής τους στην ανάλυση νοημοσύνης.
Βλέπε επίσης Chang, W., & Berdini, E. (2017). Αναδιάρθρωση δομημένων αναλυτικών τεχνικών στην ευφυΐα. Για μια ενδιαφέρουσα σε βάθος ανάλυση των κινδύνων μεροληψίας και του τρόπου διαχείρισης και πιθανής κακής διαχείρισης. Εδώ είναι η περίληψη:
Οι δομημένες αναλυτικές τεχνικές (SAT) αποσκοπούν στη βελτίωση της ανάλυσης νοημοσύνης ελέγχοντας τις δύο κανονικές πηγές σφάλματος: συστηματικές προκαταλήψεις και τυχαίο θόρυβο. Αν και και οι δύο στόχοι είναι επιτεύξιμοι, κανείς δεν ξέρει πόσο κοντά έρχεται η τρέχουσα γενιά SAT στην επίτευξη ενός από τους δύο. Εντοπίζουμε δύο βασικά προβλήματα: (1) Τα SAT αντιμετωπίζουν τις διπολικές προκαταλήψεις ως μονοπολικές. Ως αποτέλεσμα, δεν έχουμε μετρήσεις για τη μέτρηση πιθανής υπέρβασης — και δεν έχουμε τρόπο να γνωρίζουμε πότε τα SAT που εστιάζουν στην καταστολή μιας μεροληψίας (π.χ. υπερβολική εμπιστοσύνη) ενεργοποιούν την αντίθετη μεροληψία (π.χ. έλλειψη εμπιστοσύνης). (2) Τα SAT υποθέτουν σιωπηρά ότι η αποσύνθεση του προβλήματος (π.χ. σπάσιμο του συλλογισμού σε σειρές και στήλες πινάκων που αντιστοιχούν σε υποθέσεις και στοιχεία) είναι ένα καλό μέσο μείωσης του θορύβου στις αξιολογήσεις. Κανείς, όμως, δεν έχει δοκιμάσει ποτέ αν η αποσύνθεση προσθέτει ή αφαιρεί θόρυβο από την αναλυτική διαδικασία – και υπάρχουν καλοί λόγοι να υποψιαζόμαστε ότι η αποσύνθεση θα υποβαθμίσει την αξιοπιστία της αναλυτικής κρίσης. Το κεντρικό μειονέκτημα είναι ότι τα SAT δεν έχουν υποβληθεί σε διαρκή επιστημονική έρευνα του είδους που θα μπορούσε να αποκαλύψει πότε βοηθούν ή βλάπτουν την αιτία παροχής ακριβών αξιολογήσεων του κόσμου στην κοινότητα πολιτικής.
Και τα δύο ακούγονται σαν σοβαρές κριτικές, αλλά σε σύγκριση με τι; Υπάρχουν πιθανώς πολλές μέθοδοι αξιολόγησης όπου θα μπορούσε να εφαρμοστεί η ίδια κριτική – κανείς δεν τις έχει υποβάλει σε σοβαρή αξιολόγηση.
