Najważniejsze wnioski

  • Nie istnieje jeden wiarygodny wskaźnik „deradykalizacji”. Wynik trzeba opisać oddzielnie w domenach zachowania, przekonań legitymizujących przemoc, relacji z grupą, funkcjonowania, czynników ochronnych, dobrostanu i szkód dla innych.
  • Brak ponownego skazania nie oznacza automatycznie braku przemocy lub przygotowań. Może wynikać także z niewykrycia, innej kwalifikacji, krótkiego okresu obserwacji albo przebywania w środowisku bez możliwości działania.
  • Ponowne skazanie nie oznacza automatycznie porażki deradykalizacji. Trzeba odróżnić czyn terrorystyczny, inną przemoc, przestępstwo techniczne i naruszenie warunku.
  • Zaprzestanie przemocy, odejście od organizacji i zmiana przekonań są trzema odrębnymi wynikami. Mogą występować w różnej kolejności i bez siebie.
  • Deklaracja poglądu jest danymi o wypowiedzi w konkretnej sytuacji, nie bezpośrednim odczytem przekonania. Jej wiarygodność zależy od konsekwencji, relacji, sposobu pytania i zgodności z innymi obserwacjami.
  • Kontakt z dawnym środowiskiem ma znaczenie dopiero po określeniu osoby, kanału, funkcji, częstotliwości, kierunku inicjatywy i treści. Kontakt rodzinny nie jest równoważny rekrutacji.
  • Zatrudnienie, mieszkanie i relacja nie są automatycznie ochronne. Liczy się jakość, stabilność, znaczenie oraz powiązanie z mechanizmem przemocy.
  • Dobrostan jest wynikiem wartościowym sam w sobie, ale jego poprawa nie dowodzi ograniczenia zagrożenia. Pogorszenie może czasem towarzyszyć uczciwemu odejściu i utracie grupy.
  • Szkody dla rodziny, ofiar i społeczności są wynikami programu, nie przypisem. Program może poprawiać wskaźniki uczestnika kosztem krewnych.
  • Każdy wskaźnik potrzebuje karty: definicji, populacji, licznika, mianownika, źródła, terminu, kierunku, ograniczeń, możliwego pozorowania i osoby odpowiedzialnej.
  • Dane z jednego źródła są zwykle niewystarczające. Triangulacja nie polega jednak na głosowaniu większości, tylko na analizie, dlaczego źródła się zgadzają albo różnią.
  • Źródła administracyjne są selektywne: pokazują to, co instytucja rejestruje. Wywiad jest podatny na pamięć i presję. Obserwacja zależy od kontekstu. Każde wnosi inny fragment.
  • Pomiar przed i po programie bez grupy porównawczej pokazuje zmianę w czasie, nie dowodzi jej przyczyny.
  • Okna obserwacji muszą być zdefiniowane. Trzy miesiące, rok od zwolnienia i dwa lata od zakończenia opisują inne ryzyko oraz inną ekspozycję na możliwość zdarzenia.
  • Osoby uwięzione, hospitalizowane, deportowane albo zaginione nie mają tej samej ekspozycji na wynik. Nie wolno traktować ich automatycznie jako sukcesu lub porażki.
  • Brak danych nie jest neutralny. Rezygnujący mogą mieć gorsze, lepsze albo po prostu inne wyniki niż pozostali.
  • Wskaźnik zbiorczy ukrywa kompromisy i arbitralne wagi. Jeśli jest potrzebny zarządczo, wynik domenowy musi pozostać widoczny.
  • Próg „poprawy” powinien być określony przed analizą i uwzględniać błąd pomiaru. Minimalna różnica punktowa nie zawsze ma znaczenie praktyczne.
  • Skala użyta w innym kraju, języku lub ideologii nie staje się ważna po przetłumaczeniu. Trzeba badać znaczenie, rzetelność, równoważność i bezpieczeństwo.
  • Wynik zagregowany programu nie jest prognozą jednostki. Zestaw opisany tutaj nie powinien służyć jako publiczny kalkulator ryzyka ani automatyczna podstawa sankcji.
  • Dobry panel wyników pokazuje zmianę, niepewność, brak danych, heterogeniczność, szkody oraz kontekst — nie tylko zielony lub czerwony status.

Najpierw rozdzielić pojęcia

Desistance — zaprzestanie przestępczości

Dotyczy ustania czynów przestępczych. Może obejmować przemoc terrorystyczną i inne przestępstwa.

Disengagement — odejście behawioralne

Dotyczy ograniczenia lub zakończenia:

  • udziału w grupie;
  • roli;
  • rekrutacji;
  • finansowania;
  • propagandy operacyjnej;
  • przygotowania;
  • przemocy.

Osoba może nadal mieć radykalne poglądy.

Deradicalization — zmiana poznawcza lub normatywna

Dotyczy osłabienia:

  • akceptacji przemocy;
  • dehumanizacji;
  • moralnego obowiązku;
  • wyłączności ideologii;
  • podporządkowania grupie.

Nie musi oznaczać przyjęcia centrowych poglądów albo porzucenia religii.

Rehabilitation — odzyskanie zdolności funkcjonowania

Może obejmować zdrowie, umiejętności, odpowiedzialność, samoregulację i role.

Reintegration — włączenie społeczne

Dotyczy mieszkania, pracy, relacji, praw, obowiązków, uczestnictwa i akceptacji.

Amerykański National Institute of Justice ujmuje użyteczne rozróżnienie jako trzy „D”: zaprzestanie przestępczości, odejście od skrajnych powiązań i zachowań oraz poznawcze odejście od przekonań wspierających przestępczość; brak pełnej zmiany ideologicznej nie jest tym samym co ponowne wejście w przemoc.1

Model siedmiu domen

1. Przemoc i przestępczość

  • czyn terrorystyczny;
  • usiłowanie;
  • przygotowanie;
  • groźba;
  • inna przemoc;
  • naruszenie warunku;
  • inne przestępstwo.

2. Zachowania związane z ekstremizmem

  • rekrutacja;
  • finansowanie;
  • propaganda operacyjna;
  • wsparcie logistyczne;
  • kontakt funkcjonalny;
  • udział w strukturze;
  • pozyskiwanie zdolności.

3. Przekonania i procesy poznawcze

  • akceptacja przemocy;
  • dehumanizacja;
  • moralny obowiązek;
  • tolerancja wieloznaczności;
  • zdolność alternatywnego wyjaśnienia;
  • odpowiedzialność;
  • stosunek do grupy.

4. Funkcjonowanie i reintegracja

  • mieszkanie;
  • praca lub edukacja;
  • finanse;
  • dokumenty;
  • relacje;
  • uczestnictwo;
  • korzystanie z usług.

5. Czynniki ochronne i zdolności

  • plan kryzysowy;
  • regulacja;
  • prospołeczna sieć;
  • sprawczość;
  • rozwiązywanie konfliktu;
  • szukanie pomocy;
  • alternatywna tożsamość.

6. Zdrowie i dobrostan

  • objawy;
  • funkcjonowanie;
  • używanie substancji;
  • samouszkodzenie;
  • sen;
  • jakość życia;
  • dostęp do opieki.

7. Szkody dla uczestnika i otoczenia

  • stygmat;
  • utrata pracy;
  • konflikt;
  • przemoc wobec rodziny;
  • naruszenie danych;
  • wtórna wiktymizacja;
  • odwet grupy;
  • obciążenie usług.

Domeny trzeba pokazywać równolegle.

Karta wskaźnika

Nazwa

Krótka i jednoznaczna:

Ponowna przemoc związana z ideologią w ciągu 24 miesięcy.

Cel

Jaką część teorii zmiany mierzy?

Definicja

Co dokładnie wchodzi i nie wchodzi.

Jednostka

  • osoba;
  • zdarzenie;
  • miesiąc ekspozycji;
  • rodzina;
  • przypadek;
  • region.

Licznik i mianownik

Przykład:

liczba osób z potwierdzonym zdarzeniem / liczba osób pozostających pod obserwacją i narażonych na możliwość zdarzenia.

Źródło

  • rejestr;
  • wywiad;
  • dokumentacja;
  • obserwacja;
  • ankieta;
  • partner.

Termin

  • punkt bazowy;
  • co miesiąc;
  • zakończenie;
  • 6, 12 i 24 miesiące.

Kierunek

Czy więcej oznacza lepiej? Liczba zgłoszonych kryzysów może wzrosnąć dlatego, że zaufanie poprawiło wykrywanie.

Próg

Jaka zmiana ma znaczenie praktyczne?

Ograniczenia

Co wskaźnik może mylić lub pomijać?

Podatność na grę

Jak wykonawca lub uczestnik może sztucznie poprawić wynik?

Ochrona

Kto ma dostęp i jaki jest skutek ujawnienia?

Zachowanie: wynik najwyższej stawki

Hierarchia zdarzeń

Warto rozdzielić:

  1. śmierć lub poważną przemoc;
  2. usiłowanie;
  3. zaawansowane przygotowanie;
  4. groźbę z możliwością;
  5. rekrutację lub finansowanie;
  6. inne wsparcie;
  7. naruszenie warunku;
  8. inne przestępstwo.

Połączenie ich w „recydywę” ukrywa znaczenie kliniczne i bezpieczeństwa.

Źródła

  • prawomocne skazanie;
  • zarzut;
  • areszt;
  • raport wywiadowczy;
  • incydent więzienny;
  • udokumentowana obserwacja;
  • samoopis;
  • informacja rodziny.

Każde ma inny standard. Nie wolno nazywać zarzutu skazaniem ani niesprawdzonej informacji faktem.

Recydywa nie jest jedną rzeczą

Trzeba określić:

  • nowy czyn czy naruszenie techniczne;
  • każde przestępstwo czy związane z ideologią;
  • data czynu, wykrycia, zarzutu czy wyroku;
  • pierwszy czyn czy liczba;
  • dotkliwość;
  • okres.

Brak zdarzenia

Możliwe interpretacje:

  • bezpieczna zmiana;
  • skuteczny nadzór;
  • brak możliwości;
  • niewykrycie;
  • krótki czas;
  • przeniesienie;
  • zgon;
  • uwięzienie.

Dlatego obok zdarzenia raportuje się ekspozycję i warunki.

Zdarzenia rzadkie

Mały program może przez lata nie odnotować zamachu nawet bez efektu. Jedno zdarzenie może gwałtownie zmienić procent.

Raport powinien podawać:

  • liczebność;
  • osobomiesiące obserwacji;
  • przedział niepewności;
  • rodzaj zdarzenia;
  • kontekst.

Nie należy obiecywać statystycznej mocy, której populacja nie daje.

Zachowania poprzedzające

Przygotowanie

  • poszukiwanie celu;
  • zdobywanie środków;
  • rekonesans;
  • plan;
  • próba ukrycia;
  • instrukcja dla innych.

Każdy wskaźnik wymaga standardu dowodowego. Zainteresowanie techniczne bez kontekstu nie jest automatycznie przygotowaniem.

Rekrutacja

  • bezpośrednie nakłanianie;
  • ułatwianie wejścia;
  • testowanie;
  • przedstawianie kontaktów;
  • organizowanie kanału.

Finansowanie i logistyka

  • przepływ środków;
  • zakup;
  • transport;
  • dokumenty;
  • lokal;
  • sprzęt.

Propaganda

Rozróżnia się:

  • konsumpcję;
  • kolekcjonowanie;
  • rozpowszechnianie;
  • produkcję;
  • kierowanie do celu;
  • instruktaż.

Sam kontakt z legalną, choć skrajną treścią nie jest równoważny mobilizacji.

Kontakty i sieć

Nie liczyć tylko kontaktów

Dziesięć wiadomości do brata należącego dawniej do grupy może być mniej istotne niż jedna instrukcja od aktywnego dowódcy.

Wymiary

  • osoba;
  • rola;
  • status;
  • kanał;
  • częstotliwość;
  • inicjator;
  • treść;
  • funkcja;
  • zmiana w czasie;
  • ukrywanie.

Kategorie funkcji

  • rodzinna;
  • emocjonalna;
  • praktyczna;
  • ideologiczna;
  • operacyjna;
  • rekrutacyjna;
  • monitorująca;
  • pomoc w wyjściu.

Nowa sieć

Nie wystarczy liczba prospołecznych kontaktów. Warto badać:

  • dostępność;
  • wzajemność;
  • zaufanie;
  • różnorodność;
  • pomoc w kryzysie;
  • normy;
  • stabilność.

Dane sieciowe

Są szczególnie wrażliwe. Mogą ujawnić osoby nieobjęte programem. Potrzebne są:

  • minimalizacja;
  • podstawa;
  • ograniczony dostęp;
  • oddzielenie ewaluacji od operacji;
  • zasady publikacji.

Przekonania

Nie mierzyć „radykalności” ogólnie

Pogląd może być skrajny, legalny i niezwiązany z przemocą. Wskaźnik powinien dotyczyć:

  • dopuszczalności przemocy;
  • jej celu;
  • warunków;
  • obowiązku;
  • dehumanizacji;
  • alternatyw.

Poziomy

Norma

Czy przemoc jest właściwa?

Zamiar

Czy osoba jest gotowa działać?

Oczekiwanie

Czy uważa, że przemoc przyniesie efekt?

Tożsamość

Czy grupa i rola sprawcy są centralne?

Posłuszeństwo

Czy autorytet może nakazać czyn?

Empatia i odpowiedzialność

Czy ofiara jest uznawana za człowieka, a własna sprawczość za realną?

Metody

  • pytanie bezpośrednie;
  • winieta;
  • scenariusz;
  • ranking;
  • wywiad;
  • zadanie argumentacyjne;
  • obserwacja zachowania.

Bezpośrednie pytanie

Zalety:

  • proste;
  • porównywalne;
  • przejrzyste.

Wady:

  • pożądana odpowiedź;
  • lęk;
  • różna interpretacja;
  • wyuczenie języka.

Winieta

Pozwala badać granice oceny, ale wynik zależy od:

  • realizmu;
  • identyfikacji grupy;
  • kolejności;
  • poziomu abstrakcji;
  • umiejętności czytania.

Wywiad

Może ujawnić rozumowanie i ambiwalencję. Wymaga kodowania, szkolenia i kontroli zgodności oceniających.

Zmiana pozorna

Sygnały:

  • idealna, nagła odpowiedź;
  • brak przykładów;
  • identyczny język programu;
  • sprzeczność z zachowaniem;
  • nietolerowanie pytań;
  • zmiana zależna od odbiorcy.

Nie są dowodem oszustwa. Wskazują potrzebę dalszych danych.

Ambiwalencja

Wypowiedź:

Nadal rozumiem część argumentów grupy, ale odrzucam atakowanie ludzi

może być bardziej informacyjna niż pełne potępienie. Skala nie powinna karać automatycznie uczciwej złożoności.

Odpowiedzialność i poznanie

Odpowiedzialność

Możliwe wskaźniki:

  • uznanie własnego wyboru;
  • nazwanie szkody;
  • brak pełnego przerzucenia winy;
  • realistyczny plan;
  • naprawienie w bezpiecznej formie.

Odpowiedzialność nie wymaga publicznego przyznania do czynu poza właściwą procedurą.

Tolerancja wieloznaczności

Nie chodzi o zgodę ze wszystkim. Obserwuje się zdolność:

  • utrzymania dwóch perspektyw;
  • odroczenia decyzji;
  • odróżnienia faktu od interpretacji;
  • modyfikacji stanowiska.

Rozwiązywanie problemu

Scenariusz może pokazać, czy osoba:

  • identyfikuje konflikt;
  • generuje opcje;
  • przewiduje konsekwencje;
  • szuka pomocy;
  • wybiera bez przemocy.

Deklarowana umiejętność i wykonanie scenariusza to różne wskaźniki.

Funkcjonowanie społeczne

Mieszkanie

Nie tylko „ma adres”.

  • bezpieczeństwo;
  • stabilność;
  • legalność;
  • ryzyko współmieszkańców;
  • możliwość prywatności;
  • ciągłość.

Praca

  • zatrudnienie;
  • godziny;
  • dochód;
  • utrzymanie;
  • jakość;
  • relacje;
  • zgodność z ograniczeniami;
  • znaczenie dla osoby.

Edukacja

  • zapis;
  • obecność;
  • postęp;
  • ukończenie;
  • relacje;
  • bezpieczeństwo.

Finanse

  • legalne źródło;
  • zadłużenie;
  • zależność;
  • stabilność;
  • ryzyko wykorzystania.

Dokumenty i prawa

  • tożsamość;
  • ubezpieczenie;
  • status;
  • dostęp do świadczeń;
  • zdolność załatwienia spraw.

Uczestnictwo

Nie każda aktywność społeczna jest ochronna. Wskaźnik obejmuje:

  • dobrowolność;
  • rolę;
  • wzajemność;
  • normy;
  • trwałość.

Czynniki ochronne

UNDP zwraca uwagę na potrzebę operacjonalizowania i mierzenia czynników chroniących przed przemocą, zamiast koncentrowania się wyłącznie na podatnościach.2

Plan kryzysowy

  • zna sygnały;
  • zna osoby;
  • ma numer;
  • przećwiczył;
  • użył w sytuacji;
  • plan jest dostępny.

Szukanie pomocy

Liczba kontaktów może wzrosnąć i oznaczać poprawę, nie pogorszenie. Ważne są:

  • termin;
  • adekwatność;
  • osoba;
  • skutek.

Regulacja

  • rozpoznaje pobudzenie;
  • używa strategii;
  • toleruje opóźnienie;
  • wraca do planu;
  • nie przenosi przemocy.

Sprawczość

  • widzi legalne opcje;
  • wykonuje kroki;
  • znosi niepowodzenie;
  • negocjuje pomoc;
  • nie zależy wyłącznie od prowadzącego.

Alternatywna tożsamość

Nie mierzy się jej pytaniem „kim jesteś?” raz. Wskaźniki:

  • role;
  • działania;
  • uznanie przez innych;
  • narracja przyszłości;
  • ciągłość;
  • brak potrzeby statusu dawnej grupy.

Zdrowie i dobrostan

Wartość własna

Zdrowie jest celem humanitarnym niezależnie od bezpieczeństwa.

Domeny

  • nastrój;
  • lęk;
  • trauma;
  • psychoza;
  • substancje;
  • sen;
  • samobójstwo;
  • funkcjonowanie;
  • jakość życia.

Nie utożsamiać

Spadek objawów:

  • może poprawiać kontrolę;
  • może zwiększać zdolność działania;
  • może nie mieć związku z ideologią.

Związek z ryzykiem jest indywidualny.

Dostęp i ciągłość

Wskaźnik powinien obejmować:

  • termin;
  • dostosowanie;
  • przerwy;
  • decyzję pacjenta;
  • działania po zwolnieniu.

Sama liczba sesji jest produktem.

Pogorszenie po odejściu

Utrata grupy może wywołać:

  • żałobę;
  • samotność;
  • wstyd;
  • lęk;
  • brak sensu.

Krótkie pogorszenie dobrostanu nie musi oznaczać porażki behawioralnej, ale wymaga pomocy.

Rodzina i otoczenie

Bezpieczeństwo rodziny

  • groźby;
  • przemoc;
  • przymus;
  • kontrola;
  • odwet;
  • plan;
  • dostęp do pomocy.

Obciążenie

  • czas;
  • pieniądze;
  • utrata pracy;
  • opieka;
  • stres;
  • rola nieformalnego nadzorcy.

Relacja

  • częstotliwość konfliktu;
  • bezpieczna komunikacja;
  • granice;
  • możliwość odmowy;
  • wsparcie.

Szkody dla dzieci

  • stygmat;
  • edukacja;
  • nękanie;
  • ekspozycja na konflikt;
  • nadmierna odpowiedzialność;
  • ujawnienie danych.

Ofiary

Program może mierzyć:

  • niechciany kontakt;
  • poczucie bezpieczeństwa;
  • informację;
  • dostęp do wsparcia;
  • wtórną wiktymizację.

Ofiara nie jest wskaźnikiem postępu uczestnika.

Szkody programu

Rejestr

  • błędne skierowanie;
  • naruszenie danych;
  • utrata świadczenia;
  • konflikt rodzinny;
  • stygmat;
  • represja;
  • zależność;
  • nadużycie;
  • kontakt między uczestnikami;
  • odwet.

Aktywne pytanie

Brak skarg może oznaczać brak szkód lub brak bezpiecznej drogi. Program powinien:

  • pytać;
  • obserwować rezygnacje;
  • analizować skargi;
  • kontaktować osoby po zakończeniu;
  • badać odbiorców zewnętrznych.

Dotkliwość

Rejestruje się:

  • rodzaj;
  • ciężar;
  • odwracalność;
  • czas;
  • związek z programem;
  • reakcję;
  • naprawę.

Źródła danych

Samoopis

Zalety:

  • dostęp do motywacji;
  • doświadczenie;
  • niewidoczne zachowanie.

Wady:

  • pozorowanie;
  • pamięć;
  • lęk;
  • różne rozumienie.

Praktyk

Zalety:

  • obserwacja w czasie;
  • kontekst;
  • wiedza o interwencji.

Wady:

  • konflikt roli;
  • oczekiwanie sukcesu;
  • efekt relacji;
  • różna surowość.

Rodzina

Zalety:

  • codzienne zachowanie;
  • historia;
  • kryzys.

Wady:

  • konflikt;
  • strach;
  • wspieranie;
  • brak dostępu;
  • własna szkoda.

Rejestry

Zalety:

  • standaryzacja;
  • długi okres;
  • wydarzenia formalne.

Wady:

  • opóźnienie;
  • praktyka instytucji;
  • błędy łączenia;
  • niepełność;
  • różne definicje.

Dane cyfrowe

Mogą pokazać aktywność, ale tworzą szczególne problemy:

  • prywatność;
  • tożsamość konta;
  • ironia;
  • kontekst;
  • szyfrowanie;
  • selektywność;
  • efekt obserwacji.

Nie należy pozyskiwać ich tylko dlatego, że są technicznie dostępne.

Pracodawca i szkoła

Mogą raportować funkcjonowanie, nie powinny oceniać ideologii bez funkcji i kompetencji.

Triangulacja

Nie większość

Trzy powiązane raporty mogą pochodzić z jednego pierwotnego źródła. Nie są trzema niezależnymi potwierdzeniami.

Macierz

Twierdzenie Samoopis Rodzina Praktyk Rejestr Ocena
brak kontaktu operacyjnego tak nie wie częściowo brak danych niepewne
utrzymuje pracę tak tak tak umowa mocne
odrzuca przemoc tak ambiwalentne argumentuje nie dotyczy umiarkowane

Niezgodność jest wynikiem

Może oznaczać:

  • inny okres;
  • inną definicję;
  • zmianę zależną od kontekstu;
  • konflikt;
  • błąd;
  • ukrywanie;
  • uprzedzenie źródła.

Należy ją analizować, nie uśredniać.

Hierarchia zależna od pytania

Rejestr jest mocny dla wyroku. Uczestnik jest ważny dla motywacji. Rodzina może najlepiej znać dom, ale nie kanał online. Praktyk zna sesję, nie całe życie.

Punkt bazowy

Kiedy

Przed interwencją, ale po zapewnieniu bezpieczeństwa. Pomiar w ostrym zatrzymaniu może opisywać kryzys, nie stabilny stan.

Co obejmuje

  • domeny;
  • kontekst;
  • ekspozycję;
  • wcześniejsze usługi;
  • sposób skierowania;
  • dostępne dane.

Retrospekcja

Gdy program już trwa, można odtworzyć punkt bazowy z dokumentów i wywiadów, ale trzeba oznaczyć większą niepewność.

Nie używać wyłącznie wyniku przyjęcia

Ocena kwalifikacyjna może być celowo ostrożna i nie nadawać się do porównania z późniejszą oceną terapeuty.

Czas

Zegar

Może zaczynać się od:

  • przyjęcia;
  • pierwszej usługi;
  • zwolnienia;
  • zakończenia;
  • ustania nadzoru.

Trzeba podać który.

Punkty

  • bazowy;
  • krótki: 1–3 miesiące;
  • zakończenie;
  • 6 miesięcy;
  • 12 miesięcy;
  • 24 miesiące lub dłużej.

Zdarzenie a stan

Przemoc to zdarzenie. Zatrudnienie to stan zmienny. Przekonanie może falować. Odpowiedni jest inny harmonogram.

Czas narażenia

Osoba przez osiem miesięcy w więzieniu i cztery w społeczności nie ma tej samej ekspozycji co osoba przez rok w społeczności.

Cenzorowanie

Obserwacja kończy się z powodu:

  • końca badania;
  • utraty kontaktu;
  • przeprowadzki;
  • zgonu;
  • deportacji;
  • uwięzienia.

To nie są automatyczne zera. Analiza przeżycia i osoboczas mogą lepiej opisywać zdarzenia.

Brak danych

Rodzaje

Losowy

Brak niezwiązany z wynikiem — rzadko pewny.

Zależny od obserwowanych cech

Brak wiąże się z wiekiem, miejscem lub typem programu.

Zależny od nieobserwowanego wyniku

Osoba zrywa kontakt właśnie dlatego, że wróciła do grupy albo dlatego, że radzi sobie i nie chce instytucji.

Raport

  • ile brakuje;
  • gdzie;
  • dlaczego;
  • czym różnią się osoby;
  • jakie założenie analizy;
  • analiza wrażliwości.

Najgorsza praktyka

Usunięcie wszystkich niekompletnych przypadków i przedstawienie pozostałych jako całego programu.

Nie uznawać utraty kontaktu za porażkę

To osobna kategoria wymagająca analizy.

Pozorowanie i gra wskaźnikiem

Przez uczestnika

  • wyuczona deklaracja;
  • ukrycie kontaktu;
  • obecność bez pracy;
  • wybór bezpiecznej odpowiedzi.

Przez wykonawcę

  • przyjmowanie łatwych osób;
  • wypisywanie trudnych;
  • zmiana definicji ukończenia;
  • odkładanie negatywnego zdarzenia;
  • raportowanie produktów;
  • nacisk na ankietę.

Przez system

  • niełączenie rejestrów;
  • kwalifikowanie czynu inaczej;
  • przesuwanie kosztu do innej służby;
  • liczenie przekazania jako sukcesu.

Ochrona

  • definicja przed startem;
  • niezależne źródło;
  • audyt;
  • pełna kohorta;
  • raport szkód;
  • dane o odrzuconych;
  • zakaz zmiany mianownika bez opisu.

Skale i jakość pomiaru

Rzetelność

Czy wynik jest stabilny i spójny tam, gdzie powinien?

Trafność treściowa

Czy pytania obejmują właściwe znaczenie?

Trafność konstruktu

Czy wynik zachowuje się zgodnie z hipotezami?

Trafność kryterialna

Czy wiąże się z istotnym zewnętrznym wynikiem?

Czułość na zmianę

Czy potrafi wykryć zmianę w czasie?

Równoważność

Czy skala znaczy to samo:

  • w językach;
  • płciach;
  • ideologiach;
  • kulturach;
  • statusach prawnych?

Błąd pomiaru

Zmiana z 20 na 19 punktów może być szumem. Potrzebne są:

  • przedział;
  • minimalna wykrywalna zmiana;
  • wiarygodna zmiana;
  • interpretacja kliniczna lub praktyczna.

Adaptacja

Tłumaczenie obejmuje:

  1. tłumaczenie;
  2. konsultację pojęć;
  3. tłumaczenie zwrotne lub inną kontrolę;
  4. wywiad poznawczy;
  5. pilotaż;
  6. analizę właściwości.

Jeden wynik zbiorczy

Dlaczego kusi

  • łatwy ranking;
  • prosty dashboard;
  • jedna decyzja;
  • pozorna obiektywność.

Co ukrywa

Osoba może:

  • nie stosować przemocy;
  • nadal akceptować ją ideologicznie;
  • mieć dobrą pracę;
  • zagrażać rodzinie;
  • doświadczać ciężkiej depresji.

Jedna liczba wymaga wag:

Ile punktów pracy równoważy groźbę?

Nie ma neutralnej odpowiedzi.

Jeśli musi istnieć

  • wagi są jawne;
  • uzasadnione;
  • wynik domenowy widoczny;
  • element krytyczny nie jest kompensowalny;
  • niepewność jest pokazana;
  • nie służy automatycznej sankcji;
  • sprawdza się wrażliwość na wagi.

Profil zamiast rankingu

Lepszy może być wykres lub tabela domen:

  • zachowanie: brak potwierdzonego zdarzenia, obserwacja krótka;
  • kontakty: ograniczone, jedno źródło;
  • przekonania: poprawa umiarkowana;
  • praca: stabilna;
  • zdrowie: pogorszenie;
  • rodzina: konflikt;
  • dane: średnia kompletność.

Zmiana indywidualna i wynik programu

Jednostka

Wskaźniki wspierają:

  • plan;
  • rozmowę;
  • przegląd;
  • dokumentację.

Nie tworzą samodzielnej prognozy.

Program

Agregacja odpowiada:

  • ilu;
  • jak bardzo;
  • kiedy;
  • w której grupie;
  • przy jakiej dawce;
  • z jaką szkodą.

Błąd ekologiczny

Jeśli program jako całość ma lepsze wyniki, nie znaczy, że każdy jego element pomaga każdej osobie.

Błąd atomistyczny

Kilka dobrych historii nie dowodzi efektu średniego.

Kohorta i mianownik

Kogo liczymy

Program może raportować:

  • wszystkich skierowanych;
  • ocenionych;
  • spełniających kryteria;
  • przyjętych;
  • rozpoczynających;
  • kończących;
  • dostępnych w obserwacji.

Każda grupa daje inny wynik.

Lejek

Przykład:

  1. 200 skierowanych;
  2. 120 ocenionych;
  3. 70 spełniających kryteria;
  4. 50 przyjętych;
  5. 40 rozpoczynających;
  6. 28 kończących;
  7. 20 z pełnym pomiarem po roku.

Jeśli poprawę obliczy się wśród 20 osób, wskaźnik nie opisuje doświadczenia pozostałych 180. Należy pokazać cały lejek i przyczyny przejścia.

Intention-to-treat jako idea

W badaniu przydziału analizowanie osób według pierwotnego przydziału chroni część korzyści randomizacji. W zwykłym monitoringu analogiczna zasada oznacza przynajmniej zachowanie pełnej kohorty osób przyjętych, nawet gdy:

  • nie rozpoczęły;
  • przerwały;
  • zmieniły moduł;
  • zostały wykluczone.

Nie każdą sytuację da się analizować identycznie, ale znikanie trudnych przypadków z mianownika powinno być niemożliwe.

Per protocol

Analiza osób, które otrzymały program zgodnie z planem, odpowiada na inne pytanie:

Jakie wyniki mają osoby, u których interwencję wdrożono dostatecznie?

Jest podatna na selekcję, bo osoby kończące mogą różnić się motywacją, stabilnością i ryzykiem.

Kohorta otwarta i zamknięta

Kohorta zamknięta ma wspólny okres wejścia i obserwacji. Otwarta stale przyjmuje uczestników, przez co w jednym raporcie osoby mają różne czasy.

W kohorcie otwartej warto podawać:

  • stan na dzień;
  • nowe wejścia;
  • wyjścia;
  • osoboczas;
  • wyniki według czasu od wejścia.

Ponowne wejście

Osoba może wrócić do programu. Trzeba określić, czy liczymy:

  • jedną osobę;
  • dwa epizody;
  • pierwszy wynik;
  • każdy epizod.

Wynik osobowy i wynik epizodu nie są wymienne.

Zmiana składu programu

Pozorny trend

Średni wynik poprawił się z roku na rok, ale program zaczął przyjmować:

  • osoby o niższym ryzyku;
  • więcej dobrowolnych;
  • mniej osób po więzieniu;
  • krótsze przypadki.

Może to być sukces kwalifikacji albo przesunięcie misji, nie poprawa skuteczności.

Zmienne opisowe

Raport kohorty powinien obejmować, w bezpiecznej formie:

  • wiek;
  • płeć;
  • status prawny;
  • typ skierowania;
  • rodzaj zaangażowania;
  • fazę;
  • wcześniejszą przemoc;
  • główne potrzeby;
  • czas i dawkę.

Nie chodzi o tworzenie profilu sprawcy, tylko ocenę porównywalności.

Case-mix

Porównanie dwóch placówek wymaga zbadania składu przypadków. Korekta statystyczna może pomóc, lecz przy małej próbie i słabym pomiarze tworzy pozorną precyzję.

Zmiana definicji

Gdy próg skierowania, kategoria ideologii albo definicja ukończenia zmienia się w połowie okresu:

  • oznacza się datę;
  • raportuje obie definicje;
  • nie łączy bez analizy;
  • przelicza historycznie, jeśli jest to możliwe i uczciwe.

Heterogeniczność wyniku

Średnia nie mówi „dla kogo”

Program może pomagać:

  • dobrowolnym uczestnikom;
  • osobom z potrzebą relacyjną;

a nie pomagać:

  • osobom przymusowym;
  • osobom w ostrym kryzysie;
  • osobom bez mieszkania.

Średnia bliska zeru może ukrywać korzyść i szkodę w podgrupach.

Podgrupy planowane

Przed analizą warto wskazać kilka uzasadnionych teorii:

  • status prawny;
  • płeć;
  • wiek;
  • typ programu;
  • poziom potrzeb;
  • rodzaj mechanizmu;
  • dobrowolność.

Dziesiątki analiz po fakcie wygenerują przypadkowe różnice.

Intersekcjonalność

„Kobiety” nie są jedną grupą. Wynik może różnić się w zależności od wieku, roli, opieki nad dzieckiem, migracji i statusu.

Przy małych liczbach szczegółowa analiza:

  • jest niestabilna;
  • grozi identyfikacją;
  • może wymagać łączenia lat;
  • może opierać się bardziej na analizie jakościowej.

Nierówność dostępu i wyniku

Należy oddzielić:

  • kto jest kierowany;
  • kto jest przyjmowany;
  • kto dostaje moduł;
  • kto kończy;
  • kto korzysta;
  • kto ponosi szkody.

Równy średni wynik wśród kończących nie wyklucza nierówności wcześniejszego dostępu.

Różnica praktyczna

Statystycznie niepewna różnica w małej grupie może być ważnym sygnałem bezpieczeństwa. Nie należy jej przedstawiać jako potwierdzonego efektu, ale można uruchomić audyt.

Cele i progi

Wartość bazowa

Cel bez punktu bazowego:

80% uczestników ma pracę

nie mówi, czy program coś zmienił.

Cel absolutny

70% utrzymuje bezpieczne mieszkanie po roku.

Cel zmiany

wzrost o 15 punktów procentowych wobec wartości bazowej.

Cel względem porównania

różnica wobec podobnej kohorty bez modułu.

Każdy wymaga innego projektu.

Próg bezpieczeństwa

Niektóre wskaźniki mają charakter „nigdy”:

  • ciężkie naruszenie danych;
  • nieautoryzowany kontakt z ofiarą;
  • wykorzystanie;
  • poważny błąd procedury.

Zero może być właściwą aspiracją, ale raport musi nadal pokazywać wykrywanie i reakcję. Brak zarejestrowanych incydentów nie dowodzi braku zdarzeń.

Target i motywacja do gry

Im silniej finansowanie lub ocena pracownika zależy od jednego progu, tym większe ryzyko:

  • zmiany definicji;
  • selekcji;
  • odkładania pomiaru;
  • presji na odpowiedź.

Cele powinny być równoważone jakością, szkodami i audytem.

Minimalny standard raportu

Metryka

Przy każdym wyniku:

  • definicja;
  • kohorta;
  • liczebność;
  • mianownik;
  • okres;
  • punkt bazowy;
  • wartość;
  • brak danych;
  • źródło;
  • niepewność.

Kontekst

  • zmiana prawa;
  • zmiana progu;
  • zdarzenie zewnętrzne;
  • rotacja;
  • ograniczenie usług;
  • skład kohorty.

Wdrożenie

  • zasięg;
  • dawka;
  • jakość;
  • adaptacje;
  • opóźnienia.

Szkody

Nie w dodatku, lecz obok korzyści:

  • liczba i ciężar;
  • grupa;
  • związek;
  • naprawa.

Interpretacja

Oddziela się:

  1. co zaobserwowano;
  2. jaka jest możliwa interpretacja;
  3. jak silny jest wniosek przyczynowy;
  4. czego nie wiadomo.

Przykład

Nie:

Skuteczność programu wyniosła 92%.

Lepiej:

Spośród 50 osób, które rozpoczęły program, 46 nie miało potwierdzonego nowego skazania w rejestrze krajowym do 12 miesięcy od zwolnienia. Cztery utracono dla części źródeł, 12 pozostawało w instytucji przez część okresu, a osiem nie ukończyło modułu. Wskaźnik nie obejmuje niewykrytych zachowań ani nie pozwala przypisać wyniku programowi bez porównania.

Użycie danych w decyzji

Do uczenia

Wskaźnik może prowadzić do:

  • zmiany kolejności;
  • lepszego dostępu;
  • dodatkowego wsparcia;
  • przeglądu szkody;
  • nowej hipotezy.

Do rozliczenia

Może sprawdzać:

  • czy dostarczono;
  • czy wynik powstał;
  • czy wykonawca raportuje pełną kohortę;
  • czy jakość nie spada;
  • czy szkody są naprawiane.

Do decyzji jednostkowej

Wymaga znacznie większej ostrożności. Wynik programu:

60% utrzymało pracę

nie mówi, czy konkretna osoba dopuści się przemocy. Nawet profil domen nie zastępuje profesjonalnej, indywidualnej oceny i właściwej procedury.

Rozdzielenie analityka i decydenta

Analityk opisuje dane i niepewność. Decydent uwzględnia:

  • prawo;
  • wagę szkody;
  • proporcjonalność;
  • inne informacje.

Automatyczne przełożenie koloru na sankcję tworzy fałszywą obiektywność.

Dashboard

Warstwy

Bezpieczeństwo

  • zdarzenia;
  • przygotowania;
  • kontakty operacyjne;
  • ekspozycja.

Zmiana

  • akceptacja przemocy;
  • odpowiedzialność;
  • umiejętności;
  • sieć.

Reintegracja

  • mieszkanie;
  • praca;
  • edukacja;
  • relacje.

Dobrostan

  • zdrowie;
  • substancje;
  • kryzysy;
  • dostęp.

Szkody

  • rodzina;
  • dane;
  • stygmat;
  • skargi.

Jakość danych

  • brak;
  • liczba źródeł;
  • okres;
  • niepewność.

Kolor

Zielony nie powinien oznaczać „bezpieczny”. Może oznaczać:

  • cel osiągnięty według określonego wskaźnika;
  • przy dostępnych danych;
  • w danym okresie.

Legenda musi to wyjaśniać.

Małe grupy

Dashboard wewnętrzny może pokazywać przypadki. Publikacja powinna:

  • agregować;
  • tłumić małe liczby;
  • unikać krzyżowania identyfikującego;
  • opisywać zasady.

Przykładowy minimalny zestaw

Zachowanie

  • potwierdzone zdarzenia według typu;
  • miesiące ekspozycji;
  • przygotowania;
  • rekrutacja i wsparcie;
  • naruszenia.

Przekonania

  • dopuszczalność przemocy w scenariuszach;
  • obowiązek;
  • dehumanizacja;
  • zdolność alternatyw;
  • odpowiedzialność.

Relacje

  • funkcjonalne kontakty ryzyka;
  • prospołeczne kontakty dostępne w kryzysie;
  • jakość relacji z rodziną.

Reintegracja

  • bezpieczne mieszkanie;
  • utrzymanie pracy lub edukacji;
  • legalny dochód;
  • korzystanie z usług;
  • rola.

Zdolności

  • użycie planu;
  • szukanie pomocy;
  • regulacja;
  • rozwiązanie konfliktu.

Dobrostan

  • funkcjonowanie;
  • istotne objawy;
  • substancje;
  • samouszkodzenie;
  • ciągłość opieki.

Szkody

  • naruszenia danych;
  • utraty;
  • konflikty;
  • szkody rodziny;
  • skargi;
  • odwet.

Przykład karty

Wskaźnik

Użycie planu kryzysowego w ciągu sześciu miesięcy.

Definicja

Uczestnik rozpoznał ustalony sygnał i wykonał co najmniej jeden uzgodniony krok przed eskalacją.

Źródła

  • samoopis;
  • mentor;
  • zapis kontaktu;
  • rodzina, jeśli uzgodniono.

Kierunek

Wzrost użycia może być dobry, mimo że liczba kryzysów jest większa.

Mianownik

Liczba rozpoznanych sytuacji, w których plan był właściwy.

Ograniczenia

  • kryzys niewidoczny;
  • różne progi;
  • pamięć;
  • nacisk raportowy.

Interpretacja

Wskaźnik mechanizmu ochronnego, nie bezpośredni dowód braku przemocy.

Scenariusze interpretacyjne

Brak skazania, utrata kontaktu

Wniosek:

brak potwierdzonej formalnej recydywy przy niepełnej obserwacji.

Nie:

sukces.

Deklaracje poprawne, zachowanie sprzeczne

Wniosek:

  • rozbieżność;
  • możliwa zależność od kontekstu;
  • potrzebny przegląd.

Nie:

skala dowiodła deradykalizacji.

Praca utrzymana, sieć bez zmiany

Możliwa interpretacja:

  • mechanizm dochodu działa;
  • mechanizm nowej sieci nie;
  • praca ma ograniczony wpływ.

Objawy gorsze, kontakty z grupą mniejsze

Możliwe odejście z kosztem psychologicznym. Potrzebne wsparcie, nie automatyczna ocena porażki.

Więcej zgłoszonych kryzysów

Może oznaczać:

  • pogorszenie;
  • lepsze rozpoznanie;
  • większe zaufanie;
  • zmianę definicji.

Sprawdza się inne dane.

Jedno ciężkie zdarzenie w małej kohorcie

Nie ukrywać w średniej. Prowadzić:

  • analizę przypadku;
  • przegląd wdrożenia;
  • ocenę teorii;
  • raport dotkliwości;
  • ochronę danych.

Co mówią dostępne przeglądy

Mapa dowodów Campbell Collaboration dotycząca interwencji wymiaru sprawiedliwości przeciw radykalizacji i terroryzmowi znalazła dużą różnorodność wyników oraz szczególne luki w pomiarze ekstremizmu i radykalizacji; rzadkość i ukrycie zjawiska utrudniają ewaluację.3

UNODC zaleca śledzenie wyników w czasie i wskazuje między innymi zachowanie, zaangażowanie oraz incydenty instytucjonalne jako możliwe obszary monitoringu interwencji więziennych.4 Lista nie tworzy walidowanego narzędzia i wymaga dopasowania do teorii.

Przegląd randomizowanych programów powrotu zwykłych sprawców do społeczności znalazł nieistotne statystycznie średnie efekty dla aresztowania, skazania i ponownego uwięzienia oraz mieszane wyniki reintegracji.5 To literatura pokrewna, nie dowód o programach ekstremizmu; pokazuje jednak, dlaczego recydywa i integracja nie powinny być jednym wskaźnikiem.

RAND udostępnia narzędzia ewaluacji CVE obejmujące teorię programu, miary procesu i wyniku oraz dobór projektu badawczego.6 Gotowa lista nie zwalnia z określenia lokalnych definicji i szkód.

Checklista wskaźnika

  • Jaka domena?
  • Jaki element teorii?
  • Co dokładnie mierzy?
  • Czego nie mierzy?
  • Jaka jednostka?
  • Jaki licznik?
  • Jaki mianownik?
  • Jakie źródło?
  • Jakie okno?
  • Jaka ekspozycja?
  • Jaki próg?
  • Jaki błąd?
  • Jak można pozorować?
  • Jakie dane brakuje?
  • Jak chronimy?
  • Kto interpretuje?

Checklista zestawu

  • Czy oddzielamy zachowanie, przekonania i reintegrację?
  • Czy obejmujemy zdarzenia poważne i poprzedzające?
  • Czy kontakty mają funkcję?
  • Czy reintegracja ma jakość?
  • Czy zdrowie jest osobną domeną?
  • Czy rodzina ma własne wyniki?
  • Czy mierzymy szkody?
  • Czy są różne źródła?
  • Czy znamy zależności źródeł?
  • Czy punkt bazowy jest porównywalny?
  • Czy okna są jawne?
  • Czy liczymy ekspozycję?
  • Czy opisujemy brak danych?
  • Czy skale są adekwatne?
  • Czy wynik zbiorczy nie ukrywa domen?
  • Czy raport pokazuje niepewność?
  • Czy dane programu nie są używane jako automatyczna prognoza?

Standard końcowy

Najuczciwszy opis wyniku może brzmieć:

W ciągu 12 miesięcy od zwolnienia nie potwierdzono przemocy ani przygotowań; obserwacja obejmowała 10 miesięcy w społeczności i jest kompletna w rejestrach krajowych, lecz ograniczona dla aktywności zagranicznej. Uczestnik utrzymał pracę przez dziewięć miesięcy, użył planu kryzysowego dwukrotnie i zbudował dwa dostępne kontakty poza dawną siecią. Bezpośrednia akceptacja przemocy spadła, ale utrzymuje się ambiwalencja wobec grupy. Rodzina zgłasza mniejszą liczbę konfliktów, lecz duże obciążenie opieką. Nie odnotowano naruszenia danych.

To mniej efektowne niż:

Uczestnik został deradykalizowany.

Jest jednak znacznie bardziej użyteczne. Pokazuje osobno zachowanie, przekonania, reintegrację, ochronę, szkody, czas i granice wiedzy. Właśnie taki wielowymiarowy profil powinien stanowić podstawę ewaluacji programu — nigdy publiczną pieczęć bezpieczeństwa jednostki.

Źródła