Streszczenie

Statystyka terroryzmu nie jest bezpośrednim odczytem rzeczywistości. Między zdarzeniem a wierszem w bazie znajduje się łańcuch selekcji: ktoś musi zdarzenie zauważyć, uznać za warte zgłoszenia, opisać w dostępnym źródle, zachować materiał, odnaleźć go, zakwalifikować według definicji i zakodować niepewne szczegóły. Każde ogniwo może zależeć od państwa, okresu, języka, rodzaju celu, liczby ofiar i domniemanej tożsamości sprawcy. Dlatego brak rekordu nie zawsze oznacza brak zdarzenia, a większa liczba rekordów nie zawsze oznacza większą rzeczywistą aktywność. Możliwości i granice takich danych trzeba oceniać łącznie, zamiast nazywać otwarte źródła z natury kompletnymi albo bezwartościowymi.7

Niedoszacowanie nie ma jednej stałej wartości. Atak z wieloma ofiarami w stolicy jest zwykle lepiej widoczny niż podpalenie infrastruktury na prowincji, groźba bez wykonania albo przemoc w strefie wojny. Otwarte państwo z pluralistycznymi mediami może wytworzyć więcej sprawdzalnych danych niż państwo stosujące cenzurę, choć jest bezpieczniejsze. Rozbudowa monitoringu, digitalizacja archiwów i zwiększenie liczby języków przeszukiwanych przez badaczy mogą stworzyć wzrost szeregu bez odpowiadającego mu wzrostu przemocy.

Widzialność medialna jest osobnym mechanizmem. Redakcje wybierają zdarzenia według dotkliwości, bliskości, niezwykłości, dostępności obrazów, możliwości wskazania sprawcy i znaczenia politycznego. Badania amerykańskich przekazów wykazały także nierówną uwagę wobec ataków przypisywanych różnym kategoriom sprawców. Nie oznacza to, że jeden współczynnik można przenieść na wszystkie kraje i epoki. Oznacza, że liczba publikacji nie jest neutralnym miernikiem liczby ani ciężaru ataków.

Błąd selekcji powstaje również po utworzeniu zbioru. Analiza tylko zamachów dokonanych pomija plany udaremnione i próby, które upadły z przyczyn niezależnych od służb. Analiza tylko organizacji, które przetrwały, przypisuje ich cechy całej populacji, choć nie widzi grup krótkotrwałych. Badanie skutecznych sprawców bez porównania z nieskutecznymi prowadzi do porad opartych na skutku, który był warunkiem wejścia do próby.

Rzetelna analiza nie usuwa tych problemów jednym „współczynnikiem korekcyjnym”. Definiuje obserwowaną populację, oddziela zero od braku informacji, zachowuje przypadki nieustalone, testuje alternatywne definicje i okresy, sprawdza przełomy metodologiczne, porównuje niezależne źródła oraz ręcznie audytuje próbkę rekordów. Wynik należy przedstawiać jako wniosek warunkowy wraz z zakresem jego odporności, a nie jako dokładną liczbę pozbawioną historii powstania.

Zjawisko, obserwacja i rekord

Najprostszy model pomiaru rozróżnia trzy poziomy. Pierwszy to zdarzenia, które rzeczywiście nastąpiły. Drugi to ślady tych zdarzeń: zgłoszenia, akta, komunikaty, artykuły, nagrania i świadectwa. Trzeci to rekordy utworzone przez konkretną instytucję zgodnie z jej definicją. Badacz widzi przeważnie poziom trzeci i część drugiego, a o poziomie pierwszym wnioskuje.

Droga od zdarzenia do danych jest filtrem. Przemoc musi zostać rozpoznana, źródło musi ją opublikować, publikacja musi przetrwać, system wyszukiwania musi ją odnaleźć, analityk musi uznać źródło za wiarygodne, przypadek musi spełnić kryteria, a jego pola muszą dać się zakodować. Później rekord może zostać poprawiony, połączony z innym albo usunięty. Ostateczna tabela jest wynikiem całego procesu, nie lustrzanym odbiciem świata.

Warto zapisać tę zależność w sposób intuicyjny. Liczba obserwowana zależy od liczby rzeczywistej pomnożonej przez prawdopodobieństwo wykrycia, publikacji, odnalezienia i włączenia. Nie trzeba znać dokładnej wartości każdego prawdopodobieństwa, aby zauważyć konsekwencję: jeżeli któryś filtr zmienia się w czasie albo różni między państwami, surowe liczby przestają być bezpośrednio porównywalne.

Pomiar może też tworzyć wyniki fałszywie dodatnie. Wybuch przemysłowy zostaje początkowo przedstawiony jako zamach, zwykłe przestępstwo otrzymuje polityczną interpretację albo kilka doniesień o jednym zdarzeniu trafia do zbioru jako kilka rekordów. Problemem nie jest zatem tylko brak przypadków. Jest nim jednocześnie nadmiar, podwójne liczenie i błędna klasyfikacja.

Pokrycie nie jest tym samym co jakość kodowania

Pokrycie odpowiada na pytanie, jaki odsetek interesujących zdarzeń pozostawił wystarczający ślad i wszedł do zbioru. Jakość kodowania dotyczy tego, czy właściwie zapisano datę, miejsce, sprawcę, cel, metodę, ofiary i kwalifikację. Zbiór może mieć szerokie pokrycie, lecz niepewne szczegóły. Może też bardzo dokładnie opisywać niewielką, uprzywilejowaną część populacji.

Kompletność pól nie dowodzi kompletności przypadków. Tabela, w której każdy rekord ma datę i współrzędne, może pomijać dużą liczbę niewidocznych zdarzeń. Odwrotnie, wiele wartości „nieustalone” może świadczyć o uczciwym zachowaniu niepewności, a nie o niskiej jakości całego zbioru.

W analizie trzeba więc osobno raportować liczbę rekordów, pokrycie źródłowe i brakujące wartości w polach. Określenie bazy jako „największej” mówi o liczbie zgromadzonych rekordów, ale nie przesądza, że jest ona jednakowo kompletna dla każdego kraju, roku i typu przemocy.

Artykuł „Global Terrorism Database” omawia definicję, proces gromadzenia i przełomy metodologiczne GTD. Tutaj ważniejsza jest ogólna zasada: nawet bardzo rozbudowana baza otwartych źródeł mierzy zdarzenia widoczne dla własnego systemu obserwacji.

Niedoszacowanie nie jest jedną liczbą

Termin underreporting bywa tłumaczony jako niedostateczne zgłaszanie lub niedorejestrowanie. Łatwo wtedy wyobrazić sobie, że wszystkie wyniki są po prostu o stały procent za niskie. W praktyce prawdopodobieństwo rejestracji zależy od cech przypadku. Brak jest selektywny.

Masowy atak w centrum miasta uruchamia służby, szpitale, świadków, polityków i wiele redakcji. Niewielkie uszkodzenie urządzenia na oddalonym terenie może zostać potraktowane jako awaria. Zabójstwo aktywisty może być zapisane jako przestępstwo pospolite, działanie formacji państwowej, konflikt lokalny albo akt terrorystyczny zależnie od wiedzy i interesów źródła. Próba, w której urządzenie nie zadziałało i nikt jej nie zauważył, nie pozostawi publicznego śladu.

Różne klasy przypadków mają zatem różne szanse wejścia do danych. Nie można bez dodatkowych badań oszacować brakujących podpaleń na podstawie kompletności relacji o zamachach masowych. Nie można też przyjąć, że proporcja niewidocznych zdarzeń w stabilnym państwie odpowiada proporcji w toczącej się wojnie.

Jeżeli braki koncentrują się w określonych regionach, taktykach lub kategoriach sprawców, zaburzają nie tylko sumę, lecz także strukturę. Zbiór może przeszacowywać udział ataków spektakularnych, miejskich i łatwych do przypisania. Wniosek „najczęstszy rodzaj terroryzmu” może wtedy znaczyć „najczęściej widoczny rodzaj w użytych źródłach”.

Państwa otwarte mogą wyglądać gorzej

Pluralizm mediów, jawne postępowania, dostęp do informacji publicznej i profesjonalna statystyka zwiększają zdolność obserwacji. Drobny incydent może otrzymać komunikat policji, relację lokalną, późniejsze sprostowanie i orzeczenie sądowe. W państwie autorytarnym podobne zdarzenie może zostać przemilczane, opisane jako wypadek albo włączone do niepublicznej kategorii bezpieczeństwa.

Porównanie surowych liczb może zatem karać przejrzystość. Więcej rekordów może oznaczać więcej przemocy, lepszy pomiar albo oba zjawiska. Mniej rekordów może oznaczać bezpieczeństwo, cenzurę, słabe instytucje, niedostępność językową lub rozpad administracji.

Nie wynika z tego, że danych między państwami nie wolno porównywać. Trzeba jednak włączyć jakość środowiska informacyjnego do interpretacji. Pomocne są wskaźniki wolności mediów, penetracji internetu, zdolności administracyjnej i intensywności konfliktu, lecz nie są one prostymi przelicznikami. Wskaźnik wolności mediów nie powie, które dokładnie ataki zniknęły.

Rozsądna prezentacja zestawia wynik z opisem systemu obserwacji. Jeżeli państwo po zmianie władzy otwiera archiwa i zaczyna publikować sprawy z prowincji, wzrost liczby rekordów należy traktować jako możliwy przełom pomiarowy. Dopiero dowody niezależne od nowego kanału pozwalają mówić o zmianie rzeczywistego poziomu.

Strefa konfliktu i państwo pokoju

W strefie wojny liczba aktów przemocy jest duża, a ich granice pojęciowe mniej wyraźne. Dziennikarz może nie dotrzeć na miejsce, komunikaty stron konfliktu są strategiczne, ofiary są liczone z opóźnieniem, a odpowiedzialność pozostaje sporna. Ten sam atak może zostać opisany jako terroryzm, partyzantka, zbrodnia wojenna, ostrzał albo nieweryfikowalne twierdzenie.

W państwie pokoju pojedyncze zdarzenie łatwiej odseparować od tła i szczegółowo zbadać. Mały incydent może wywołać ogólnokrajową debatę, podczas gdy porównywalna szkoda w konflikcie ginie w codziennym strumieniu doniesień. Różnica liczby publikacji nie jest różnicą znaczenia dla ofiar.

Badanie obejmujące oba środowiska powinno sprawdzić, czy definicja konsekwentnie rozdziela przemoc wojskową, partyzancką i terrorystyczną. Musi też uwzględnić, że minimalny próg wiadomości działa inaczej: w spokojnym państwie niski poziom przemocy zwiększa wyjątkowość zdarzenia, a w wojnie ograniczona pojemność informacyjna wypiera przypadki mniejsze.

Agregowanie danych kraj–rok ukrywa tę zmianę składu. Dwa państwa z taką samą liczbą rekordów mogą mieć zupełnie różną proporcję zdarzeń niewidocznych oraz nieustalonych. Dokładny wynik tabeli nie oznacza jednakowej dokładności rzeczywistości za tabelą.

Język jest częścią instrumentu

Bazy korzystające z otwartych źródeł nie obserwują „mediów światowych” w abstrakcji. Obserwują określony zestaw języków, dostawców, wyszukiwarek i archiwów. Zdarzenie dostępne wyłącznie w lokalnym dialekcie ma mniejszą szansę wejścia do systemu anglojęzycznego niż zdarzenie opisane przez międzynarodową agencję.

Global Terrorism Database używa źródeł anglojęzycznych oraz tłumaczeń dostarczanych między innymi przez BBC Monitoring. Jej kodeks uczciwie wskazuje, że dostępność wysokiej jakości źródeł różni się geograficznie i czasowo, a niedobór takich źródeł prowadzi do konserwatywnej dokumentacji.1 To zabezpiecza wiarygodność włączonych przypadków, lecz nie usuwa nierównego pokrycia.

Tłumaczenie wprowadza kolejny poziom decyzji. Lokalne określenie grupy, organu bezpieczeństwa, rodzaju broni albo statusu ofiary może nie mieć prostego odpowiednika. Termin używany propagandowo przez jedną stronę bywa przetłumaczony jako neutralna kategoria, a nazwa miejscowości może wystąpić w kilku transkrypcjach.

Zmiana zasobu językowego powoduje sztuczny trend. Jeżeli projekt od danego roku dodaje monitoring arabskiego, urdu lub języków regionalnych, zaczyna widzieć przypadki wcześniej niedostępne. Wzrost może wystąpić nawet przy stabilnej rzeczywistości. Dokumentacja zbioru powinna więc podawać nie tylko definicję, ale też historię języków i dostawców.

Archiwa mają własną geografię i czas

Materiały internetowe znikają. Lokalny portal kończy działalność, adresy ulegają zmianie, paywall ogranicza dostęp, wyszukiwarka przestaje indeksować starsze strony, a platforma usuwa konto. Źródła drukowane mogą istnieć, lecz nie być przeszukiwalne. Retrospektywne badanie roku 1995 ma inny instrument niż bieżący monitoring roku 2025.

Digitalizacja może pozornie zwiększać dawne zdarzenia, gdy archiwum nagle staje się dostępne. Z kolei współczesna obfitość kopii może poprawiać weryfikację, ale również zwiększać ryzyko uznania wielu powielonych depesz za niezależne potwierdzenia.

Ważna jest proweniencja wiadomości. Dziesięć portali może kopiować jedną depeszę agencyjną lub komunikat strony konfliktu. Liczba adresów nie równa się liczbie niezależnych źródeł. Triangulacja wymaga ustalenia, czy relacje mają odrębnych reporterów, świadków lub dokumenty.

Archiwalna cisza jest wieloznaczna. Może znaczyć brak zdarzenia, brak publikacji, utratę publikacji albo nieskuteczne wyszukiwanie. Badacz powinien unikać zdania „nie było doniesień”, jeśli rzeczywiście może powiedzieć tylko „nie odnaleziono doniesień w określonym zasobie”.

Co wybierają media

Redakcje nie są pasywnym czujnikiem. Ograniczona przestrzeń i uwaga odbiorcy wymuszają wybór. Większą wartość informacyjną mają zwykle zdarzenia śmiertelne, niezwykłe, bliskie geograficznie lub kulturowo, dotyczące znanego miejsca, dające wyraziste obrazy albo pasujące do trwającej debaty. Badania dokładności danych konfliktowych opartych na mediach pokazują, że taki proces selekcji może systematycznie kształtować obserwowany zbiór.6

Na widzialność wpływa dostępność jasnej opowieści. Atak z rozpoznawalną organizacją, manifestem i zatrzymanym podejrzanym łatwiej opisać niż serię niejednoznacznych uszkodzeń infrastruktury. Zdarzenie wymierzone w władzę lub policję może otrzymać więcej uwagi niż podobna szkoda wobec słabo reprezentowanej grupy.

Badanie amerykańskich ataków z lat 2006–2015 wykazało, że ilość relacji wiązała się między innymi z liczbą ofiar, zatrzymaniem sprawcy, celem rządowym lub policyjnym i przypisaniem sprawcy do kategorii muzułmańskiej. Po kontrolowaniu innych cech ta ostatnia kategoria nadal otrzymywała wyraźnie większą uwagę.2 Jest to dowód selekcji w konkretnym systemie medialnym i okresie, nie uniwersalny współczynnik dla całego świata.

Konsekwencja jest podwójna. Obywatel konsumujący wiadomości może przeceniać kategorie częściej nagłaśniane. Badacz liczący artykuły jako miarę wagi zdarzenia może powielić tę samą nierówność pod postacią liczby. Nawet baza, która liczy każdy atak raz, może częściej odkrywać przypadki należące do kategorii o większej widzialności.

Liczba publikacji nie mierzy liczby zdarzeń

Jeden atak może wygenerować tysiące tekstów, a inny tylko krótką notatkę. Suma artykułów mierzy połączenie dotkliwości, zainteresowania, konkurencji między tematami, strategii organizacji i rutyn redakcyjnych. Nie jest naturalną wagą rekordu.

Jeśli do analizy używa się intensywności relacji, trzeba wyjaśnić pytanie. Liczba publikacji może być właściwa przy badaniu uwagi publicznej, agendy mediów lub ekspozycji odbiorców. Nie jest właściwa jako bezpośredni zamiennik częstości terroryzmu.

Nawet jako miara ekspozycji wymaga deduplikacji i określenia zasięgu. Sto kopii tej samej depeszy na małych portalach nie musi docierać do większej liczby ludzi niż jeden materiał telewizyjny. Nagłówek, długość tekstu, pozycja na stronie i czas emisji niosą inne natężenie.

Badanie medialności powinno więc zachować dwa zbiory: zdarzenia i materiały o zdarzeniach. Relacja wiele-do-wielu pozwala analizować, które cechy przewidują uwagę, bez mnożenia samych zamachów przez liczbę kopii.

Tożsamość sprawcy i ramowanie

Kategoria sprawcy może wpływać nie tylko na ilość uwagi, ale też na język. W jednych przypadkach media szybciej stosują ramę terroryzmu i ideologii, w innych koncentrują się na biografii, zdrowiu psychicznym albo odosobnionej patologii. Takie różnice zmieniają później wyniki wyszukiwania słowa „terroryzm”.

Nie należy z tego wyprowadzać prostego nakazu stosowania jednej etykiety wobec każdego aktu przemocy. Kwalifikacja wymaga celu politycznego, społecznego lub religijnego i innych elementów definicji. Standard powinien jednak działać symetrycznie: podobne dowody motywu muszą być oceniane podobnie niezależnie od religii, pochodzenia i koloru politycznego sprawcy.

Praktycznym testem jest analiza ślepa na część cech tożsamości. Koder otrzymuje opis zachowania, celu i dowodów motywu bez nazwiska lub etykiety grupowej, a wynik porównuje się z pełnym kodowaniem. Różnica nie dowodzi automatycznie uprzedzenia, ale wskazuje przypadki wymagające audytu.

W publicznym opisie warto stosować zasady omówione w artykule „Jak pisać o terroryzmie bez propagandy i stygmatyzacji”. Dokładne rozdzielenie sprawcy, organizacji, środowiska i wspólnoty chroni jednocześnie jakość danych i ludzi przed nieuprawnionym uogólnieniem.

Atrybucja nie jest polem zero-jedynkowym

Bezpośredni sprawca może zginąć, uciec albo milczeć. Organizacja może przyznać się oportunistycznie, zaprzeczyć udziałowi albo posługiwać się pośrednikiem. Służby mogą mieć wiedzę niejawną, której nie da się zweryfikować w otwartych źródłach. W pierwszych godzinach relacje są szczególnie podatne na błędną identyfikację.

Pole „sprawca” powinno odróżniać wykonawcę, autora planu, organizację dowodzącą, inspirację ideologiczną i podmiot składający deklarację odpowiedzialności. Te role nie zawsze skupiają się w jednym miejscu. Samotny wykonawca może używać symboliki organizacji bez kontaktu operacyjnego, a grupa może próbować zawłaszczyć zdarzenie.

Brak ustalonego sprawcy nie jest neutralny. Przypadki nieprzypisane mogą częściej dotyczyć określonych taktyk, regionów i okresów. Usunięcie ich z analizy ideologii zmienia mianownik, a automatyczne rozdzielenie proporcjonalnie do znanych sprawców zakłada, że proces atrybucji jest losowy.

Lepszy zapis zachowuje stopień pewności i podstawę: orzeczenie, oficjalne przypisanie, wiarygodne śledztwo dziennikarskie, deklarację odpowiedzialności lub analizę poszlakową. Wykres może pokazać kategorię nieustaloną obok przypisanych, a test czułości sprawdzić, jak zmieniłby się wniosek przy skrajnych rozsądnych alokacjach.

Deklaracja odpowiedzialności jest danymi strategicznymi

Oświadczenie organizacji nie jest niezależnym protokołem zdarzenia. Jest komunikatem mającym budować reputację, zastraszać, mobilizować lub unikać kosztu. Organizacja może przesadzać ze skutkiem, przypisywać sobie cudze działanie albo nie przyznać się do porażki i ofiar niepożądanych.

Weryfikacja deklaracji wymaga zgodności szczegółów, czasu publikacji, wcześniejszych wzorców i dowodów śledczych. Sama obecność logo lub kanału propagandowego nie ustanawia kontroli operacyjnej. Równie ostrożnie trzeba traktować zaprzeczenie, zwłaszcza gdy atak zaszkodził poparciu grupy.

Jeżeli baza koduje deklarację, powinna przechowywać ją jako osobne pole, nie nadpisywać nią automatycznie atrybucji. Pozwala to badać strategię komunikacyjną bez mieszania jej z odpowiedzialnością ustaloną inną drogą.

Niepewność może zmieniać się latami. Wyrok, odtajniony dokument lub nowe badanie łączy dawny przypadek z organizacją. Analiza musi zapisać wersję zbioru i datę pobrania, ponieważ ten sam okres historyczny może otrzymać później inne przypisania.

Definicja prawa zmienia licznik

Rejestry policyjne i sądowe mierzą nie tylko zachowania, ale zachowania ujęte przez obowiązujące prawo i praktykę instytucji. Nowy typ czynu zabronionego, uznanie organizacji za zakazaną, rozszerzenie jurysdykcji albo zmiana obowiązku sprawozdawczego może zwiększyć liczbę zatrzymań oraz spraw bez wzrostu liczby ataków.

Przykład brytyjskich danych z 2025 roku, opisany w artykule „TE-SAT, Global Terrorism Index i dane krajowe”, pokazuje skalę możliwego efektu. Po objęciu Palestine Action zakazem tysiące zatrzymań wiązały się z zachowaniami polegającymi na wspieraniu organizacji. Surowy skok nie oznaczał analogicznego zwielokrotnienia planów zamachów.

Zmiana prawa może działać w przeciwnym kierunku. Przeniesienie określonych czynów do innej kategorii, zawężenie definicji albo rezygnacja z osobnego raportowania obniża serię. Reforma formularza może zmienić liczbę bez zmiany przepisu.

Każdy wykres instytucjonalny potrzebuje osi zdarzeń prawnych i administracyjnych. Jeżeli przełom pokrywa się z reformą, trzeba najpierw testować hipotezę pomiarową. Opowieść o radykalizacji społeczeństwa jest dopiero jedną z możliwych interpretacji.

Aktywność instytucji jest częścią wyniku

Liczba ujawnionych planów zależy od rzeczywistej liczby planów oraz zdolności służb. Więcej udaremnień może oznaczać pogorszenie zagrożenia, poprawę wykrywania albo przeniesienie zasobów do danej kategorii. Mniej może oznaczać spokój lub utratę widoczności.

To klasyczny problem, gdy pomiar jest wytwarzany przez interwencję. Kontrole graniczne wykrywają to, czego szukają, a priorytet śledczy zwiększa liczbę spraw w wybranym obszarze. Statystyka zatrzymań jest zatem jednocześnie informacją o zachowaniach i o aktywności organów.

Nie należy traktować tego jako wady czyniącej dane bezużytecznymi. Dane są właściwe do badania obciążenia instytucji, zastosowania prawa i etapów postępowań. Stają się mylące dopiero wtedy, gdy bez uzasadnienia nazywa się je liczbą sprawców lub poziomem ukrytej gotowości do przemocy.

Pomocne jest łączenie wskaźników z różnych etapów: sygnałów, dochodzeń, udaremnień, prób, ataków i szkód. Jeżeli rośnie tylko wskaźnik zależny od decyzji instytucji, interpretacja musi pozostać ostrożniejsza niż przy zgodnym ruchu wielu niezależnych miar.

Przełomy metodologiczne udają trendy

Zmiana dostawcy danych, wyszukiwarki, liczby źródeł, języków, zespołu kodującego lub kryterium włączenia może utworzyć nieciągłość szeregu. Global Terrorism Database wskazuje między innymi różnicę między retrospektywnym gromadzeniem danych z lat 1998–2007 a procesami stosowanymi wcześniej i później, a także istotne rozszerzenie metod zbierania od 2012 roku.1,3

Taki punkt należy zaznaczyć na wykresie. Mechaniczne obliczenie trendu przez granicę metodologiczną miesza zmianę zjawiska ze zmianą instrumentu. Dodanie zmiennej „po reformie” do modelu może pomóc, lecz nie gwarantuje pełnej korekty, jeśli reforma inaczej wpłynęła na regiony i rodzaje ataków.

Najbezpieczniej prowadzić analizy w okresach jednorodnych metodologicznie, a wynik przekraczający granicę przedstawiać jako test dodatkowy. Jeżeli wniosek istnieje wyłącznie po połączeniu nieporównywalnych faz, jest kruchy.

Dokumentacja wersji jest równie ważna. Bazy otwartych zdarzeń są aktualizowane: dopisują rekordy, zmieniają ofiary, atrybucję i status wątpliwości. Liczba opublikowana pięć lat temu może nie być błędem, choć nie odpowiada dzisiejszej wersji. Bez identyfikatora wydania nie da się odtworzyć analizy.

Zero, brak i brak zastosowania

W arkuszu każda pusta komórka wygląda podobnie, lecz może znaczyć co najmniej trzy rzeczy. Zero oznacza, że cecha została zmierzona i nie wystąpiła. Brak oznacza, że nie udało się ustalić wartości. Brak zastosowania oznacza, że pole nie ma sensu dla danego przypadku.

Jeżeli nie wiadomo, ilu ludzi zostało rannych, wpisanie zera obniża średnią. Jeśli atak nie miał organizacji deklarującej odpowiedzialność, pole nie ma zastosowania; jeśli nie wiadomo, czy deklaracja istniała, wartość jest nieustalona. Połączenie tych stanów niszczy informację.

Brak rekordu państwo–rok też wymaga definicji. W zbiorze z pełną siatką zero może oznaczać brak zarejestrowanych ataków. W pliku zawierającym wyłącznie dodatnie przypadki brak wiersza nie mówi, czy państwo było obserwowane. Najpierw trzeba zrekonstruować zakres zbierania.

Publikacja powinna nazywać zero „zerem zarejestrowanym”, jeśli nie ma podstaw do twierdzenia o pełnej obserwacji. Ta drobna różnica językowa przypomina, że cisza źródeł nie zawsze jest dowodem nieistnienia.

Trzy mechanizmy brakujących danych

W statystyce rozróżnia się braki całkowicie losowe, zależne od innych obserwowanych cech oraz zależne od samej nieobserwowanej wartości. W danych o terroryzmie pierwszy przypadek jest rzadkim, wygodnym wyjątkiem.

Brak może zależeć od obserwowanych cech. Na przykład liczba rannych częściej pozostaje nieznana w strefie konfliktu, a region i typ źródła są zapisane. Model może wtedy częściowo uwzględnić mechanizm, jeśli zawiera te zmienne.

Trudniejsza sytuacja występuje, gdy widzialność zależy od tego, czego właśnie nie znamy. Sprawcy mogą ukrywać porażki, państwo może tłumić wiadomości o dużej kompromitacji, a nieprzypisane ataki mogą systematycznie należeć do określonych grup. Uzupełnienie braków średnią lub typową kategorią daje wtedy fałszywe poczucie rozwiązania.

Zamiast twierdzić, że jeden model „naprawił” braki, należy określić założenie i wykonać analizę czułości. Wynik można policzyć przy kilku mechanizmach: braku losowym, większej niewidoczności określonej klasy i skrajnych rozsądnych przypisaniach. Różnica między wariantami jest informacją o zależności wniosku od niewidocznej części danych.

Błąd klasyfikacji

Rekord może istnieć, ale znaleźć się w niewłaściwej kategorii. Błąd klasyfikacji dotyczy statusu terroryzmu, ideologii, rodzaju celu, taktyki i relacji z organizacją. Może być losowy albo systematyczny.

Wczesny komunikat po wybuchu często nie zna motywu. Późniejsze śledztwo może wykazać wypadek, wymuszenie, przestępstwo z nienawiści, zabójstwo osobiste albo cel polityczny. Jeżeli baza zachowuje wyłącznie pierwszą etykietę, szybkość staje się źródłem błędu.

Kategorie ideologiczne zmieniają się także historycznie. To samo środowisko może być w jednym okresie opisane jako nacjonalistyczne, w innym jako separatystyczne, prawicowe lub religijne. Automatyczne porównanie etykiet zakłada stabilność, której nie musi być.

Dobry kodeks opisuje reguły przypadków mieszanych i zachowuje niepewność. Dobre badanie powtarza obliczenia po wyłączeniu przypadków granicznych oraz po rozsądnym alternatywnym kodowaniu. Jeżeli niewielka liczba sporów odwraca wniosek, należy to powiedzieć.

Łączenie i dzielenie zdarzeń

Jedna operacja może obejmować kilka miejsc, wiele urządzeń i następujące po sobie ataki. Baza musi zdecydować, czy tworzy jeden rekord czy kilka. Z kolei podobne doniesienia z sąsiednich miejsc mogą opisywać ten sam wybuch.

Reguła agregacji wpływa na liczbę incydentów, lecz niekoniecznie na sumę ofiar. Seria dziesięciu skoordynowanych ataków może być liczona jako dziesięć zdarzeń albo jedna operacja. Porównanie źródeł bez poznania reguły błędnie przypisze różnicę rzeczywistości.

Problem staje się poważniejszy przy analizie „częstotliwości ataków organizacji”. Grupa stosująca skoordynowane uderzenia może wyglądać aktywniej w bazie rozbijającej lokalizacje. Dlatego w wielu pytaniach warto zachować dwa poziomy: rekord taktyczny i kampanię lub operację.

Relacje między incydentem, spiskiem i szerszą strukturą wyjaśnia artykuł „Incydent, spisek, kampania, organizacja i ruch”. Nie jest to wyłącznie sprawa nazewnictwa; wybór poziomu określa mianownik całej analizy.

Data i miejsce również są niepewne

Data może oznaczać rozpoczęcie ataku, odkrycie urządzenia, śmierć ofiary albo publikację wiadomości. Zdarzenie trwające kilka dni wymaga reguły przypisania. Przesunięcie o jeden dzień ma małe znaczenie roczne, ale może zmienić analizę reakcji na konkretną decyzję.

Geokodowanie bywa przybliżone do centrum gminy, powiatu lub prowincji. Punkt na mapie wygląda precyzyjnie nawet wtedy, gdy źródło mówi jedynie „w pobliżu miasta”. Obliczanie odległości do infrastruktury z takiej współrzędnej może stworzyć pozorną zależność.

Należy przechowywać poziom dokładności miejsca, a nie tylko szerokość i długość. Analiza przestrzenna może wyłączyć rekordy o niskiej precyzji albo liczyć wyniki w większych jednostkach administracyjnych. Wrażliwe lokalizacje nie powinny być publikowane dokładniej, niż wymaga interes publiczny.

Granice administracyjne i nazwy miejsc zmieniają się w czasie. Współczesne przypisanie historycznych zdarzeń może ułatwić porównanie, ale nie powinno usuwać oryginalnego kodu. Inaczej nie da się odtworzyć, czy różnica wynika z wydarzeń, czy z rekonstrukcji mapy.

Ofiary nie są liczone natychmiast

Pierwsza informacja o liczbie zabitych i rannych jest prowizoryczna. Osoby uznane za zaginione zostają odnalezione, ranni umierają później, a źródła różnie zaliczają sprawców. W ataku obejmującym pożar lub zawalenie identyfikacja może trwać długo.

Porównując bazy, trzeba sprawdzić, czy liczba zabitych obejmuje sprawców oraz zgony późniejsze. Wskaźnik śmiertelności zmienia się, gdy jedna baza liczy napastnika, a druga wyłącznie ofiary. Przy małych liczbach różnica jednego przypadku ma duży wpływ.

Liczba rannych jest zwykle mniej pewna niż liczba zabitych. Może obejmować tylko hospitalizowanych, także pomoc ambulatoryjną albo skutki pośrednie. Psychicznych następstw nie należy mechanicznie dodawać do obrażeń fizycznych bez osobnej definicji.

Wynik powinien wskazywać datę aktualizacji i regułę liczenia. Przy zdarzeniach o wysokiej niepewności lepszy jest przedział lub kilka wartości źródłowych niż arbitralna średnia wyglądająca na rozstrzygnięcie.

Błąd przetrwania organizacji

Survival bias, czyli błąd przetrwania, powstaje wtedy, gdy badamy podmioty widoczne dlatego, że przetrwały wystarczająco długo. Znane organizacje pozostawiają manifesty, strukturę, wiele ataków i literaturę. Grupy, które szybko się rozpadły, zostały zatrzymane przed działaniem albo nigdy nie stworzyły rozpoznawalnej marki, są słabiej udokumentowane.

Jeżeli z istniejących organizacji wyprowadzimy „warunki sukcesu”, możemy pomylić przyczynę z warunkiem selekcji. Hierarchia, propaganda lub finansowanie występują u ocalałych, lecz podobne cechy mogły mieć liczne grupy, które upadły. Bez porównania nie wiadomo, co odróżniało wynik.

Ten błąd dotyczy również dokumentów. Organizacje sprawne komunikacyjnie dostarczają materiału do analizy ideologii, podczas gdy mniej sprawne pozostają nieme. Badacz może uznać rozbudowaną doktrynę za typową cechę terroryzmu, choć jest ona cechą podmiotów skutecznych w autoprezentacji.

Poprawnym projektem jest zdefiniowanie kohorty na początku procesu, na przykład wszystkich wykrytych grup działających w określonym miejscu i czasie, a następnie obserwowanie ich losów. Gdy nie jest to możliwe, trzeba ograniczyć wniosek do „dobrze udokumentowanych organizacji”, zamiast mówić o wszystkich.

Pułapka badania tylko udanych zamachów

Ataki zakończone dużą szkodą są najlepiej widoczne i najczęściej analizowane. Dają szczegółową chronologię, materiał sądowy i pytanie o zawiedzione zabezpieczenia. Nie tworzą jednak reprezentatywnej próby wszystkich prób.

Jeżeli wybieramy przypadki dlatego, że zabezpieczenie zawiodło, odnajdziemy w nich wiele zawodzących zabezpieczeń. Nie dowiemy się, jak często te same słabości występowały bez ataku ani które warstwy ochrony codziennie zatrzymywały inne plany. Jest to selekcja według zmiennej wynikowej.

Analiza „co łączy skuteczne zamachy” może wskazać cechy powszechne również w nieudanych próbach: prostą technikę, rozpoznanie celu, komunikację lub wcześniejszą aktywność. Dopiero grupa porównawcza pokazuje, czy cecha zwiększała prawdopodobieństwo przejścia kolejnego etapu.

Projekt START porównujący zamachy udaremnione, nieudane, dokonane i w pełni skuteczne traktuje te stany jako odrębne rezultaty procesu.4 Takie podejście pozwala pytać, gdzie plan się zatrzymał, zamiast wrzucać wszystko do dwóch nieprecyzyjnych kategorii „był” i „nie było”.

Udaremniony, nieudany, dokonany i skuteczny

„Udaremniony” opisuje interwencję przed wykonaniem. „Nieudany” może oznaczać rozpoczętą próbę, w której technika zawiodła albo wykonawca nie osiągnął celu. „Dokonany” mówi, że atak przeszedł do fazy wykonania, ale nie musi oznaczać realizacji wszystkich zamierzeń. „Skuteczny” wymaga zdefiniowania skutku: detonacji, ofiar, zakłócenia, rozgłosu czy celu strategicznego.

Te kategorie nie są naturalnymi stałymi. Służby nie znają każdego udaremnionego planu, a badacz może nie znać zamiaru wykonawcy. Atak bez ofiar mógł osiągnąć cel komunikacyjny, zaś masowa szkoda mogła politycznie zaszkodzić organizacji.

Najbardziej informacyjny jest model etapów: powstanie zamiaru, przygotowanie, pozyskanie zdolności, podejście do celu, rozpoczęcie wykonania, skutek fizyczny i skutek strategiczny. Każdy etap ma inne mechanizmy selekcji i możliwe zabezpieczenia.

Porównanie powinno stosować wspólne okno miejsca i czasu. Udaremnione plany pochodzące z innego państwa niż dokonane ataki mogą różnić się systemem wykrywania bardziej niż sprawcami. Dopasowanie nie usuwa wszystkich różnic, ale ogranicza pomylenie kontekstu z przyczyną.

Potrzebny jest mianownik

Liczba zdarzeń bez populacji odniesienia rzadko odpowiada na pytanie o ryzyko. Sto ataków na tysiące obiektów i miliony ekspozycji znaczy co innego niż sto ataków na niewielką liczbę celów. Mianownikiem może być ludność, czas, liczba podróży, obiektów, wydarzeń, organizacji albo wykrytych planów.

Wybór mianownika wynika z mechanizmu. Dla ryzyka pasażera właściwa może być liczba podróży, dla obciążenia szpitali liczba ofiar, a dla skuteczności warstwy ochrony liczba prób docierających do tej warstwy. Liczba mieszkańców jest łatwo dostępna, ale nie zawsze reprezentuje ekspozycję.

Ukryty mianownik szczególnie szkodzi analizie cech sprawców. Jeżeli badamy tylko osoby zatrzymane, nie znamy populacji osób o podobnych cechach, które nie planowały przemocy, ani sprawców niewykrytych. Procent wśród zatrzymanych nie jest prawdopodobieństwem dla całej grupy społecznej.

W razie braku dobrego mianownika lepiej przedstawić liczbę i jasno ograniczyć pytanie niż produkować iloraz o pozornej porównywalności. Mianownik zastępczy powinien mieć uzasadniony związek z ekspozycją oraz własny opis błędu.

Cenzurowanie najnowszych spraw

Niedawne postępowania nie miały czasu dojść do zarzutu, procesu i prawomocnego wyroku. Jeżeli porównamy odsetek skazań dla zatrzymań sprzed dziesięciu lat i z ostatniego roku, nowsza kohorta będzie wyglądała gorzej tylko dlatego, że wiele spraw pozostaje otwartych.

Jest to cenzurowanie prawostronne: znamy początek, lecz nie obserwowaliśmy jeszcze końca. Rozwiązaniem jest śledzenie kohort, zastosowanie metod czasu do zdarzenia albo wybór okresu, dla którego wynik w większości dojrzał.

Podobny problem dotyczy atrybucji i liczby ofiar. Najnowsze przypadki mają więcej wartości nieustalonych i prowizorycznych. Wykres ostatnich miesięcy może później zostać zrewidowany w górę lub w dół.

Raport powinien oznaczać obszar niepełny i podawać datę zamknięcia danych. Porównanie „rok do roku” wykonane w połowie bieżącego roku wymaga analogicznego okna oraz uwzględnienia opóźnienia raportowania, a nie zestawienia półrocza z pełnym rokiem.

Stronniczość publikacji badań

Selekcja działa także po stronie nauki. Analizy wykazujące silny, nowy związek mają większą szansę publikacji niż wyniki zerowe. Badacz może wypróbować wiele definicji, okresów i modeli, a pokazać ten, który przekroczył próg istotności.

W terroryzmie mała liczba rzadkich zdarzeń i duża liczba potencjalnych wyjaśnień zwiększają to ryzyko. Jedno wydarzenie masowe może napędzać cały wynik. Po jego usunięciu relacja znika, lecz publikacja przedstawia uśredniony współczynnik.

Ochroną jest prerejestracja hipotez, udostępnienie kodu, pokazanie wszystkich rozsądnych specyfikacji i replikacja na innym okresie lub zbiorze. Analiza eksploracyjna jest cenna, jeśli zostaje nazwana eksploracyjną i nie udaje wcześniejszej hipotezy.

Przegląd literatury powinien szukać wyników zerowych, raportów technicznych i różnic między bazami. Zgodność wielu artykułów używających tego samego źródła nie jest niezależną replikacją błędu źródła.

Triangulacja nie polega na głosowaniu baz

Zestawienie kilku baz może ujawnić przypadki pominięte i różnice kodowania. Nie wystarczy jednak uznać, że zdarzenie jest prawdziwe, jeśli występuje w dwóch z trzech zbiorów. Bazy mogą korzystać z tej samej depeszy albo przejmować od siebie dane.

Najpierw trzeba porównać definicje, zakres, jednostkę i proweniencję. Następnie można dopasować rekordy i sklasyfikować rozbieżności: brak przypadku, różna liczba zdarzeń w operacji, inna atrybucja, inny status wątpliwości lub różne ofiary.

Badania integrujące zbiory zdarzeń pokazują, że wybór źródła może zmieniać obraz natężenia i rozkładu przemocy.5 Meta-zbiór zwiększa pokrycie, lecz dziedziczy niezgodności. Połączenie nie tworzy automatycznie prawdy.

Najbardziej użyteczny produkt triangulacji zachowuje identyfikatory źródłowe i informację o zgodności. Badacz może wtedy policzyć wynik dla rdzenia obecnego w wielu niezależnych źródłach, dla pełnej unii przypadków oraz dla poszczególnych baz. Stabilność w tych wariantach wzmacnia wniosek.

Estymacja niewidocznej liczby zdarzeń

Metody capture–recapture, wywodzące się z badań populacji, próbują oszacować przypadki niewidoczne na podstawie nakładania się niezależnych list. Jeżeli dwa systemy wykrywają część tych samych zdarzeń, stopień pokrycia może informować o populacji poza obiema listami.

W zastosowaniu do przemocy założenia są wymagające. Źródła często nie są niezależne: media cytują policję, bazy korzystają z tych samych agencji, a spektakularny atak ma wysoką szansę wejścia wszędzie. Prawdopodobieństwo wykrycia jest bardzo nierówne, a dopasowanie rekordów niepewne.

Prosty wzór może wtedy drastycznie zaniżyć lub zawyżyć brakującą populację. Modele wielolistowe i warstwowanie według regionu oraz dotkliwości pomagają, ale nie usuwają zależności źródeł.

Takie oszacowanie powinno być przedstawione jako wynik modelu pod warunkami, z szerokim przedziałem i testami alternatywnych zależności. Nie należy dopisywać oszacowanych przypadków do mapy tak, jakby znano ich miejsca i sprawców.

Macierz błędów i odpowiedzi

Jednoznaczne rozpoznanie rodzaju błędu pomaga dobrać test. „Dane są niedoskonałe” jest zbyt ogólne, aby kierować analizą.

Mechanizm Typowy objaw Test lub materiał kontrolny Rozsądna odpowiedź
nierówna widzialność medialna nadmiar zdarzeń śmiertelnych, miejskich i politycznie głośnych porównanie mediów lokalnych, agencyjnych i rejestrów instytucji warstwowanie, opis pokrycia i ograniczenie wniosku
zmiana systemu zbierania nagły skok obejmujący wiele kategorii od jednej daty dokumentacja wersji, liczba źródeł i języków osobne okresy, oznaczenie przełomu i test bez granicy
niejednoznaczna atrybucja duży lub zmienny udział sprawców nieustalonych audyt podstaw przypisania i późniejszych aktualizacji osobna kategoria, poziom pewności i skrajne alokacje
zmiana prawa lub priorytetu skok zatrzymań bez podobnego wzrostu szkód kalendarz ustaw, zakazów i operacji rozdzielenie aktywności instytucji od ataków
duplikacja źródeł wiele publikacji o identycznym brzmieniu rekonstrukcja pierwotnej depeszy i dopasowanie rekordów deduplikacja oraz zachowanie relacji między kopiami
błąd przetrwania próba złożona z dużych, długowiecznych organizacji poszukiwanie grup krótkotrwałych i planów udaremnionych kohorta od wspólnego początku i ostrożny zakres wniosku
selekcja udanych ataków wnioski wyłącznie z przypadków przełamania ochrony grupa prób nieudanych i udaremnionych model etapów oraz porównanie wyników
braki zależne od zjawiska nieznane ofiary lub sprawcy skupione w konfliktach mapa braków według miejsca, taktyki i źródła analiza czułości zamiast jednego uzupełnienia
niedokładna geolokalizacja skupienia w centrach jednostek administracyjnych pole dokładności współrzędnych większa skala przestrzenna lub wyłączenie rekordów
niedojrzałe sprawy gorsze wyniki najnowszych kohort rozkład opóźnień do rozstrzygnięcia analiza kohortowa i cenzurowanie prawostronne

Tabela nie jest automatycznym algorytmem korekty. Ten sam objaw może mieć kilka przyczyn. Nagły skok po reformie systemu może być równocześnie rzeczywistą falą ataków, dlatego potrzebne są źródła niezależne od zmienionego instrumentu.

Testy czułości

Test czułości pyta, czy wniosek utrzymuje się po zmianie rozsądnych założeń. Nie chodzi o wypróbowanie dowolnie wielu modeli, aż pojawi się pożądany wynik. Warianty powinny odpowiadać rozpoznanym mechanizmom błędu.

Jeżeli sporna jest definicja terroryzmu, analizę liczy się dla rdzenia przypadków pewnych, zbioru rozszerzonego i wariantu wyłączającego zdarzenia podczas wojny. Jeżeli problemem jest atrybucja, pokazuje się wyniki bez nieustalonych oraz przy ich skrajnych rozsądnych przypisaniach. Jeżeli metoda zbierania zmieniła się w 2012 roku, test obejmuje okres po zmianie i model z wyraźną granicą.

W przypadku liczby ofiar można użyć wartości minimalnych, maksymalnych i najlepszych oszacowań. Dla geolokalizacji można zwiększać promień albo agregować do regionu. Dla mediów można porównać źródła lokalne, krajowe i międzynarodowe zamiast łączyć je w jeden niejawny koszyk.

Wyniki najlepiej przedstawić jako zbiór wariantów. Jeśli znak i znaczenie praktyczne pozostają podobne, wniosek jest odporniejszy. Jeśli zależą od jednego wyboru, właściwym rezultatem jest opis zależności, nie wybór najwygodniejszej specyfikacji.

Krzywa specyfikacji

W złożonej analizie istnieje wiele dopuszczalnych decyzji: lata, państwa, definicja, sposób ważenia, przypadki graniczne, rodzaj modelu i zestaw zmiennych. Krzywa specyfikacji pokazuje wyniki wszystkich wcześniej określonych, merytorycznie obronnych kombinacji.

Taki wykres ujawnia, czy efekt jest powszechny, czy występuje tylko w wąskim fragmencie przestrzeni decyzji. Nie zastępuje oceny jakości wariantów; absurdalny model nie staje się wartościowy dlatego, że jest jednym z wielu.

Decyzje należy określić przed obejrzeniem końcowego układu, a najlepiej prerejestrować. Inaczej analityk może nieświadomie uznać za „rozsądne” głównie warianty zgodne z oczekiwaniem.

Dla tekstu popularnonaukowego nie trzeba publikować setek współczynników. Wystarczy podać, które trzy lub cztery decyzje najmocniej zmieniają rezultat i dlaczego. Czytelnik otrzymuje wtedy mapę niepewności zamiast dekoracyjnego przedziału.

Kontrole negatywne i placebo

Kontrola negatywna sprawdza relację, która według mechanizmu nie powinna występować. Jeśli reforma monitoringu rzekomo zwiększyła wykrywanie konkretnej kategorii, warto zobaczyć, czy w tym samym momencie rosną również niepowiązane kategorie korzystające z tych samych źródeł. Wspólny skok sugeruje zmianę instrumentu.

Test placebo przesuwa datę interwencji na okres wcześniejszy lub późniejszy. Jeżeli podobny „efekt” pojawia się dla wielu fikcyjnych dat, model prawdopodobnie myli naturalną zmienność z przyczyną.

Można też użyć wyniku mniej zależnego od widzialności. Jeżeli liczba drobnych incydentów rośnie po rozszerzeniu źródeł, ale liczba zdarzeń masowych pozostaje stabilna, jest to zgodne z poprawą pokrycia mniejszych przypadków. Nie dowodzi jej samo, lecz wzmacnia diagnozę.

Kontrole powinny wynikać z procesu pomiaru. Mechaniczne dodanie przypadkowej zmiennej nie zastępuje wiedzy o tym, kto tworzył dane i jak zmieniła się jego praca.

Audyt ręczny i zgodność koderów

Nawet dobrze udokumentowany zbiór warto sprawdzić na próbce źródeł pierwotnych. Próba powinna obejmować rekordy typowe, nieustalone, skrajne oraz po obu stronach ważnego przełomu. Sam wybór najgłośniejszych przypadków nie testuje codziennego procesu.

Dwóch niezależnych koderów może ponownie ocenić kwalifikację, sprawcę, cel i ofiary. Procent zgodności jest intuicyjny, ale przy bardzo nierównych kategoriach warto użyć miary uwzględniającej zgodność przypadkową. Najważniejsze jest jednak jakościowe zbadanie źródeł sporów.

Rozbieżność nie zawsze znaczy, że jeden koder popełnił błąd. Może ujawniać niejasną instrukcję, konflikt źródeł lub kategorię, która nie pasuje do zjawiska. Kodeks należy poprawić, a wcześniejsze rekordy objęte zmianą zakodować ponownie.

Audyt powinien być ślepy na hipotezę tam, gdzie to możliwe. Osoba wiedząca, że badanie oczekuje wzrostu określonej ideologii, może nieświadomie rozstrzygać przypadki mieszane zgodnie z kierunkiem wyniku.

Jawne raportowanie braków

Tabela wynikowa powinna pokazywać, ile przypadków początkowo znaleziono, ile wyłączono i dlaczego, jak wiele ma nieustalonego sprawcę, cel, liczbę ofiar lub miejsce. Jedna liczba „N” nie wystarcza, jeżeli każda analiza korzysta z innej części rekordów.

Diagram przepływu może przedstawić wyszukiwanie, deduplikację, ocenę definicji i końcową próbę. Przy aktualizowanej bazie trzeba dodać wersję, datę dostępu i ewentualny identyfikator zapytania.

Niepewność należy opisywać na dwóch poziomach. Przedział statystyczny dotyczy zmienności modelu przy przyjętych danych. Nie obejmuje automatycznie niewidocznych zdarzeń, złej atrybucji ani zmiany definicji. Te elementy wymagają osobnych wariantów i komentarza.

Fałszywa precyzja pojawia się, gdy wynik ma kilka miejsc po przecinku, choć mianownik jest niepełny, a kilkanaście przypadków spornych zmienia kierunek. Zaokrąglenie nie naprawia problemu, ale właściwa liczba cyfr i jawny zakres zapobiegają sugerowaniu wiedzy, której nie ma.

Przykład: wzrost po rozszerzeniu monitoringu

Wyobraźmy sobie bazę, która przez pięć lat korzysta z dwóch gazet krajowych, a następnie dodaje kilkadziesiąt portali lokalnych. W pierwszym roku po zmianie liczba zarejestrowanych podpaleń infrastruktury rośnie o 70 procent, liczba masowych ataków pozostaje stała, a średnia liczba ofiar na rekord spada.

Interpretacja „gwałtowna fala podpaleń” jest możliwa, ale nie jedyna. Wzorzec jest zgodny z odkryciem mniejszych zdarzeń, które wcześniej nie przekraczały progu mediów krajowych. Potrzebne jest odtworzenie, ile nowych rekordów pochodzi wyłącznie z dodanych źródeł.

Analizę należy policzyć dla stałego koszyka dwóch gazet oraz dla pełnego nowego systemu. Jeżeli wzrost występuje tylko w pełnym koszyku, nie wolno łączyć serii bez oznaczenia. Pełniejszy poziom jest prawdopodobnie lepszym opisem nowego okresu, ale nie tworzy porównywalności wstecz.

Można retrospektywnie przeszukać archiwa lokalne dla wcześniejszych lat. Taka rekonstrukcja ma sens, jeśli dostępność archiwów i wyszukiwanie są dostatecznie podobne. W przeciwnym razie tworzy kolejną serię z własnym zakresem.

Przykład: spadek udziału nieustalonych

W pierwszej dekadzie sprawca pozostaje nieustalony w 45 procentach rekordów, a w drugiej w 15 procentach. Udział ataków przypisanych określonej ideologii rośnie z 20 do 35 procent. Na pierwszy rzut oka ideologia zyskuje znaczenie.

Jednak liczba przypisanych jej ataków może być stabilna, a wzrost udziału wynikać z lepszej identyfikacji sprawców. Może też wystąpić zmiana reguły, która pozwala przypisywać przypadki na podstawie słabszych dowodów.

Trzeba pokazać liczbę bezwzględną, udział wśród wszystkich rekordów, udział wśród przypadków przypisanych oraz udział nieustalonych. Następnie należy ujednolicić próg dowodowy lub przeprowadzić audyt próbki z obu okresów.

Wniosek może brzmieć: „wzrosła liczba przypadków klasyfikowanych w tej kategorii, równocześnie zmniejszył się udział nieustalonych”. Jest mniej efektowny niż opowieść o zmianie zagrożenia, ale dokładniej oddaje wiedzę.

Przykład: ochrona analizowana tylko po porażce

Badacz zbiera dwadzieścia ataków na obiekty publiczne, w których sprawca dostał się do strefy chronionej. W piętnastu przypadkach brakowało kontroli wejścia. Wyciąga wniosek, że kontrola wejścia jest główną cechą odróżniającą obiekty podatne.

W próbie nie ma jednak tysięcy obiektów bez ataku ani planów zatrzymanych wcześniej. Nie wiadomo, jak często brak kontroli występował w obiektach, których nikt nie wybrał, oraz jak często inne zabezpieczenia zatrzymały sprawcę.

Wniosek opisowy pozostaje prawdziwy: w piętnastu badanych porażkach kontroli nie było. Nie wolno go przekształcać w oszacowanie skuteczności ani przyczynę wyboru celu. Potrzebna jest grupa porównawcza obiektów o podobnej funkcji i ekspozycji oraz dane o próbach na wcześniejszych etapach.

Lekcja z porażki nadal może wspierać audyt. Powinna być formułowana jako hipoteza i scenariusz ochronny, nie jako dowód, że pojedynczy środek zapobiegłby określonemu odsetkowi ataków.

Minimalny protokół analityczny

Lista jest przeznaczona do użycia jako kontrola przed publikacją:

  • zdefiniuj jednostkę, populację docelową, okres i etap procesu;
  • opisz łańcuch od zdarzenia do rekordu oraz instytucje w każdym ogniwie;
  • zapisz wersję bazy, datę pobrania, języki, dostawców i kryteria źródeł;
  • rozdziel zero, brak informacji i brak zastosowania;
  • pokaż udział przypadków nieustalonych oraz nie przypisuj ich automatycznie;
  • oznacz zmiany definicji, prawa, formularza, zespołu i metody wyszukiwania;
  • sprawdź duplikaty, regułę łączenia operacji, dokładność czasu i miejsca;
  • nie traktuj liczby publikacji jako liczby ataków ani wagi szkody;
  • porównaj przypadki udane, nieudane i udaremnione, jeśli pytanie dotyczy sukcesu;
  • dobierz mianownik do ekspozycji, a nie do łatwości pozyskania danych;
  • uwzględnij cenzurowanie najnowszych spraw i opóźnienie raportowania;
  • wykonaj testy czułości dla definicji, braków, źródeł, okresów i atrybucji;
  • zbadaj próbkę ręcznie i opisz zgodność koderów;
  • rozróżnij niepewność statystyczną od niepewności pokrycia i klasyfikacji;
  • opublikuj przepływ wyłączeń, ograniczenia oraz warianty zmieniające wniosek.

Protokół nie gwarantuje pełnej obserwacji. Sprawia, że granice wiedzy stają się częścią wyniku i można ocenić, czy decyzja opiera się na danych odpornych na najważniejsze błędy.

Jak czytać rozbieżne liczby

Gdy dwa wiarygodne źródła podają inne wartości, pierwszym pytaniem nie powinno być, które „się myli”. Trzeba porównać definicję, datę zamknięcia, jednostkę, zakres terytorialny, status przypadków i regułę ofiar. Rozbieżność często jest przewidywalnym skutkiem odmiennych pytań.

Następnie warto dopasować rekordy. Różnica stu zdarzeń może pochodzić z dziewięćdziesięciu przypadków obecnych tylko w jednym zbiorze i dziesięciu operacji inaczej podzielonych. Te mechanizmy wymagają innych odpowiedzi.

Jeżeli źródła pozostają nierozstrzygalne, nie należy wybierać liczby, która lepiej pasuje do narracji. Można podać obie wartości, zakres wspólny i powód różnicy. W analizie warto policzyć wynik na każdym zbiorze.

Rozbieżność jest daną o systemie pomiaru. Pokazuje, gdzie definicje są kruche, źródła nierówne lub atrybucja niedojrzała. Ukrycie jej w średniej usuwa właśnie tę informację.

Standard końcowy

Dane o terroryzmie są wytwarzane przez sekwencję obserwacji, publikacji, wyszukiwania, kwalifikacji i kodowania. Każdy etap może selekcjonować przypadki według dotkliwości, miejsca, języka, tożsamości sprawcy i interesu instytucji. Zarejestrowana liczba jest dlatego połączeniem zjawiska i zdolności jego widzenia.

Niedoszacowanie nie ma jednego uniwersalnego współczynnika. Państwo otwarte może wyglądać gorzej, strefa konfliktu może tracić małe przypadki, a rozszerzenie źródeł może tworzyć wzrost. Liczba tekstów prasowych mierzy uwagę, nie liczbę ataków. Pole „nieustalone” jest ważną kategorią wiedzy, nie odpadem do automatycznego podziału.

Błąd selekcji trwa także podczas analizy. Organizacje, które przetrwały, nie reprezentują grup, które zniknęły. Udane zamachy nie reprezentują planów zatrzymanych, prób technicznie nieudanych i codziennych sytuacji bez ataku. Wniosek o skuteczności wymaga mianownika oraz przypadków porównawczych z wcześniejszych etapów.

Rzetelność nie polega na udawaniu, że braków nie ma. Polega na rozpoznaniu mechanizmu, zachowaniu wersji i proweniencji, ręcznym audycie oraz obliczeniu wyniku przy alternatywnych, uzasadnionych założeniach. Jeżeli wniosek zmienia się wraz z definicją lub kilkoma przypadkami, właśnie to jest najważniejszą informacją.

Źródła