Categorieën
Archief Kennisparels

[87] 5 augustus 2020: Is drawing from the state ‘state of the art’?: A review of organised crime research data collection and analysis, 2004–2018

Inleiding en context

Woensdagochtend 5 augustus 2020, en alweer een nieuwe ´kennisparel´ in de mail. Dit keer een zeer kritische synthese over de (methodische) kwaliteit van verricht onderzoek naar het fenomeen van georganiseerde criminaliteit over een periode van 15 jaar. Vanwege het karakter van illegale markten voor illegale activiteiten is het lastig om betrouwbare schattingen te maken. Vanwege de aard van de activiteiten is (statistische) informatie hierover vaak net zo ’verborgen’ als de activiteiten zelf. Dit betekent dat de omvangschattingen van georganiseerde criminaliteit omgeven zijn door grote onzekerheidsmarges.

Er is sprake van mistige markten, we weten nauwelijks wat de ernst, omvang en trends zijn. Deels wordt dat veroorzaakt door de zeer eenzijdige manier waarop (criminologisch) onderzoek wordt verricht naar het fenomeen van georganiseerde criminaliteit. Primair wordt gebruik gemaakt van ´overheidsdata´ en ´politiedata´ in combinatie met meer ´journalistieke informatie´. En dan ontstaat er een probleem voor wat betreft de validiteit van de uitkomsten van veel onderzoek rond ´georganiseerde criminaliteit´. Bijgesloten overzicht biedt een beargumenteerd overzicht van de tekortkomingen van het huidige onderzoek naar georganiseerde criminaliteit.

Bron

Windle, James & Andrew Silke (2019). Is drawing from the state ‘state of the art’?: A review of organised crime research data collection and analysis, 2004–2018. Trends in Organized Crime, vol. 22, pp. 394-413. https://link.springer.com/article/10.1007/s12117-018-9356-5

Samenvatting

This paper presents a systematic review of organised crime data collection and analysis methods. It did this by reviewing all papers published in Trends in Organized Crime and Global Crime between 2004 and 2018 (N = 463). The review identified a number of key weaknesses. First, organised crime research is dominated by secondary data analysis of open-access documents, and documents are seldom subjected to the same principles guiding primary data collection methods. Second, data analysis lacked balance with a distinct lack of inferential statistical analysis. Third, there was a significant absence of victim or offender voices with an overreliance on data from state bodies and the media. The paper concludes that organised crime, as field of research, appears unbalanced by reliance upon a small number of methods and sources. Rebalancing the field requires more organised crime researchers to speak to offenders and victims, employ greater use of statistical analysis and tighten our methodologies.

From this review we can identify a number of key issues limiting organised crime research. First, while organised crime researchers have used a considerable range of data collection methods and sources, secondary analysis of open-access documents has overwhelmingly dominated the field. In addition, data analysis has been predominantly qualitative. The lack of statistical analysis may partly reflect both the absence of primary survey data collection and, the paucity and weakness of official statistical data on organised crime.

The second, and most damming limitation, is the overuse of data from the state and media, and underuse of offender and victim perspectives. The result is a field lacking balance, which appears to ‘obediently follow the beaten track of popular imaginary and official parlance’. This is not to say that we should not interview state officials or use state documents and data. Indeed, many classic and scientifically rigorous studies have relied partially or solely on official sources: some of the strongest studies have triangulated accounts from a range of perspectives. Nevertheless, for the field to thrive it must balance the official and media version of events with that of offenders and victims. In particular, the distinct lack of victimisation surveys may be the most pressing concern here.

Third, the field appears somewhat lackadaisical about scientific rigour. This is most apparent in the lack of a described methodology in over half of all published papers, coupled with the failure to elucidate interview type for the majority of studies involving some interviews, and the failure to specify the number of participants for many more. The lack of basic methodological discussion prevents readers from critically assessing the validity of the research or hinders attempts to replicate the study.

This article is not lobbying for any one method of data collection or analysis. A healthy field will employ a wide range of methods, both qualitative and quantitative. Nor is it trying to minimise the scholarly importance of document research or state-generated data (both authors have used these sources in their own work). Equally, empirical research or inferential statistics are not markers for success: poorly designed and executed research contributes little to the knowledgebase, and could produce unintended negative consequences. Our findings are not critical of any one published article, but rather of a field of research which when considered en masse appears unbalanced by a reliance upon a small number of methods and sources. Rebalancing the field requires more organised crime researchers to speak to offenders and victims, to employ greater use of statistical analysis and to apply more rigour to our methodologies.

Afsluitend

Diplomatiek kunnen we opmerken dat er ruimte is voor verbetering van de huidige situatie naar de (methodische) kwaliteit van het onderzoek naar georganiseerde misdaad. Ik doe daar zelf ook een aantal voorstellen en suggesties voor.

  • Vanwege het dynamische karakter van criminaliteitsmarkten is het ook van belang om vanuit het ’daderperspectief’ te kijken. De (georganiseerde) criminaliteitsmarkt is dynamisch van karakter, omdat nieuwe criminaliteitsfenomenen ontstaan als gevolg van maatschappelijke en technologische ontwikkelingen. Hierbij kan gedacht worden aan vormen van onlinecriminaliteit, verdergaande internationalisering van (georganiseerde) criminaliteit, toegenomen risico’s voor ontwrichting van intellectueel eigendom door de reikwijdte van internet, en organisatiecriminaliteit (bijv. manipulatie van geldstromen in de financiële sector). Daders reageren hierop en passen zich aan, er sprake van een crimineel adaptievermogen. Naast een beschrijving van criminaliteitsfenomenen is het voor een effectieve aanpak noodzakelijk om inzicht te verkrijgen hoe daders zich aanpassen en reageren op preventieve en repressieve maatregelen.
  • Een stap in de goede richting van onderzoek kan worden gevonden in een systematische toepassing van ‘triangulatie’, dat is  het combineren van verschillende onderzoekmethoden of databronnen. Gegevens uit verschillende bronnen worden bij elkaar worden gebracht, die gezamenlijk bepaalde hypothesen kunnen steunen of ontkrachten. Gedacht kan worden aan prijselasticiteit van psychotrope stoffen, aftappen van zogenaamde ´tacit knowledge´ (kennis in koppen die nooit is opgeschreven, bijvoorbeeld door rechercheurs of advocatuur).
  • Interviews met slachtoffers van georganiseerde criminaliteit.
  • Inventariseren van bedoelde en onbedoelde effecten van overheidsbeleid gericht op georganiseerde criminaliteit: is het beleid criminogeen en biedt het kansen aan georganiseerde criminaliteit?
  • Ten slotte de benadering vanuit het netwerkperspectief (zie ook ´kennisparel´ nummer 81 Collaboration and Boundaries in Organized Crime: A Network Perspective).

Ieder van deze alternatieve bronnen kent nadrukkelijk beperkingen, maar als ze in combinatie dezelfde kant uitwijzen verstevigt dat de basis onder de te trekken conclusies over omvang en ernst van georganiseerde criminaliteit en de aanpak daarvan. Duidelijk is dat geen enkele onderzoekmethode ‘perfect’ is – de sterke kant van de ene onderzoekmethode is de zwakke van een andere. Het is dan zinvol te zoeken naar een combinatie van methoden zodanig dat de plausibiliteit wordt verminderd van alternatieve verklaringen voor het onderzochte verschijnsel. Dat heet de ‘mulitmethode’-benadering. En dat is in feite waar de auteurs van bijgesloten synthese voor pleiten. Kennis om kennis van te nemen voor de vele partijen in Nederland die zich met de aanpak van ´ondermijning´ of georganiseerde criminaliteit bezig houden.