Forskere har brukt AI for å screene omtrent 15 000 tidsskrifter med åpen tilgang og flagget mer enn 1000 som potensielt problematisk, ifølge en studie fra University of Colorado Boulder, publisert 27. august i Vitenskapen går videre.
Verktøyet oppdager røde flagg som ultra-rask publikasjonstider, høy selvsitering og ugjennomsiktige gebyrer-og til og med flaggede titler som eies av store, anerkjente utgivere.
Hvordan AI fungerer når man screening av vitenskapens tidsskrifter
Systemet skanner tidsskrift nettsteder og publiserte artikler for mønstre knyttet til tvilsom praksis. Det ble delvis opplært på kriterier for beste praksis fra Directory of Open Access Journals (DOAJ). Dette er den viktigste vakthunden og katalogen for pålitelige tidsskrifter med åpen tilgang.
Medforfatter av University of Colorado Boulder Study, Daniel Acuña, understreker verktøyet er en forhåndsskjerm, ikke dommer og jury, «en menneskelig ekspert skal være en del av vetting-prosessen» før noen tiltak iverksettes. (Sitert av Natur.)
Imidlertid sa kreftforsker ved University of Sydney, Australia Jennifer Byrne, «Det er en hel gruppe problematiske tidsskrifter i vanlig syn som fungerer som angivelig respekterte tidsskrifter som virkelig ikke fortjener den kvalifiseringen.»
University of Colorado Boulder -teamet legger til at de “prøvde å gjøre (AI) så tolkbar som mulig,” og ramme det inn som en “brannmur for vitenskap.”
Hva er egentlig en «fagfellevurdert» studie?
Uttrykket «fagfellevurdert studie» ble kastet mye under den kovidpandemien. En enkel definisjon er at en fagfellevurdering refererer til evaluering av et manuskript av en forfatteres jevnaldrende – uavhengige eksperter som vurderer om en studie er lyd før den er publisert. Store tidsskrifter bruker det for å beskytte pålitelighet og omdømme.
Men fagfellevurdering er ikke feilfri. Ulike modeller (enkeltblinde, dobbeltblinde, åpne) har fordeler og ulemper, og historien viser at den kan gå glipp av feil eller bli gammet, og det er nettopp grunnen til at det å oppdage tvilsomme tidsskrifter betyr noe.
Følg pengene – hvem finansierer forskning?
En omfattende scoping -gjennomgang i American Journal of Public Health Fant, «bransjesponsede studier har en tendens til å være partiske til fordel for sponsorens produkter.» Den konkluderte også, «Bedriftsinteresser kan drive forskningsagendaer bort fra spørsmål som er de mest relevante for folkehelsen.»
Den samme gjennomgangen dokumenterte vanlige taktikker på tvers av bransjer (tobakk, mat, farmasi): Styr finansiering mot kommersielt nyttige emner, prioriterer undersøkelseslinjer som støtter juridiske/politiske stillinger og bygger troverdighet gjennom publikasjoner og konferanser.
Hvordan skal du evaluere «vitenskapelige» påstander?
- Sjekk tidsskriftet – er det indeksert av Doaj?
- Beskriver nettstedet tydelig fagfellevurderingspolicyer, gebyrer og lisenser? (AI flagget tidsskrifter for nøyaktig disse hullene.)
- Se etter Peer-Review Trail: Navnkjørere eller publiserer redaktører eller publiserer rapporter (Transparent/Open Review), eller er prosessen ugjennomsiktig?
- Følg finansieringsopplysninger: Hvem betalte? Er det erklært konflikter? Finansiering kan skifte forskningsagendaer og utfall.
- Pass på hastighet og spam: Ultra-rask aksept og masseoppfordring er røde flagg.
AI kan sette søkelys på anomalier i skala, for eksempel tidsskrifter med rare sitasjonsmønstre, mistenkelige behandlingstider og grumsete styring. Hvis det brukes godt, kan det bli et kraftig system for tidlig varsling. Men selv skaperne insisterer på endelig menneskelig dom. Verktøy forteller oss ikke hva som er sant; De hjelper oss med å bestemme hva som fortjener vår oppmerksomhet.
Se alle teknolognyheter.
Se alle verdensnyheter.
