Når der er mus hos den lokale bager eller usikre forhold hos den lokale entreprenør, får vores journalister tip om historierne direkte i indbakken, så snart en rapport har ramt internettet.
Det gør de, fordi vi i TV 2 Fyns R&D-afdeling har automatiseret en del af journalisternes mest rutineprægede arbejde, så de får mere tid til journalistik.
Nærværende artikel fortæller i korte træk, hvad vi konkret har gjort.
Årsagen til, vi har brugt tid på automatisering, er, at den knappe tid på en nyhedsredaktion nogle gange betyder, at frit tilgængelige historier bliver overset, fordi man ikke når at finde dem.
Men TV 2 Fyn – og fynboerne – vil ikke undvære historierne om beskidte køkkener og kræftfremkaldende stoffer på arbejdspladsen. Vi vil bare gerne bruge færre klik på at opdage dem og undgå grå hår forårsaget af urimeligt store excel-ark.
Der indgår en del tekniske termer i denne artikel, men det korte af det lange er, at man kan spare tid ved at få en computer til at løse gentagne opgaver.
I skrivende stund har vi scrapere, der kigger på Arbejdstilsynet, Fødevarestyrelsen, og så er vi undervejs med at kigge på retslister.
Her er, hvad vi har gjort
Automatiseringen betyder, at vi hver dag ved hjælp af et Python-script tjekker de seneste data fra henholdsvis Fødevarestyrelsen og Arbejdstilsynets smileyrapporter op imod dataene fra dagen før.
På den måde kan vi tjekke, hvad der er sket af ændringer og samle det i en mail, der bliver sendt direkte til de journalister, der ønsker det. Nedenstående flowchart viser de byggesten, automatiseringen består af.
Systemet betyder, at vi fanger ændringer på dagen, og på den måde har journalisterne fra morgenstunden muligheden for at gå på historien. Monitorering af forskellige styrelser har hos os tidligere bestået af sporadiske besøg på styrelsernes hjemmesider af journalister og redaktører, men på den her måde sikrer vi, at det sker hver dag.
Og her er, hvordan vi gjorde (disclaimer: det her er mest for nørder)
Forklaringen her handler om Fødevarestyrelsen, men fremgangsmåden er næsten identisk hos Arbejdstilsynet.
Vi har skrevet et Python-script, der ved hjælp af Python-bibliotekerne BeautifulSoup og Requests hver dag henter det kæmpestore XML-ark, Fødevarestyrelsen lægger på deres hjemmeside.
Scriptet filtrerer så dataene efter fynske virksomheder med sure smileyer og samler disse i en liste.
Den liste bliver sammenlignet med listen over sure smileyer på Fyn den foregående dag. Hvis der er forskelle mellem listerne, betyder det, at der er sket ændringer.
Scriptet tjekker, om der er noget i den nye liste, som ikke var i den gamle. Hvis det er tilfældet er det, fordi et nyt sted har fået en sur smiley. Er der derimod noget i den gamle liste, som ikke er i den nye, betyder det, at et sted er sluppet af med en sur smiley.
Tilføjede og fjernede virksomheder bliver samlet i hver sin liste. Listerne bliver gemt som separate csv-filer, og det er basis for den mail, der bliver sendt til journalisterne.
Send en mail
Vi bruger GitHub Actions til at køre scriptet en gang om dagen. Når scriptet har kørt, har vi en csv-fil, der viser hvilke virksomheder, der har fået sure smileyer det seneste døgn. Dataene fra denne bliver hver dag loadet ind i et Google Sheet.
Sidste trin består i at bruge Microsofts PowerAutomate til at aflæse vores Google Sheet. Hvis der er data i arket, bliver der sendt en mail til de journalister, der ønsker det.
Scriptet ligger på GitHub og kan ses her: https://github.com/TV2-Fyn/scraping-af-foedevarestyrelsens-smileyordning.
Leave a Reply