Nye filer ligger klar på serveren. Men oplysningerne er endnu ikke tilgængelige dér, hvor virksomheden skal bruge dem. Først skal filerne hentes, indholdet kontrolleres, og data samles, så de kan indgå i det videre arbejde.
Det kan lyde som en enkel opgave. Men når der løbende kommer nye filer, er der flere ting at holde styr på. Hvilke filer er allerede hentet? Hvilke mangler at blive behandlet? Og passer oplysningerne ind i den struktur, virksomheden bruger?
Det var den opgave, vi hjalp en af vores kunder med at automatisere.
Vi byggede en løsning, der hvert 15. minut henter nye filer og samler deres indhold i Microsoft Fabric. Det giver kunden løbende adgang til opdaterede oplysninger, uden at en medarbejder skal sætte overførslen i gang hver gang.
Udfordringen: Filerne var klar, men skulle videre
Kunden havde data liggende på en SFTP-server. Det er en server, som bruges til at opbevare og overføre filer via en sikker forbindelse. Den kan f.eks. fungere som et afleveringssted, hvor et system eller en samarbejdspartner lægger filer til virksomheden.
Men at en fil er afleveret, betyder ikke, at oplysningerne er klar til brug.
Hos kunden skulle indholdet videre til Microsoft Fabric, hvor virksomheden samler og arbejder med sine data. Der var derfor brug for en forbindelse mellem det sted, filerne blev afleveret, og den platform, hvor oplysningerne skulle bruges.
Løsningen skulle kunne hente nye filer løbende, holde styr på behandlingen og sikre, at indholdet havde den forventede opbygning.
Målet var en fast proces, der kunne gentages gennem dagen uden manuel igangsættelse.
Mere end en automatisk flytning af filer
Når man automatiserer denne type opgave, handler det om mere end at flytte filer fra én mappe til en anden.
Løsningen skal også kunne afgøre, hvad der skal ske med filerne undervejs. Den skal vide, hvilke der er nye, hvor de bliver gemt, og hvornår deres indhold er klar til at blive tilføjet i Microsoft Fabric.
Ellers risikerer man at flytte det manuelle arbejde videre til næste trin. Filerne er måske hentet automatisk, men nogen skal stadig finde ud af, hvilke der skal bruges, og om de passer sammen.
Derfor byggede vi et samlet forløb med to dele. Den første henter og registrerer filerne. Den anden kontrollerer indholdet og tilføjer oplysningerne i Fabric.
De to dele arbejder sammen, så filerne følger den samme vej fra serveren til kundens dataplatform.
Sådan fungerer løsningen i praksis
For kunden kan processen beskrives i fire trin:
- Løsningen finder nye filer. Den bruger et register til at holde styr på, hvilke filer der allerede er behandlet, og hvilke der skal arbejdes videre med.
- Filerne bliver hentet og gemt. De overføres fra serveren til et lager i skyen, hvor de ligger klar til næste trin.
- Indholdet bliver kontrolleret. Løsningen undersøger, om filerne følger den forventede opbygning, så oplysningerne kan samles korrekt.
- De nye oplysninger bliver tilføjet i Microsoft Fabric. Her indgår de sammen med de data, kunden allerede har.
Det er dette forløb, der bliver sat i gang hvert kvarter. Kunden behøver derfor ikke starte en ny overførsel, hver gang der kommer filer på serveren.
En digital huskeliste holder styr på arbejdet
Når en proces kører flere gange i timen, skal den kunne huske, hvor langt den er nået.
Derfor oprettede vi et register, som fungerer som løsningens digitale huskeliste. Her holder løsningen styr på filerne og deres status, så den kan afgøre, hvilke der skal behandles videre.
Det kan sammenlignes med en liste over opgaver. Når en opgave er udført, bliver det registreret, så man ved, hvad der mangler, næste gang man fortsætter arbejdet.
På samme måde hjælper registret løsningen med at arbejde videre med nye filer frem for at begynde forfra med hele samlingen ved hver kørsel.
Det er især nyttigt, når filer bliver leveret løbende gennem dagen. Processen får et fast holdepunkt, som binder afhentningen af filerne sammen med den efterfølgende behandling.
Filerne bliver gemt, før serveren ryddes op
Første del af løsningen henter filerne fra serveren og gemmer dem i et lager i skyen. Herfra kan deres indhold behandles videre.
Rækkefølgen er vigtig. Filerne bliver først slettet fra den oprindelige server, når de er hentet, gemt og registreret korrekt.
Det betyder, at løsningen ikke fjerner filerne fra serveren, før de ligger klar et andet sted til den videre behandling.
Forløbet følger dermed en fast orden: Først hentes filerne. Derefter registreres deres placering og status. Til sidst fjernes de fra serveren, de kom fra.
Oprydningen er altså en del af den automatiske proces og sker, efter at afhentningen og registreringen er på plads.
Indholdet bliver kontrolleret, før det bruges
Selvom en fil er hentet korrekt, er det ikke nødvendigvis ensbetydende med, at dens indhold kan lægges direkte sammen med andre oplysninger.
Når data fra flere filer skal samles, skal filerne følge den forventede struktur. Oplysningerne skal være organiseret på en måde, som løsningen kan genkende og arbejde med.
Derfor bliver filernes format og opbygning kontrolleret, inden indholdet bliver tilføjet i Microsoft Fabric.
Kontrollen handler om, hvorvidt oplysningerne passer til den aftalte struktur. Det er en vigtig forskel: En kontrol af filens opbygning er ikke i sig selv en garanti for, at alle tal eller oplysninger i filen er korrekte.
Men den hjælper med at skabe et ensartet grundlag, så data fra de forskellige filer kan samles og bruges videre.
Nye oplysninger føjes til de eksisterende data
Når filerne er kontrolleret, bliver deres indhold føjet til de data, der allerede ligger i Microsoft Fabric.
Løsningen bygger dermed videre på det eksisterende grundlag. Den starter ikke forfra med en tom samling, hver gang der kommer nye filer.
Det kan sammenlignes med et regneark, hvor nye rækker bliver tilføjet under de eksisterende. Her sker tilføjelsen blot automatisk som en del af det samlede forløb.
Registret hjælper med at identificere de filer, der skal indlæses, mens kontrollen sikrer, at deres opbygning passer til den forventede struktur.
På den måde hænger afhentning, registrering, kontrol og indlæsning sammen i én proces.
Opdatering hvert kvarter gennem dagen
Løsningen er sat op til at køre hvert 15. minut. Det betyder, at nye filer løbende bliver hentet og behandlet, så kundens oplysninger i Microsoft Fabric bliver opdateret gennem dagen.
Der er dog forskel på, at processen starter hvert kvarter, og at alle oplysninger altid er højst 15 minutter gamle.
Hvor aktuelle data er, afhænger også af, hvornår filerne bliver lagt på serveren, og hvor lang tid behandlingen tager. Hvis en fil endnu ikke er leveret, kan løsningen heller ikke hente dens indhold.
Den faste kørsel giver kunden en regelmæssig forbindelse mellem nye filer og de oplysninger, der er tilgængelige i Fabric.
Resultatet: En fast proces og mindre manuel håndtering
Kunden har fået en løsning, der samler flere opgaver i ét automatisk forløb.
Filerne bliver hentet løbende. Et register holder styr på behandlingen. Indholdet bliver kontrolleret, og de nye oplysninger bliver føjet til kundens data i Microsoft Fabric.
Det reducerer behovet for manuelt at sætte overførsler i gang og holde styr på hvert nyt hold filer. Samtidig følger behandlingen den samme rækkefølge ved hver kørsel.
Værdien ligger derfor både i automatiseringen og i den ensartede håndtering. Kunden får en fast vej fra filer på serveren til oplysninger, der er tilgængelige på virksomhedens dataplatform.
Når nye filer bliver leveret og behandlet, bliver deres indhold en del af det grundlag, kunden kan arbejde videre med.
Skal jeres filer også automatisk videre?
Har I også data liggende på en server, som skal hentes, kontrolleres og samles, før I kan bruge dem?
Hos DataSponge hjælper vi med at forbinde datakilder og automatisere arbejdet med at hente og samle oplysninger. Vi tager udgangspunkt i, hvordan jeres data bliver leveret, og hvor de skal bruges.
Kontakt os til en snak om, hvordan vi kan gøre jeres data lettere at få adgang til og arbejde med.
