Hjem » En offentlig myndighed

En hybrid AI-arkitektur gjorde sikker søgning, intern chat og direkte API-adgang mulig

Kunde

En offentlig myndighed

Branche

Offentlige data / offentlig infrastruktur

Udfordring

At bruge AI på følsomme data uden at lade rådata forlade den interne infrastruktur

Resultater

En hybrid AI-arkitektur gjorde sikker semantisk søgning, intern chat og direkte API-adgang for eksterne AI-agenter mulig

Opgaven

AI på følsomme data – uden at sende dem ud af huset

En offentlig myndighed arbejder med nogle af Danmarks mest følsomme offentlige data. Derfor var løsninger som ChatGPT og Gemini ikke en mulighed fra starten.

Projektet begyndte som et internt researchprojekt, der skulle undersøge, hvordan AI kunne bruges i større skala hos myndigheden.

Organisationen havde allerede stærke interne udviklingskompetencer og havde investeret i egen infrastruktur, blandt andet nyere GPU'er til at køre AI-modeller internt. Spørgsmålet var derfor ikke, om AI kunne bruges, men hvordan man kunne skabe løsninger, der både var brugbare, skalerbare og sikre – uden at blive afhængig af kommercielle AI-API'er.

Projektet omfattede blandt andet:

  • design af en AI-arkitektur, hvor rådata aldrig forlader de interne systemer
  • semantisk søgning på tværs af store og komplekse datasæt
  • en intern chatløsning til arbejde med følsomme data
  • en mere stabil måde for eksterne AI-agenter at tilgå offentlige data
  • træning af medarbejdere i blandt andet observability, værktøjer, compliance og AI-arbejdsgange

Løsningen

Høj sikkerhed uden at give afkald på mulighederne i AI

Arkitekturen blev bygget ud fra et enkelt princip:

Rådata bliver internt. Kun de nødvendige vektorrepræsentationer kan bruges udenfor.

Interne modeller på myndighedens egen infrastruktur står for anonymisering og vektorisering af data. Eksterne AI-modeller arbejder kun med disse repræsentationer og får aldrig adgang til de underliggende rådata.

Det skaber en hybrid løsning, der kombinerer sikkerheden fra et lukket miljø med fleksibiliteten og kapaciteten fra eksterne AI-modeller.

Som en del af løsningen byggede BCT også et internt chatværktøj baseret på en stor open source-model. Det gav medarbejderne mulighed for at arbejde med følsomme data gennem naturligt sprog i et sikkert miljø.

Derudover etablerede vi en MCP-server omkring myndighedens offentlige API. Det gør det muligt for eksterne AI-agenter at hente strukturerede data direkte fra API'et i stedet for at scrape websitet.

Resultatet blev ikke bare nye AI-værktøjer, men et mere skalerbart fundament for myndighedens videre arbejde med AI.

Proces

BCT designede og implementerede den tekniske løsning og hjalp samtidig organisationen med at opbygge de interne kompetencer, der skulle til for at drive den videre.

Hybrid AI-arkitektur

Vi designede en arkitektur, hvor interne modeller håndterer anonymisering og vektorisering på myndighedens egen infrastruktur.

Eksterne modeller arbejder kun med vektorrepræsentationerne. På den måde forbliver rådata beskyttet, samtidig med at organisationen kan bruge moderne AI-modeller, hvor det giver mening.

Vektordatabaser og semantisk søgning

Myndighedens datatabeller er store og komplekse og kan være svære at navigere i.

Vi gjorde data søgbare gennem embeddings og vektordatabaser, så brugerne i højere grad kan søge efter betydning og sammenhæng frem for at skulle kende den præcise struktur eller formulering på forhånd.

MCP-server til det offentlige API

Eksterne AI-agenter kunne tidligere skabe unødvendig belastning ved at scrape websitet.

Derfor byggede vi en MCP-server oven på det eksisterende API, så AI-agenter i stedet kan få struktureret adgang til offentlige data direkte fra backend.

Det giver en mere stabil adgang til data og reducerer belastningen på den brugerrettede del af websitet.

Intern chatløsning

Vi byggede et sikkert internt chatmiljø baseret på en open source-model med 120 milliarder parametre, som kører på myndighedens egen infrastruktur.

Her kan medarbejderne arbejde med vektoriserede, følsomme data gennem naturligt sprog. Løsningen er samtidig udviklet med mulighed for dynamiske visualiseringer.

Træning og kompetenceopbygning

Teknologien var kun den ene del af projektet.

Over seks måneder gennemførte vi derfor et træningsforløb med fokus på blandt andet AI-observability, automatiseringsværktøjer, integration i udviklingsmiljøer og compliance.

Målet var, at myndigheden ikke bare skulle have en løsning, men også de interne kompetencer til selv at arbejde videre med AI.

Resultater

Resultatet blev en AI-løsning, hvor myndigheden ikke behøvede at vælge mellem sikkerhed og funktionalitet.

Følsomme data kunne nu vektoriseres, søges i og bruges i AI-baserede arbejdsgange uden at forlade den interne infrastruktur.

Samtidig kunne eksterne modeller bruges, når der var behov for større kapacitet – uden at de fik adgang til de underliggende rådata.

Det gjorde det muligt at:

  • søge semantisk på tværs af komplekse interne datasæt
  • give medarbejderne adgang til en intern AI-chat til følsomme data
  • erstatte scraping fra eksterne AI-agenter med struktureret API-adgang
  • reducere belastningen på websitet gennem direkte adgang til backend
  • styrke de interne AI-kompetencer gennem træning og praktisk arbejde

Mere overordnet viste projektet, hvordan organisationer med høje krav til sikkerhed og compliance kan arbejde med AI uden at give afkald på hverken kontrol eller muligheder.

Har jeres sikkerhedskrav indtil nu stået i vejen for AI?

Hvis I arbejder med følsomme data og prøver at finde ud af, hvad der faktisk kan lade sig gøre inden for jeres sikkerheds- og compliancekrav, så lad os tage en snak.

Tag en snak med os om jeres projekt
Black Capital Technology logo
The most human AI company in the world.
Born digital. Built different.
Kontakt
info@blackcapitaltechnology.com
Dansk flag. Dannebro
Mølleå 3-5,
9000 Aalborg
Danmark
(+45) 39 39 42 43
CVR:
DK-42380784
Norsk flag
Tordenskiolds gate 2,
0160 Oslo
Norway
(+47) 907 00 863
Org. nr.:
NO-933435458