Prosjekt Oversikt

På vegne av Egde skal vi i løpet av våren utvikle en Fullstack applikasjon for Miljøfyrtårn som demonstrerer hvordan man kan bruke store språkmodeller (LLM'er) til å hente informasjon fra strukturerte data.

Hovedmålet med prosjektet er å utforske mulighetene og begrensningene ved å bruke LLM'er for å samhandle med databaser, samt å vurdere nøyaktigheten og påliteligheten til svarene generert av modellen.

Gruppemedlemmer

Veileder

Kvalitetsaspekter

For å måle hvorvidt prosjektet er tilfredsstillende har vi kommet fram til noen kvalitetsaspekter som vi mener vil være viktige for å vurdere prosjektet:

• •

  Nøyaktighet

  • -hvor mye språkmodellen hallusinerer, dette er svært viktig da man ønsker at modellen skal gi samme svar til samme prompt hver gang.
  • -Dette kan måles ved hjelp av enhetstester som spør samme spørsmål flere ganger og sjekker for avvik i svarene.
• •

  Sikkerhet og personvern

  • -Et viktig kvalitetsaspekt er å ha et robust autentisering og autoriseringssystem for å unngå å gi språkmodellen for brede tilganger. Dette innebærer å sikre at modellen kun har tilgang til data den er autorisert til å se basert på brukerens rettigheter, og at sensitive data ikke blir eksponert i svarene.
• •

  Brukervennlighet

  • -Hele poenget med å bruke språkmodeller til å hente informasjon fra strukturerte data er for å gjøre det enklere for brukere å få tilgang til informasjonen, altså at personer som ikke kan SQL skal kunne hente ut informasjon på en enkel måte og kunne vite at de kan stole på det.
  • -Løsningen i seg selv bør også være brukervennlig med tanke på brukergrensesnitt. Dette betyr å lage et chat grensesnitt som matcher den mentale modellen vi har fra å bruke andre tjenester som ChatGPT eller lignende.

Plan

Vi planlegger å følge en smidig utviklingsmetodikk med 2-ukers sprinter. Vi kommer til å bruke et Jira-board for å administrere oppgaver og fremdrift. Hver sprint vil inkludere planlegging, utvikling og gjennomgang. Etter hver sprint vil vi ha en show-and-tell for å demonstrere fremdriften til veileder og eventuelle andre interessenter fra Egde.

Mål og arbeidsoppgaver (utviklet i samarbeid med Egde)

1. 1.

   Forstå eksisterende MVP

   • -Analysere eksisterende POC/MVP og dokumentere arkitektur og flyt.
2. 2.

   Kritisk evaluering

   • -Identifisere styrker, svakheter og mangler ved bruk av LLM mot strukturerte data.
3. 3.

   Autentisering og autorisering

   • -Undersøke ende-til-ende autentisering og bruk av brukertoken.
   • -Vurdere risiko for å gi AI for brede tilganger.
4. 4.

   Sikker datatilgang

   • -Utforske hvordan AI får tilgang til data etter prinsippet om minste privilegium.
   • -Vurdere RLS, views eller mellomliggende API-lag.
5. 5.

   RAG-forberedelse

   • -Forberede RAG-data som eksempelspørringer, svar og domeneforklaringer.
6. 6.

   Semantiske modeller

   • -Undersøke bruk av semantiske modeller (Fabric) for bedre datamodellforståelse.
7. 7.

   Agentisk tilnærming

   • -Vurdere agentisk arkitektur for tolkning av komplekse datamodeller.
8. 8.

   Sammenlikning med eksisterende løsninger

   • -Sammenlikne egen løsning med Fabric Data Agents og tilsvarende løsninger.

Ressursbruk

Prosjektet vil bruke en rekke tjenester og verktøy fra skyplattformen Microsoft Azure:

• •
  Web Apps

  • -Hosting av webapplikasjonen
• •
  Azure Dev Ops

  • -Kilde og versjonskontroll
• •
  Fabric

  • -SQL Database for strukturerte data
  • -Potensielt Cosmos DB for ustrukturerte data
• •
  Microsoft Foundry

  • -API for å bruke språkmodeller i applikasjonen

Microsoft Azure tjenester er Pay-as-you-go, som betyr at man må være forsiktig med forbruket. For å sikre at ressursene brukes effektivt, vil vi overvåke forbruket nøye og justere etter behov gjennom prosjektets varighet. Det er satt av et budsjett for skytjenestene på Azure som vi bør holde oss innenfor.

Status 1

Se hvor langt vi har kommet med prosjektet så langt: