Lars Martin Sandvik Aas, og resten av Submerged AS fra Fosen i Trøndelag, har til nå utviklet to intelligente Quadeye «fotobokser» for Havforskningsinstituttet.

Den første har i nesten et halvt år stille og rolig tatt bilder av leppefisk. Den nye, som nå er satt ut i Etneelva, skal imidlertid kikke den sårbare villaksen i kortene.

Forskerne Kim Halvorsen og Tonje Knutsen Sørdalen med den første versjonen av «fotoboksen». Den fotograferte og lærte seg hva grønngylt var. Foto: Erlend A. Lorentzen, Havforskningsinstituttet
Grønngylt har unike mønster i «ansiktet». Målet med den første installasjonen av Quadeye var å bygge opp datamengde, og få maskinvaren til å unngå å telle samme fisk to ganger. Den grønne fisken er en hann, mens den rødlige er en hunn. Foto: Erlend Lorentzen/Havforskningsinstituttet

Merking og selfie

Den aller første laksen som lot seg forevige var en chippet hunnlaks på 3,1 kilo. Merkingen forteller forskerne at akkurat denne fisken forlot elven som smolt i 2019.

Teknologien muliggjør gjenkjennelse på individnivå, og maskinlæring sørger for at datamaskinen for hver fisk blir enda litt smartere, og lettere gjenkjenner nye individ.

Se Havforskningsinstituttets video fra Etneelva her:

Pilotprosjekt på leppefisk

Idéen til den første fotoboksen var det postdoktor Kim Halvorsen og forsker Tonje Knutsen Sørdalen ved Havforskningsinstituttet som hadde. Etter ti måneder med fotogene grønngylt, er der datamateriale nok til at maskinlæring kan starte, forteller Halvorsen til Tekfisk.

– Ingen har gjort dette på fisk før!

To gjester på besøk i førsteutgaven av Quadeye blir automatisk registrert og memorert. Foto: Erlend Lorentzen/Havforskningsinstituttet
Øystein Skaala, forsker ved Havforskningsinstituttet. Foto: Havforskningsinstutttet

Forskernes fiskefelle

Havforskningsinstituttets forskningsplattform i Etneelva var fra 2010 til 2015 et delvis offentlig pilotprosjekt ledet av Fiskeridirektoratet. Øystein Skaala er prosjektleder ved anlegget i ytre del av Hardangerfjorden, som skal sikre presise data på de ville sjøørret- og laksestammene.

– En fantastisk forskningsplattform! sier Skaala til Tekfisk.

Villaksen sitt arvemateriale sikrer best mulig overlevelse i naturen. Rømt oppdrettsfisk som krysser seg med villaksen gjør at overlevelsesevnen reduseres.

Fangstteknologi fra USA

Et delprosjekt i Etneelva er fangstteknologi for å ta ut rømt oppdrettsfisk. I 2013 fikk elven en amerikanskutviklet løsning, der all oppvandrende fisk styres gjennom et fangstkammer. Ambisjonen har vært å kunne automatisere dette systemet, forteller forskeren.

I den viktige Etneelva håndteres hvert individ manuelt, noe som gjør plattformen svært egnet for maskinlæring.

– Det krever et godt kamerasystem, og teknologi som kan læres. Og ikke minst må fasit komme først.

Med det mener Skaala at maskinlæringen må bli fortalt lengde, vekt, kjønn og fiskeslag før den kan bli trygg på hva den selv erfarer.

Laksefellen i Etneelva er et optimalt utgangspunkt for maskinlæring, mener forskerne. Foto: Øystein Skaala/Havforskningsinstituttet

Fra leppefisk til laks

Havforskningsinstituttets prototyp for leppefisk var interessant for Etne-prosjektet, og Skaala og Kim Halvorsen tok initiativ til en ny versjon for laks.

Der den forrige Quadeye-boksen var et kar på 60 liter, takler den nye tunnelformede kamera-slusen langt større individ. Fire kamera tar hver to til atten bilder i sekundet, og sikrer gode bilder, tredimensjonale data, lengde og vekt – og ikke minst mat for maskinlæring og kunstig intelligens.

– Vi har kjørt den i en uke nå, og det ser veldig bra ut med tanke på å kunne identifisere rømt og vill laks, sier Skaala.

Han synes det er svært spennende å bygge opp en metode som baserer seg på «ansiktsgjenkjenning» på individnivå hos fisk.

– Innledende studier viser at prikkmønsteret på laks og ørret er relativt stabilt, forteller han.

Skaala forventer at Etne-laksen frem til 2021 har generert et stort nok datasett til at maskinlæringen kan starte.

Grønngylt i den første Quadeye-modellen. Foto: Erlend Lorentzen/Havforskningsinstituttet
Lars Martin Sandvik Aas i Submerged AS. Foto: Submerged AS

Automatisk selektering

– Målet er å utvikle det videre, etter hvert som den kunstige intelligensen er trent opp, sier Sandvik Aas i Submerged.

Han røper at et tenkt, fremtidig system også vil kunne identifisere og håndtere rømt oppdrettslaks, og sluse denne ut av elven.

Systemet vil ikke bare komme villaksstammer og sjøørret til gode, men kan også bli aktuelt for kommersielt bruk i stamfiskanlegg, håper Sandvik Aas.

Modulen kan nemlig være både bunnfast som i Etne, eller med flyteelementer.

RFID-merking

Maskinlæring på villfisk krever at fisken enten blir manuelt kontrollert, eller er RFID-merket, altså med et trådløst identifikasjonsmerke. Kameraet vil ta selfier av akkurat denne fisken, og livsløpet kan følges uten at annen fisk blander seg inn i opplæringen av datamaskinen.

– Har du feil, blir det støy i dataen, sier Halvorsen.

Livsløpsstandard

Tidsrommet på ti måneder er ikke tilfeldig. Når fisk vokser og blir eldre, endres pigmenter, mønster og andre karakteristika. Kunstig intelligens og maskinlæring kan ta høyde for aldringen, og gjenkjenne fisken.

– Det blir som å se et menneske tyve år senere, sier Halvorsen.

Håpet er at kunstig intelligens kan erstatte både individmerking og manuell telling. Når teknologien gjenkjenner hver fisk, unngår den å telle samme individ to ganger. For å klare dette, er datamaskinen avhengig av mange fisk som returnerer, gjerne over mange år. Her er Etneelva med sitt etablerte forskermiljø midt i blinken.

Kaja Christine Andersen (fra venstre) Willian Aure Aannø, Paulas Rimas Petrauskas og Per Tommy Fjeldheim fester den nye fotoboksen i Etneelva. Foto: Øystein Skaala/Havforskningsinstituttet

Tverrfaglig samarbeid

Havforskningsinstituttet har også samarbeidet med Universitetet i Agder. En masterstudent på kunstig intelligens har brukt sommeren på individgjenkjenning for havforskerne i Bergen. Forsker Tonje Knutsen Sørdalen skal i tillegg ha postdoktorat i Agder, for å få mer kompetanse på algoritmesiden.

– Det er viktig å forstå hva som skjer under panseret, sier Halvorsen.

Andre fiskeslag

– Grønngylt i fjor, laks nå. Hva blir neste fisk ut?

– Jeg har veldig lyst til å bruke systemet på torsk! de har flotte mønstre for gjenkjenning, sier Halvorsen.

Med vellykket datainnsamling på grønngylt og laks, tror han at det også blir lettere å få andre fagområder med på laget.

– Alle synes dette er spennende.

Bakgrunn i lakselusteller

Submerged er på teststadiet med et annet produkt, Rolleye. Den selvrensende lakselustelleren er myntet på havbruksnæringen, og utviklerne drar nå veksler på arbeidet de har gjort der.

– Det er faktisk mye den samme teknologien og hardwaren i Quadeye som den vi bruker i Rolleye, sier Sandvik Aas til Tekfisk.

Submerged hentet mye av erfaringen fra sitt arbeid med lakselussensoren Rolleye, som er under utprøving. Foto: Submerged

Større kontrast

Sandvik i Submerged forteller at Quadeye-sensoren deres gir økt kontrast og at den derfor vil være mer sensitiv og gi mindre feilmargin ved lakselusetelling.

– I tillegg avbilder både Rolleye og Quadeye fisken fra alle sider, slik at vi lettere kan fange opp skader, og ikke minst hunnlusen som setter seg på ryggen bak fettfinnen, og fastsittende lus på buken.

I skrivende stund er Rolleye under uttesting ved et oppdrettsanlegg i Flatanger.

Forsker Kim Halvorsen foran brukergrensesnittet på den første Quadeye. Den nye versjonen sender informasjon og bilder via trådløst nett. Foto: Erlend Lorentzen/Havforskningsinstituttet

Forskere og oppdrettere

Sandvik Aas sier at oppdrag for Havforskningsinstituttet er litt annerledes enn oppdrag for havbruksnæringen.

Fisken må oppføre seg naturlig, og omgivelsene må være nøytrale for å gi tydelig lesning. Datamengden skal også prosesseres videre til bruk i forskning, som stiller egne krav til det som samles inn.

– Mens oppdretterne ønsker mer selvstendige, autonome løsninger, har forskerne krav om brukergrensesnitt for overvåkning.

Selv bistår de også havforskerne med å bruke dataene til maskinlæring. Han forteller at vinklingen mot forskning er nyttig, og at viktig kunnskap går begge veier.