Felles for Catch Snap og søsterprosjektene Catch Monitor og Catch Scanner, er at de tar i bruk både maskinsyn og maskinlæring for å identifisere fiskeslag.

Der Catch Monitor og Catch Scanner primært er rettet mot industri og profesjonelt fiskeri og i tillegg skal kunne estimere både lengde og vekt, vil Catch Snap trolig kunne nå et langt større privatmarked.


Les også: Nå har Aquabyte lansert biomassemåler – og et tredje produkt er på vei


Store mengder artsdata

Forsker Elling Ruud Øye er prosjektmedarbeider i Smartfish.

– Vi har jobbet med store mengder data fra forskjellig fiskeri i Europa. Teknologien og datagrunnlaget er det samme i alle de tre prosjektene, forteller han til Tekfisk.

Forskerne er tett på full klaff med artsbestemmelse. Øye sier at treffprosenten ligger på mellom 97 og 100 prosent for de fleste arter. Det gjelder i alle for våre mer hjemlige fiskeslag.

– Det gjenstår testing på enkelte eksotiske arter, som er veldig like, forteller han.

Basert på forskere og samarbeidspartneres kunnskap og erfaring, blir programvaren stadig flinkere til å estimere både art, lengde og vekt på fisken. Foto: Sintef Ocean
Elling Ruud Øye er forsker ved Sintef Ocean. Foto: Sintef Ocean

Skotsk videoovervåkning

Datagrunnlaget kommer blant annet fra det samarbeidende University of East Anglia i Skottland. Skotsk fiskeri har videoovervåking av fangst, og bruker ressurser på tidkrevende telling og estimering av fangst. Å lære programvare opp til å bestemme både art og omfang vil være ressursbesparende.

Catch-prosjektene er delprosjekt som sorterer under det større hovedprosjektet Smartfish H2020. Smartfish er i sin tur EU-finansiert gjennom Horizon2020, og har som mål å finne et bredt spekter av teknologiske løsninger for å gjøre fiskeflåten både bærekraftig og mer effektiv.

Todimensjonalt og tredimensjonalt

Inntil videre er det todimensjonale bilder som er aktuell for dagens smarttelefoner, selv om bilder tatt fra ulike vinkler også kan slås sammen til et romlig bilde.

– Med 3D kan vi estimere vekt. Til mobilbruk er kanskje artsbestemmelse viktigst, og da er 2D nok, sier Øye.

Inntil videre er Sintef sitt mobilprosjekt uten teknologisk samarbeidsparter, men Øye ser for seg at de knytter til seg en kommersiell partner når tiden er moden.

– I første omgang ønsker vi å lage en fungerende prototyp som kan demonstreres.

Naturens variabler blir til vektorer og data når fisken analyseres med maskinsyn. Foto: Sintef Ocean

Flere om vitenskapen

Sintef er ikke alene om å bruke maskinsyn og maskinlæring for å lette sortering, artsbestemmelse og annet ressurskrevende arbeid om bord i båter. Oppdrettsnæringen er i full gang med å telle både lus, individer og beregne biomasse. Om bord på Halstensens «Granit» har Optimar med hell gjort sorteringsjobben bortimot helautomatisk.


Les også: Kunstig intelligens skal «se» når laksen er mett, og hindre matsvinn


Inni selve fisken er Maritechs maskinhoder i ferd med å peke ut hvitfisk med kveis, og Havforskningsinstituttet har latt kunstig intelligens teste muskler med deres egen, erfarne bas. Havforsker Nils Olav Handegard tror også at Havforskningsinstituttet har svært gode forutsetninger for å dra nytte av maskinlæring.

Forskerne får verifiserte fasiter fra et samarbeidende universitet i Skottland. Foto: Sintef Ocean

– Vi har store mengder data i arkivene, men ikke nok menneskelig kapasitet til å utnytte det historiske materialet, sa han til Tekfisk i fjor.

Inntil videre er mobilteknologien Sintef er avhengig av for sitt håndholdte produkt, relativt ung. Forskerne selv bruker håndholdte, datamaskinbundne 3D-skannere.

– Teknologien er der. Dette er lette og rimelige komponenter, ikke ulikt hyllevare av typen Kinect. Men vi venter på at mobiltelefoner med 3D-muligheter kommer på markedet!

Tre ulike delprosjekt

En av utfordringene er nettopp at biologer må gå gjennom tusenvis av timer med bilder og video av fisk, for å strukturere for videre maskinlæring. Ofte kommer fisken i uoversiktlige hauger, med forskjellige arter om hverandre.

– I Catch Monitor-prosjektet har det vært spekulert i om fisken på toppen kan gi en pekepinn på hva som befinner seg i resten av haugen.


Les også: Denne «selfie-boksen» kan bli dørvakt mot rømt oppdrettslaks


Testene, som inntil videre har vært utført på tørt land, viser lovende takter for størrelsesberegning. I alle fall på noen områder.

– Tall fra større batcher over tid viser seg å være mer presise enn estimater på enkeltindivid, sier forskeren.

Det tredje prosjektet, Catch Scanner, er et industrirettet prosjekt, med Melbu Systems som industripartner. Her brukes også en laserskanner for å gi et enda mer korrekt bilde og estimat av fisken som passerer.

En tredimensjonal fremstilling av en haug med fisk. Et bilde legges over 3D-vektorene, og gjør det gjenkjennelig for øyet. Foto: Sintef Ocean

Deler samme avanserte teknologi

Selv om smarttelefon-prosjektet Snap ikke omfatter sannsynlighetsberegning og 3D-laser, deler de den samme avanserte teknologien og bruken av maskinlæring.

– Vi gir fasiten på hva bildet viser, altså på en del av datasettet, og måler deretter hvor god maskinlæringen jobber på ny data, sier Øye.

Teknologifronten rundt selvlæring og maskinsyn er i stor utvikling, og der er ulike måter å tilnærme seg læringen. Sintef-forskerne velger å gi fasit i forkant, for å gi maskinvaren en mal for videre læring.

– Er dere alene om slike prosjekter?

– Jeg vil tro at andre jobber med tilsvarende, det vil ikke overraske meg.