Ertu með IoT-gögn í tonnatali en með innsýn mælda í grömmum?

IoT-mælar eru ekki bara hitamælar.
Þeir eru í vélum, bílum, verksmiðjum og raforkuverum og þeir dæla út gögnum með sekúndu (eða oftar) millibili. Allan sólarhringinn. Alltaf.

Þeir mæla til dæmis:
⚙️ vélar sem senda stöðugt upplýsingar um hita, álag og slit
🚚 ökutæki sem skila gögnum um hraða, notkun, staðsetningu og ástand bílsins
⚡ raforkukerfi og fylgjast með álagi og frávikum
🌡️ veður- og umhverfismælar sem skrá t.d. hitastig, vind, úrkomu og loftgæði
🏭 framleiðslulínur sem fylgjast með afköstum og frávikum
🏙️ innviði bæjarfélaga eins og umferð, ljós og sorphirðu

Allt eru þetta gögn sem koma í tímaröð: mikið magn, stöðugt flæði og með litla þolinmæði fyrir töfum.

Og þá byrja vandamálin að láta á sér kræla:
gögnin hrúgast upp, fyrirspurnir verða hægar og erfitt verður að vinna með gögnin.

Hvernig er hægt að ráða við þetta gagnamagn?
Og hvernig breytir maður hráum mæligildum í nothæfar upplýsingar, raunverulega innsýn og betri ákvarðanir?

Margir hafa valið þann kost að setja upp sérhæfða  tímaraðagagnagrunna (t.d. Influx) sem eru sérstaklega hannaðir fyrir svona gögn. Þeim fylgja ýmsir ókostir t.a.m. þurfa notendur yfirleitt að læra nýtt fyrirspurnarmál. Einnig henta þessir gagnagrunnar illa fyrir “venjuleg” gögn sem tengjast tímaröðunum.

Til að ráða við svona verkefni að þá höfum við verið að nota PostgreSQL + TimescaleDB. PostgreSQL er open source og TimescaleDB líka (community edition), og saman mynda þau gagnagrunn sem:

• Tekur á móti hundruðum milljóna færslna (eða milljarða)

• Gögn líta út eins og venjulegar SQL töflur

• Skiptir gögnum upp eftir tímabilum í smærri einingar

• Þjappar gögnum (allt að ~98%) - stundum úr mörg hundruð GB í tugi GB

• Uppfærir sjálfvirkt samantektir (aggregates) úr gögnum 

• Hægt er að nota hefðbundið SQL í fyrirspurnum

Þar sem hægt er að nota hefðbundið SQL í fyrirspurnum og vinna með tímaraðagögnin á sama hátt og önnur gögn í PostgreSQL. Það þýðir að IoT-gögn þurfa ekki að vera einangruð í sérkerfi, heldur geta þau unnið saman við önnur gagnasöfn.

Að auki er hægt að tengja tímaraðagögnin við:

• landupplýsingagögn (GIS), t.d. staðsetningu véla, mæla eða innviða

• texta- og leitargögn, t.d. atvikalýsingar og viðhaldsskrár

• gervigreind og greiningartól, sem gera kleift að finna mynstur, frávik og samhengi sem annars gætu farið fram hjá manni

Þetta opnar á allt aðra nálgun í greiningu og rekstri — þar sem gögnin eru ekki lengur bara mæligildi í töflu, heldur hluti af stærra samhengi sem hægt er að spyrja út í, tengja saman og vinna úr.

“Að geta unnið með IoT gögn í venjulegu PostgreSQL umhverfi einfaldar allt. Reksturinn verður skilvirkari þar sem teymið okkar nær að nýta þá Postgres þekkingu sem er til staðar og engin þörf er að læra að reka nýjan gagnagrunn og fá hann til að snúast.  Notendur sleppa við að læra nýtt fyrirspurnarmál og að tengja gögn handvirkt milli kerfa.”

Snorri Bergmann - gagnagrunssérfræðingur APRÓ

Þegar vélar byrja að tala og þú getur spurt þær til baka

Með MCP þjónustum og gervigreind tengt við PostgreSQL gagnagrunna erum við komin úr skýrslum yfir í samtöl við gögnin:

• Af hverju fór vélin á hliðina kl. 02:13?

• Hvað breyttist rétt áður en þetta bilaði?

• Hvar sjáum við fyrstu merki um slit?

• Hvaða vélar eru líklegar til að bila næst?

• Hvert var hitastig á Íslandi árið 2023 í samanburði við síðustu ár?

Ský eða on-prem? Sama lausn.

Keyrir í AWS og Azure ef það hentar, en oft on-prem, þar sem þú vilt oft að gögnin verði til nálægt vélum og mælum, bæði vegna latency og kostnaðar við stöðugan gagnaflutning í skýið.

Niðurstaða:

Með því að nota PostgreSQL með TimescaleDB fáum við getu til að vinna með tímaraðagögn  innan PostgreSQL-vistkerfisins. Það þýðir lægri leyfiskostnað, minni rekstraráhættu, meiri sveigjanleika og að sú þekking sem þegar er til staðar í teyminu nýtist áfram, í stað þess að þurfa að breyta um vinnulag og færa sig um tæknistakk.