Performance dashboardy

[jsuchal]

Bolo by fajn rozbehat (je to opensource cele?) nieco ako https://www.gov.uk/performance a napojit na to data z data.gov.sk / https://metais.finance.gov.sk/

Napady:

• pocet aktivovanych schranok
• pocet sprav v schranok
• pocet odoslanych sprav
• navstevnost stranok (nieco je na data.gov.sk)
• pocty podani

Dalsie napady co sledovat?

[jangaraj]

Je mozne poziadat o povolenie cross requestov (CORS headers) z https://metais.finance.gov.sk/?

Ak by to bolo, tak by sa to dalo pouzit na vsetky dostupne data z metais - dal by sa na tom urobit kompletne novy frontend (static html, jquery, bootstrap + nejaka lib na grafy):

$.getJSON( "https://metais.finance.gov.sk/monitoring/param-value/list?entityRef=baafb479-407a-43bb-891d-b21571eb1491&parameterTypeId=18&intervalStart=2016-07-31&intervalEnd=2016-09-07&sortAttr=intervalStart&sortAsc=true&perPageSize=100000", function( json ) {
  console.log( "JSON Data: " + json );
});

Nebude to vsak duplicitna funkcionalita, ktore je uz teraz dostupna ako monitoring reporty https://metais.finance.gov.sk/monitoras?

[jsuchal]

Duplikovat funkcionalitu velmi nechceme. Zdroje som len nahadzal kvôli tomu co by sme chceli. Na cors by som sa nespoliehal, ale ani to není kritické.

[jangaraj]

A co verejna Grafana (ako univerzalna a najpopularnejsia platforma na vizualizaciu time series dat) + custom Grafana datasources (pripadne najnovsie aj apps)?

public snaphost: https://snapshot.raintank.io/dashboard/snapshot/cV9J7B3jsaxxbyEbtEkNSfyHop0h6gxR
metais POC https://github.com/jangaraj/simple-json-datasource:

^ BTW kvalita dat z metais velmi kolise (frekvencia metrik, prazdne obdobia, ziadne hodnoty, ...)

[jsuchal]

@jangaraj toto je slusne, ale grafana aj metais trpia tym istym, je to take trosku necitatelne pre bezneho smrtelnika. S @Xubor sme prave riesili, ze mame v principe 2 veci: ad-hoc analyzy - tam je fajn pouzivat nejake Jypyter/ipython notebooks (chystame, ukazka tu https://github.com/sevo/datahub-sd-jupyter/blob/master/datahub-sample.ipynb) a potom veci co sledujeme pravidelne, kde by sa uzivili nejaky dashboard - ale naozaj pre BFU. Grafana je proste monitorovatko pre technokratov/devops.

a + teda kvalita dat je problem stale.

Zatial sa nam najviac pozdavaju tie Jupyter notebooks, lebo na githube to priamo vedia renderovat, mas cely fork/pullrequest flow, etc etc.

[jangaraj]

Ja suhlasim s Jupyter-om. Ma podporu viacero jazykov, takze aj technokrati si pridu na svoje (napr. R s hotovym ckanr modulom, ktory bude tahat data cez API z data.gov.sk).

[jsuchal]

Mas s tym nejake skusenosti?

[jangaraj]

S Jupyterom/CKAN nie, s R ano.

[xar]

ahoj chcem sa spytat ci sa tym bfu dashboardom mysli nieco taketo => https://dashboardmetais-tsbmyqnjot.now.sh/#/ . Ak ano mozem v tom pokracovat a spravit to rozumne ( dorobit filtre, dalsie sluzby, labele dat podla mesiacov... )

[xar]

... inac http://www.cyclotron.io/

[jsuchal]

@jangaraj pocuj tie data nejako prestali tiect? V tom dashboarde vidim naposledy nieco zo septembra.

@xar na tvojej linke nevidim tiez nic. cyclotron vyzera celkom fajn.

[jsuchal]

@xar aaa, tak uz sa to nacitalo. No grafy su to fajn, ale asi by sme na to mali nejakeho grafika dostat. Oproti gov.uk/performance je to take dost programatorske ui :)

[jangaraj]

https://snapshot.raintank.io/dashboard/snapshot/cV9J7B3jsaxxbyEbtEkNSfyHop0h6gxR je iba snapshot, to zial nie su live data.

A co forknut https://github.com/18F/analytics.usa.gov ?

[jsuchal]

@jangaraj no prave to su len navstevnost statistiky, mne sa paci ovela viac https://www.gov.uk/performance/hmrc-pay-as-you-earn-paye aj by to mohli mat niekde na githube

[jangaraj]

OK, tak forknime UK https://github.com/alphagov:

• frontend - static github page
  responzivny UK template https://github.com/alphagov/govuk_template + x statickych stranok, zakladny index.html pre netechnickych ludi + pripadne dalsie stranky pre technokratov kde si kazdy frontend technokrat moze pouzit svoju oblubenu library (cyclotron, d3js, grafana, ...) na vizualizaciu dat, ktore budu dostupne ako json subor(y) v repo (alebo priamo metais ak povolia CORS).
• backend - skript(y)
  bude spusteny raz denne a jeho ulohou bude iba vygenerovat aktualne data json subory
  pripadne skripty na generovanie frontendu pomocou non js technologii - Jupyter, ...

=> framework, ktoreho prevadzka nestoji nic + takmer ziadny technologicky lock + plne otvorene pre hackerov a technokratov na dalsi rozvoj

Podobny koncept mam viac ako rok nasadeny na https://github.com/monitoringartist/zabbix-searcher - frontend je staticka responzivna stranka s jquery, pre ktoru data (json subor) pripravuje a validuje python skript raz denne na vybranom CI nastroji

[jsuchal]

@jangaraj hladam na alphagov ci nemaju aj template na tie metrics stranky ale zatial marne.

[jangaraj]

Je to pravdepodobne https://github.com/alphagov/spotlight + https://github.com/alphagov/spotlight-config

[jsuchal]

@jangaraj vyzera to tak, len kukam ze pod tym je este nejaky backend. To by sme mozno vedeli nasimulovat.

[jsuchal]

@jangaraj tak som ozivil na metabase na https://bi.ekosystem.slovensko.digital chces pristup?

daju sa tam taketo pekne veci robit.

Keby sme do datahubu vedeli tlacit data z metais tak vieme celkom lahko "grafovat". A vyzera to aspon trochu dobre. Cakam vsak na metabase 23 release - ten ma uz aj public linkovanie dashboardov