[BRMO-401] inefficiëntie BAG/BRK materialized views verbeteren en duplicaten voorkomen

[de-jacco]

• vb_util_zk_recht is uitgebreid met 2 case statements voor 2 nieuwe kolommen 'isgebaseerdop' en 'isgebaserdop2'.
• brk.mb_zr_rechth is uitgebreid met 2 kolommen 'tijdstipaanbieding' en 'tijdstipaanbieding2' en heeft nu de eerdere joins.
• mb_kadastraleonroerendezakenmetadres heeft nu een GROUP BY, om dubbellingen te voorkomen. Deze ontstaan als een verblijfsobject in meerdere panden zit.
• mb_onroerendezakenmetrechthebbenden is voorzien van de 2 nieuwe kolommen, maar zonder joins.
• mb_avg_onroerendezakenmetrechthebbenden is voorzien van dezelfde aanpassingen.

[de-jacco]

Er zullen ook update scripts gemaakt moeten worden.
@mprins is dat een eenvoudig script voor drop views en create views? of zitten daar nog haken en ogen aan? bv vanwege aanpassen van /datamodel/brk/.. bestanden?

[de-jacco]

in postgres build checks krijg ik deze error
psql:datamodel/brk/brk2.0_postgresql_views.sql:581: ERROR: column "aantekeningen" specified more than once
maar daar heb ik niet aan gezeten...?

[mprins]

overbodige casts zoals ::character varying en ::text verwijderen; de groupby uitlijnen op verschillende plaatsen en de syntax fouten oplossen.
oa.

psql:datamodel/brk/brk2.0_postgresql_views.sql:581: ERROR:  column "aantekeningen" specified more than once
Error: Process completed with exit code 3.

    zr_identif,
           *
ERROR at line 3:
ORA-01730: invalid number of column names specified
Help: https://docs.oracle.com/error-help/db/ora-01730/

[mprins]

Er zullen ook update scripts gemaakt moeten worden. @mprins is dat een eenvoudig script voor drop views en create views? of zitten daar nog haken en ogen aan? bv vanwege aanpassen van /datamodel/brk/.. bestanden?

upgrade scripts in de juiste files onder https://github.com/B3Partners/brmo/tree/master/datamodel/upgrade_scripts/6.0.1-6.0.2 toevoegen.

Als je een view van pgsql aanpast zullen alle views die die view gebruiken ook gedropped moeten worden, en in de juiste volgorde; de upgrade scripts worden automatisch getest, bijv. https://github.com/B3Partners/brmo/actions/workflows/upgrade-oracle.yml

[de-jacco]

error:
psql:datamodel/brk/brk2.0_postgresql_views.sql:581: ERROR: column "aantekeningen" specified more than once

1: de view waar regel 581 toe behoort heeft uitgebreide stukken betreft 'aantekeningen'.
volgens 'view changes' in github is regel 581 nieteens aangepast, en daar staat na officiele telling, 0 keer de tekst 'aantekeningen'

2: volgens de 'view changes' in github is in mijn changes geen enkele keer de tekst 'aantekeningen' voorgekomen. (0 keer toegevoegd, en 0 keer verwijderd)

3: de stukken waar 'aantekeningen' wel in genoemd wordt, zijn voor geen byte of pixel gemuteerd in deze PR.

ook geen enkele verwijzing naar bijvoorbeeld waar 'aantekeningen' nu more than once specified is
dit ruikt naar smaad en laster, en ik verklaar github gekker dan mijn vriendin

[de-jacco]

Daarnaast een error in de oracle builds.

    st2.tijdstipaanbieding			      AS tijdstipaanbieding2,

ERROR at line 45:
ORA-00904: "ST2"."TIJDSTIPAANBIEDING": invalid identifier"

Hier kom ik niet uit waarom dit mis zou gaan. het is een nieuwe column die via nieuwe joins wordt gekoppeld (st2). deze is op de zelfde wijze ingebouwd als bij postgres.

ik weet (nog) geen oracle builds te maken om te troubleshooten

[de-jacco]

Op verzoek van @KJLammers deze PR heropend om te publiceren.
@KJLammers kan je naar mijn voorgaande verzoek kijken? Je nieuwe views krijg ik ivm de group-by niet in oracle werkend.

[codecov]

Codecov Report

✅ All modified and coverable lines are covered by tests.
✅ Project coverage is 37%. Comparing base (ee3189e) to head (0b11316).

Additional details and impacted files

@@           Coverage Diff            @@
##             master   #2617   +/-   ##
========================================
+ Coverage        37%     37%   +1%     
  Complexity       74      74           
========================================
  Files           199     199           
  Lines         13551   13551           
  Branches       1431    1431           
========================================
+ Hits           4907    4908    +1     
  Misses         8236    8236           
+ Partials        408     407    -1     

see 1 file with indirect coverage changes

🚀 New features to boost your workflow:

• ❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.
• 📦 JS Bundle Analysis: Save yourself from yourself by tracking and limiting bundle sizes in JS merges.

toegepast

[de-jacco]

In overleg met Kees-Jan is besloten de group-by toevoeging weg te halen in mb_kadastraleonroerendezakenmetadres.
Deze werkt nog niet in oracle en zal mogelijk tzt herzien worden.

[de-jacco]

ik krijg error "ORA-00904: "ZRR"."TIJDSTIPAANBIEDING2": invalid identifier" in de check

dit terwijl tijdstipaanbieding2 wel in de view voorkomt waarnaar gerefereerd wordt

@mprins ik kan deze rommel niet opruimen ik kom er met AI ook niet uit. dit is ook niet mijn bouwsel geweest. kan jij het afmaken zodat de checks gewoon goed gaan?

[mprins]

lokaal een oracle instaltie in de lucht brenhen met onderstaande (shell en Maven) scripts:

mvn clean install -Dmaven.test.skip=true -Ddocker.skip=true -Dtest.onlyITs= -B -V -fae -Poracle -DskipQA=true
projectversion=$(grep "<version>.*<.version>" -m1 pom.xml | sed -e "s/^.*<version/<version/" | cut -f2 -d">"| cut -f1 -d"<")
echo $projectversion
export PROJECTVERSION=$projectversion
sed -i s/\${project.version}/$projectversion/g ./brmo-persistence/db/create-brmo-persistence-oracle.sql
sed -i s/\${project.version}/$projectversion/g ./datamodel/brk/brk2.0_oracle.sql
./.build/ci/oracle-start-docker.sh oracle-free:23.26.2-full
./.build/ci/oracle-setup.sh
mvn -e verify -B -Poracle -T1 -Dtest.onlyITs=true -pl 'bag2-loader' -DskipQA=true
./.build/ci/oracle-setup-bag2_views.sh

daarmee zouden alle "standaard" tabellen en views aangemaakt moeten worden, "extra: views moeten met de hand gemaakt worden

[mprins]

Zijn er nog Jira tickets die hiermee worden afgesloten? dan is het handig om die in de titel van deze PR op te nemen, verder zijn alle relevante vinkjes groen 🟩 dus wat mij betreft 💚

[de-jacco]

@KJLammers deze PR is klaar om gemerged te worden

[KJLammers]

@de-jacco
Dan graag mergen