Result details en HTML log zijn niet in overeenstemming

[HenriKorver]

Bug

Zie https://api-test.nl/server/f2edfdd4-55d6-4486-b265-02114400e7d2/. De twee onderstaande overzichten komen niet overeen!

[alextreme]

@stevenbal wees vrij om te controleren op api-test.nl, ik heb je eerdere oplossing voor dit probleem van staging naar productie doorgezet

[HenriKorver]

@alextreme na jouw uitrol naar productie lijken mijn scheduled tests verloren te zijn geraakt:

[HenriKorver]

Het lukt ook niet meer om een provider run te starten:

[HenriKorver]

Moeten we dit soort dingen niet eerst op staging uittesten? Nu werkt de productie omgeving niet meer

[stevenbal]

dat is idd een beter idee. Ik heb het voor nu gefixed op productie lijkt het, zou je nog eens een provider run kunnen maken @HenriKorver?

[HenriKorver]

Nee het lukt nog steeds niet @stevenbal
Ik krijg nog steeds dit scherm :

[stevenbal]

Dat is de bedoeling, ik heb environments toegevoegd als laag tussen test scenarios en provider runs, dus als je een provider run wilt starten moet je of een nieuw environment maken (en dus een naam invullen, bijv. productie) of een bestaand environment kiezen.

Als je een nieuw environment maakt dan krijg je het bekende scherm waarin je de endpoints en variabelen kunt invullen

[HenriKorver]

[stevenbal]

ik heb productie geupdate, kun je het nog eens proberen?

[HenriKorver]

Krijg nog steeds een 500 na het starten van dit scherm:

[stevenbal]

Over het verschil tussen de detail pagina en het HTML log: dit is een probleem binnen de newman HTML reporter zelf, omdat de resultaten op de detail pagina uit het JSON report van Newman gehaald zijn (die built-in newman zit)

[alextreme]

Besproken. Verzoek van Henri is om uit te zoeken waar de verschillen liggen tussen de newman HTML en de JSON output. Graag timeboxen tot max 2u.

[stevenbal]

Het is me niet meer gelukt om het verschil in aantal requests tussen de HTML en JSON logs te reproduceren, maar het verschil tussen Assertions failed en Failed tests zit hem in het feit dat de voor de JSON logs alleen gekeken wordt naar welke assertions falen, terwijl er bij het HTML report ook errors meegeteld worden, waardoor je per request meer dan een failure kan hebben

[alextreme]

@HenriKorver aan jou om aan te geven of deze uitleg zo voldoende is, of dat je wilt dat @stevenbal dit recht trekt.

[HenriKorver]

Verklaring van het verschil is nu helder, dank. Uiteindelijk zal dit verschil wel opgelost moeten worden want het geeft geen professionele uitstraling richting de eindgebruiker