Det var en gång...

Flera decennier inom QA ger en del dråpliga och insiktsgivande berättelser att förmedla. För min egen skull har jag börjat besrkiva en del av dessa här.

Detta är en av dem.

Externa leverantörer - hur säkerställer man deras kvalitet

Det senaste decenniet har det blivit vanligare för organisationer att köpa in IT-stöd (och anpassa det) än att utveckla det själva. Det är nu många år sedan Gartner identifierade att över hälften av de pengar som läggs på IT inte passerar IT-avdelningen över huvud taget.

Första gången jag behövde kravställa kvalitetssäkring på ett inköpt system (tidigt 2010-tal) som var mycket anpassat för oss av leverantören. Systemet ansågs dessutom verksamhetskritiskt så ledningen kände att den behövde få insikt och påverkansmöjlighet i hur leverantören genomförde sina kvalitetssäkringsåtgärder.

Vi var ovana vid situationen och den började klassiskt med att försöka bedöma hur många A, B och C-fel som fick förekomma. Vi insåg snabbt att det var en knäpp situation som bara skulle leda till "wavering" (diskussioner om klassificering) och juridiskt merjobb utan att egentligen på något sätt säkra kvaliteten.

Nästa ansats var att överväga att kravställa att leverantören skulle ha testautomatisering. Även detta sköt vi dock ner. Köper man en tjänst är det befängt att beskriva för tjänsteleverantören hur de ska lägga upp sitt eget jobb. Det skulle liksom aldrig falla mig in att gå in på lagret i en butik jag handlar i och beskriva för dem hur de ska organisera sitt lager.

Vi fortsatte vår egen analys och konstaterade att det som var viktigt för oss var att snabbt kunna få fullt genomtestade patchar om vi upptäcker fel.

Det slutade således med att vårt huvudkrav var att alltid kunna få en fullt genomtestad omrelease inom tre dagar. Systemet var så omfattande att det inte vore rimligt att göra en full test inom tre dagar, om man inte hade en armé av testare. Det var dock en indisk leverantör och vi lade oss som sagt inte i hur de löste detta krav.

För säkerhets skull blev det även en del tilläggskrav, t.ex.:

• Rätten att ta del av deras testfall och testresultat
• Rätten att få testa våra krav på dem när som helst
• Viten/åtgärder i händelse av misskötsel gentemot kraven
• Rätten att besöka dem på plats och ta del av deras arbete

...och förmodligen en hel del till som jag glömt vid det här laget...

På det hela taget blev det faktiskt ganska bra och systemet var länge i drift.

Lärdom

Med "five whys" kommer man långt när det gäller att få reda på vad som egentligen är viktigt.