Det var en gång...

Flera decennier inom QA ger en del dråpliga och insiktsgivande berättelser att förmedla. För min egen skull har jag börjat beskriva en del av dessa här.

Detta är en av dem.

Lasta ner ett webbhotell i produktion

Prestandatester är något som är väldigt kul. Där testautomatisering kräver att man har bra koll på utvecklings- och deploy-processerna handlar prestandatester istället mycket om att ha full förståelse för nätverkskomponenter och arkitektur.

En enda gång har jag fått i uppdrag att lasta ner ett helt webbhotell samtidigt - i produktion.

Jag var uppe hos Telia i Sundsvall och de hade byggt en ny lösning där nya noder spawnade igång när serverparken började bli överlastad. Detta behövde de testa under kontrollerade former.

Idag låter detta som en ganska enkel Kubernetes-konfiguration, men år 2001 var det dyrbart och tidsödande att bygga sådan funktionalitet.

Tyvärr fanns därför lösningen bara i produktion. Vi tänkte att om vi lastar systemet mitt i natten minimerar vi dels risken för uppmärksamhet om det skiter sig, och dels är sajterna som minst bakgrundsbelastade då så då kan vi enklare särskilja att vår last får avsedd verkan.

Mitt i natten satt vi alltså där och jag lastade mer och mer tills svarstiderna på samtliga sajter hostade av Telia på dessa noder hade svartider på över 30 sekunder. Det var över 3.000 välbesökta sajter som i någon timmes tid hade usla svarstider, men provisionering och orkestrering fungerade som avsett och vi kunde trappa ner lasten och gå hem och sova - med lite sovmorgon dagen efter.

Lärdom

Ska man testa i produktion bör man försöka riskminimera.