Storing op VPS09 opgelost

Gisteravond rond 18:15 kwamen eindelijk de eerste sites weer online. Daarna moesten we nog wachten tot de DNS overal om was wat er voor zorgde dat de meeste sites rond 20:30 weer echt bereikbaar waren. Hieronder een "korte" samenvatting.

Wat is er gebeurd?

Oorzaak

Na uitgebreid onderzoek tot in de late uurtjes denken wij dat we het probleem voortkomt uit de e-mail functionaliteit van onze webserver. Een stukje standaard software daarvan is Roundcube, waarmee je e-mails kan bekijken via je browser. Beter bekend als webmail. Er zijn maar enkele klanten die dit gebruiken. De meeste klanten gebruiken inmiddels Google Suite of Microsoft Office 365. Andere gebruiken een e-mailclient op de computer zoals Outlook of Apple Mail om de e-mail te lezen.

.lilocked virus

Wij denken dat in Roundcube een e-mail met het .lilocked virus is geopend. Dit virus heeft gebruik gemaakt van het lek in Roundcube om binnen te komen op de server. Het heeft ervoor gezorgd dat de server niet meer te benaderen was. De 5 virusscanners op de server hebben dit virus helaas niet herkend. Het virus heeft alle bestanden op de server geëncrypt. Uiteindelijk hebben wij dit weer weten te decrypten. Dat lukte wel met de bestanden, maar niet met de databases. Hierbij was ons eerste plan om de gehele server te herstellen van de baan.

Back-up's terugzetten

Dit allemaal heeft er voor gezorgd dat we gisteren om 13:25 de knoop door moesten hakken om over te gaan naar plan B, de back-ups terugzetten. Om 07:30 waren we op voorhand begonnen met het optuigen van een nieuwe server, voor als het eventueel zover moest komen.

Gevolgen

Het grootste probleem is dat er 12 uur aan data verloren zijn gegaan. Gelukkig worden de belangrijkste dingen zoals bestellingen e.d. ook per e-mail verzonden waardoor deze nog terug te vinden zijn. Maar als een bezoeker bijvoorbeeld zijn wachtwoord heeft aangepast of een bestelling heeft gedaan en niet heeft afgerond is dit in rook opgegaan.

Daarnaast heeft voor álle klanten op deze machine de website er een een dag uit gelegen (van woensdag 18:30 tot minimaal donderdag 18:15).

En nu?

Naast alle maatregelen die we hebben genomen gaan we ook Roundcube uitschakelen. Dit zal betekenen dat de klanten die alleen gebruik maken van Roundcube hun e-mail niet kunnen openen. Maar zoals je begrijpt nemen wij dit erg serieus en kunnen wij niet anders. Deze klanten zullen naar een andere e-mailoplossing moeten overstappen zoals bijvoorbeeld Google Suite of Microsoft Office 365.

Op korte termijn gaan we een aantal technische aanpassingen doorvoeren om de beveiliging nog verder op te schroeven. Hiervoor zullen we, daar waar nodig, contact opnemen.

Met vriendelijke groet,
Het team van CM Specialist