Samenvatting
Op 28-12-2023 detecteerde onze externe monitoring software dat alle diensten geleverd vanuit de zone rtm1 niet meer bereikbaar waren. Hierdoor zijn alle diensten (DNS, webhosting (shared / private) en deel van onze websites getroffen.
| Start melding: | 28-12-2023 om 19:30 |
| Einde melding: | 29-12-2023 om 00:05 |
| Impact: | Groot |
Melding details
28-12-2023 om 19:30: Onze externe monitorings software detecteerd dat we geen verbinding meer hebben met al onze diensten in de zone rtm1. Hierdoor zijn alle diensten uit deze zone nu niet beschikbaar. Gezien de eerdere melding m.b.t. de smtp servers waren we reeds aan het onderzoeken wat er aan de hand is. We zien dat het datacenter sinds 18:00 uur spoed onderhoud heeft aangekondigd per direct en nu weer de zelfde problemen ervaren. Helaas is zowel de website, het ticket systeem als het telefoon nummer ook niet bereikbaar.
28-12-2023 om 19:45: Op dit moment zien we nog steeds geen beschikbaarheid in de zone rtm1. We proberen contact te krijgen met het datacenter.
28-12-2023 om 20:05: We zien een aantal diensten weer online komen. We hebben zeer beperkt contact gehad met het datacenter, maar een goede update bleef uit. We blijven de situatie monitoren en gaan dit uiteraard opvolgen met het datacenter.
28-12-2023 om 20:37: We zien alle diensten inmiddels sinds 30 minuten weer online zijn.
28-12-2023 om 21:32: We hebben helaas nog geen enkele update van het datacenter ontvangen, maar zien dat alle diensten op wat vertragingen na sinds 20:07 beschikbaar zijn. Als we meer informatie hebben updaten we deze melding.
28-12-2023 om 21:41: We zien helaas weer een verstoring op een aantal diensten in de zone rtm1 die toeneemt. We verwachten dan ook dat het netwerk in de regio rtm1 nog niet stabiel hersteld is.
28-12-2023 om 21:58: We zien langzaam weer diensten beschikbaar komen in de zone rtm1.
28-12-2023 om 22:43: Sinds 22:02 zien we dat alle diensten weer bereikbaar zijn. Wel nog met wat meer latency in sommige gevallen.
29-12-2023 om 00:05: Rond middernacht hebben we een kleine hickup in het netwerk verkeer waargenomen die inmiddels weer is hersteld.
29-12-2023 om 09:28: Vannacht zijn de diensten in het datacenter in regio rtm1 beschikbaar gebleven. Wel zien we dat niet alle diensten werken zoals je van ons mag verwachten. Zo zien we bijvoorbeeld op verbinding maken met de mailservers (imap / smtp grotere vertragingen dan normaal). Vanuit het datacenter hebben we een aantal updates ontvangen vannacht m.b.t. dit incident. Om 05:33 hebben we de melding ontvangen dat het netwerk stabiel is, maar nog niet alles werkt zoals je mag verwachten. Er wordt verder onderzoek gedaan naar de oorzaak. Naast de nog openstaande melding van 20 december zullen we ook voor deze storing contact zoeken met het datacenter voor een RCA / RFO.
29-12-2023 om 10:38: We hebben inmiddels een eerste reactie gehad van het datacenter dat er nog steeds hard gewerkt wordt aan een definitieve oplossing van de netwerk problemen en dat we op de hoogte worden gehouden van de voortgang.
30-12-2023 om 00:19: We hebben bericht ontvangen dat de verstoring inmiddels officieel is opgelost en dat we binnenkort een RFO zullen ontvangen.
05-01-2024 om 21:00: We hebben een RFO ontvangen waarin duidelijk wordt dat beide verstoringen aan elkaar gerelateerd zijn. We zullen deze melding sluiten en de status bijhouden in de originele storingsmelding.