smartTERRA Status

Beeinträchtigung der Anbindung am Standort DUS2 (KPN)

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 19.11.2011, 17:09 Uhr
Ende: 19.11.2011, 17:17 Uhr
Dauer: 8 Minuten

Wir verzeichnen derzeit eine Attack auf Zielnetze an unserem Standort DUS2, sodass es zu Paketverlusten und höheren Latenzzeiten kommt. Wie arbeiten daran und bitten um etwas Geduld.

UPDATE:
Es hat sich bei dem Angriff um eine dDoS Attacke auf einen unserer Kunden gehandelt. Den Angriff haben wir zwar schon seit letzter Nacht beobachten müssen, dies hatte jedoch keine Auswirkungen auf unsere Infrastruktur bzw. haben die von uns ergriffenen Filtermaßnahmen gut funktioniert.

Nun wurde aber die Art des Angriffs so abgeändert, dass uns eine effektive Filterung nicht mehr möglich war. Wir haben nun, in Absprache mit dem Kunden, das Zielnetz aus dem Routing genommen, so dass die dDoS Pakete bereits an unseren Borderroutern verworfen werden.

Beeinträchtigung der Anbindung

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 03.11.2011, 11:40 Uhr
Ende: 03.11.2011, 12:37 Uhr
Dauer: 57 Minuten

Heute Vormittag mussten wir eine Fehlfunktion einer unserer Router beobachten. Davon betroffen waren alle Verbindungen, die am Standort Frankfurt über den DeCIX und die DTAG in unser Netz kamen.

Leider hat der Router seine Arbeit nicht komplett eingestellt, so dass die in den von uns genutzten Routingprotokollen genutzten Failover-Funktionalitäten leider nicht greifen konnten.

Wir haben den betroffenen Router außer Betrieb genommen und leiten unseren Datenverkehr akutell über andere Upstreams und Peerings. Verbindungen zur DTAG werden nun über unsere zweiten DTAG-Kopplung in Düsseldorf geroutet.

Derzeit analysieren das Problem detailliert, um die weitere Vorgehensweise abzustimmen.

Beeinträchtigung der Anbindung am Standort DUS2 (KPN)

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 10.09.2011, 15:21 Uhr
Ende: 10.09.2011, 15:35 Uhr
Dauer: 14 Minuten

Wir verzeichnen derzeit eine Attack auf unsere Firewalls am Standort DUS2, sodass es zu Paketverlusten und höheren Latenzenzeiten kommt. Wie arbeiten daran und bitten um etwas Geduld.

UPDATE:
Es hat sich bei dem Angriff um eine DoS Attacke auf einen unserer Kunden gehandelt. Der Angriff war so groß dimensioniert, dass die Session Tabelle unseres Juniper Netscreen Firewall Clusters voll gelaufen ist und keine neuen Verbindungen zugelassen hat.

Wir haben nun, in Absprache mit dem Kunden, das Zielnetz aus dem Routing genommen, so dass die DoS Pakete bereits an unseren Borderroutern verworfen werden.

Umzugsarbeiten dauern länger als geplant

Vor rund einer Woche hatten wir für einen unserer Webserver den Umzug auf ein aktuelles System angekündigt. Obwohl wir die Arbeiten gestern Abend um 22 Uhr begonnen haben, ist die Migration bis jetzt noch nicht abgeschlossen.

Wir bitte um Entschuldigung für unsere Fehleinschätzung des benötigten Zeitraums und bitte noch um etwas Geduld.

UPDATE: Die Migration konnte erfolgreich abgeschlossen werden.

Störung im Bereich Shared Hosting Business Kunden

Aktuell ist bei einem der Shared Webspace Server für Geschäftskunden einer der Webserver ausgefallen. Wir arbeiten an dem Problem.

UPDATE:
Durch eine überdurchschnittlich hohe Anzahl an Zugriffen auf den Webspace eines einzeln Kunden ist der Server so weit ausgelastet, dass auch andere Webseiten nicht mehr in einer akzeptablen Zeitspanne ausgeliefert werden können.

Aus diesem Grund haben wir dem System mehr CPU- und RAM-Ressourcen zugewiesen, müssen dieses dazu ab rebooten. Dies nimmt leider einige Zeit in Anspruch. Wir bitte um etwas Geduld.

UPDATE2:
Das betroffene System ist nun wieder verfügbar, ausgestattet mit der doppelten Anzahl an Ressourcen.

UPDATE3:
Leider sind auch die deutlich erweiterten Ressourcen nicht ausreichend, um das System gewohnt performant zu betreiben. Wir haben, nach Rücksprache mit dem Kunden, das verursachende Web deaktiviert und migrieren den Kunden auf einen eigenen Server.

Alles im grünen Bereich

Auf der Status Seite von smartTERRA ist es in den letzten Monaten ziemlich ruhig geworden. Dies liegt daran, dass wir Ankündigungen zu Wartungsarbeiten mittlerweile über eine interne Mailingliste an die Kunden kommunizieren, und es einfach keine Störungen und Ausfälle gab, über die es zu berichten lohnte :-)

Störung der Anbindung an den Standorten DUS2 (KPN)

Kategorie: Störung
Betroffen: Standort DUS2 (KPN)
Kritisch: ja
Beginn: 06.01.2011, 17:40 Uhr
Ende: 06.01.2011, 17:50 Uhr
Dauer: 10 Minuten

Auf Grund eines Problems mit einer zentralen Komponente in unserem Backbone verzeichnen wir aktuell einen Ausfall der Anbindung am Standort DUS2 (KPN). Wir arbeiten mit Hochdruck an der Beseitigung des Problems und bitten um Geduld.

Bei dem kontrollierten Schwenk unseres zentralen Firewallclusters gab es ein Problem, so dass die Pakete über eine eigentlich inaktive Node geroutet wurden. Diese hatte aber keine Verbindung mehr zu unseren Core-Switchen, so dass das Routing in eine Sackgasse führte.

Das Problem wurde mittlerweile behoben, die Ursache identifiziert und eine Wiederholung durch entsprechende Absicherung ausgeschlossen.

Wir bitten für die Unannehmlichkeiten um Entschuldigung!

Ankündigungen Umzugsarbeiten

Kategorie: Wartungsarbeiten
Betroffen: Standort DUS1 (Equinix)
Kritisch: ja
Beginn: 18.09.2010, 21:00 Uhr
Ende: 19.09.2010, 04:00 Uhr
Dauer: 7 Stunden

Nach vielen Jahren der zufriedenen Nutzung unserer Colocation-Flächen innerhalb des Equinix Rechenzentrums in Düsseldorf freuen wir uns sehr, Sie hiermit über die bereits schon im Juli erfolgte Inbetriebnahme neuer Rechenzentrumsflächen an einem zweitem Standort in Düsseldorf informieren zu dürfen. Mitte Juni haben wir den neuen Standort im Rechenzentrum von KPN erschlossen und unsere Infrastruktur ausführlich getestet. Seit Anfang Juli befinden sich dort schon die ersten Kundensysteme. Der neue Standort befindet sich also schon im Produktivbetrieb und hat sich in der Praxis bewährt.

Der Hintergrund dafür sind knapp gewordene Kapazitäten sowie individuelle Anforderungen, die sich auf den bisherigen Flächen nicht realisieren lassen haben. Um ein langfristiges Wachstum und den sich veränderten Anforderungen moderner Serversysteme noch besser gerecht werden zu können, werden wir zukünftig alle Serversysteme einheitlich auf den neuen Flächen betreiben.

Um Ihnen einen bestmöglichen Service und eine höchstmögliche Verfügbarkeit bieten zu können ist leider einmalig ein Umzug sämtlicher Serversyteme von den alten in die neuen Flächen erforderlich. Dieser Umzug wurde von uns umfassend geplant und wird für Sie so wenig wie möglich spürbar sein. Durch eine frühzeitige Information möchten wir jedoch sicher stellen, dass die unagenehmen Betriebsunterbrechnungen zumindest nicht unvorbereitet kommen, sondern für Sie planbar sind. Die Umzüge erfolgen nach einem exakt ausgearbeiteten Plan. Dabei sind unsere Fachleute direkt vor Ort und betreuen sämtliche Schritte.

Wir koordinieren die Umzüge von Kundenservern unmittelbar mit den betroffenen Kunden direkt. Allerdings werden wird an dem o.g. Datum auch Teile unserer internen und öffentlich verfügbaren Infrastruktur umziehen, so dass wir an dieser Stelle alle Kunden darüber informieren möchten.

So werden in dem angegebenem Zeitraum unsere Web- und Mailserver nicht verfügbar sein. Weiterhin sind andere Kommunikationsdienste wie z.B. Jabber und unsere Telefonanlage betroffen. Auch interne und externe DNS Server werden nicht verfügbar sein. Die Erreichbarkeit Ihrer Domains ist aber natürlich gewährleistet, betreiben wir noch in Amsterdam und London weitere DNS Server, welche von den Arbeiten nicht betroffen sind.

(teilweise) Störung der Anbindung an den Standorten DUS1 (Equinix) und DUS2 (KPN)

-- English version below --

Sehr geehrte Damen und Herren,

mit dieser E-Mail möchten wir Sie über folgende Störung informieren:

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix) + DUS2 (KPN) - Verbindungen über den DeCIX
Kritisch: ja, teilweise
Beginn: 24.08.2010, 14:07 Uhr
Ende: 24.08.2010, 14:45 Uhr
Dauer: 38 Minuten

Auf Grund des kurzzeitigen Ausfalls einer Transportstrecke von Frankfurt nach Düsseldorf konnten Verbindungen, welche über den DeCIX zu uns geroutet wurden, ihr Ziel nicht erreichen. Die Verbindung nach Frankfurt war zwar sehr schnell (binnen zwei Minuten) wieder verfügbar, jedoch hat seit dem der Router in Frankfurt ein für uns nicht sofort nachvollziehbares Problem gehabt. Aber sobald die Quelle der Störung lokalisiert werden konnte, haben wir die Sessions zu diesem Router herunter gefahren. Danach war die Anbindung in Düsseldorf wieder wie gewohnt in alle Teile des Internets einwandfrei.

Wir bitten diesen kurzen (teilweisen) Ausfall zu entschuldigen.

In der Zwischenzeit haben wir das Problem weiter untersucht und behoben, so dass nun auch die Sessions nach Frankfurt und damit Peerings über den DeCIX wieder aktiv sind.

-- English version --

Dear Madam, Dear Sir,

with this E-Mail we would like to inform you about an outage:

Category: Outage
Concerned: location, DUS1 (Equinix) + DUS2 (KPN) - Connections via DeCIX
Critical: yes, partially
Start: 24.10.2010, 14:07 o'clock CEST
End: 24.10.2010, 14:45 o'clock CEST
Duration: 38 minutes

Because of a short interruption of a transport roadway between Frankfurt and Düsseldorf, connections reaching us via DeCIX cannot failed. The connection to Frankfurt was up and running again promptly (it took only 2 minutes), but the router in Frankfurt had some kind of trouble which we didn't recognized at once. But as soon as the origin of this problem was localized we shut down our bgp sessions to the router, and the connection to Düsseldorf was clean as usual.

We apologize for the trouble caused.

In the meantime we debugged the problem in all and were able to solve it. So the connection to Frankfurt is in use again.

Beeinträchtigung der Anbindung am Standort DUS1 (Equinix)

Kategorie: Störung
Betroffen: Standort DUS1 (Equinix)
Kritisch: ja
Beginn: 19.08.2010, 16:21 Uhr
Ende: 19.08.2010, 16:46 Uhr
Dauer: 25 Minuten

Wir mussten heute ab 16:21 Uhr eine UDP Flood Attack auf unsere Firewalls feststellen, sodass es durch die hohe CPU Last zu Paketverlusten und höheren Latenzenzeiten kam. Der verursachende Kunde wurde zeitnah identifiziert, und das Problem behoben. Seit 16:46 Uhr Uhr sollten alle Dienste wieder in gewohnter Qualität erreichbar sein.

Wir bitten diese Unannehmlichkeit zu entschuldigen. Wir haben den Vorfall an den Hersteller der Firewalls, Juniper, eskaliert um zu prüfen, wie die Firewalls trotz aktivierter UDP Flood Protection durch diese Attack in die Knie gezwungen werden konnten.

-- English version --

Dear Madam, Dear Sir,

with this E-Mail we would like to inform you about an outage:

Category: Outage
Concerned: location, DUS1 (Equinix)
Critical: yes
Start: 19.10.2010, 16:21 o'clock CEST
End: 19.10.2010, 16:46 o'clock CEST
Duration: 25 minutes

We had to recognize an UDP flood attack at our firewall today. This causes very high cpu loa don the firewalls, so that there was packet loss and high latency times. The causing customer was identified and the problem was solved. Since 16:46 o'clock all services should be available again in usual quality.

We apologizeAE for the trouble caused. We raised a ticket at the vendor of the firewalls, Juniper, to clarify how this can cause so much trouble even though there is an active udp flood protection.