Umzug aus der Sicht der Technik

Für genug Koffein ist gesorgt!

nachdem wir ja sonst sehr darauf bedacht sind unsere Techniker im Keller eingesperrt zu lassen  – dafür werden sie aber mit reichlich Pizza und Club-Mate versorgt – haben wir uns gedacht, dass zur Feier des Tages auch mal die Technik einen Blogbeitrag schreiben darf:

___________________

Hi,

ich werde euch heute ein bisschen was zum Serverumzug von COSMiQ erzählen.

Die Idee stand schon eine ganze Weile im Raum, bis dann endlich im Mai 2012 die Entscheidung getroffen wurde, dass COSMiQ umzieht.

Recht schnell stand fest, dass das in kleinen Schritten Anfang September starten soll.

Ein Problem der bisherigen Infrastruktur war, dass sie historisch gewachsen ist: Ganz alte Systeme wurden mit ziemlich alten und recht alten Rechnern erweitert und am Ende stand ein bunt zusammengewürfelter Haufen von rund 30 Servern herum, die sich teilweise auch in einem Museum gut gemacht hätten. Und getreu nach dem Motto „Never touch a running System“ wurde in letzter Zeit nur sehr vorsichtig an diesem Konstrukt gerüttelt. Anfang August kamen dann 4 neue Server an. Nun klingt es erst mal komisch, dass 4 neue Server die Arbeit von 30 alten übernehmen sollen. Allerdings sind diese neuen Server absolut „State-of-the-Art“: 16 CPU Kerne, 64GB Arbeitsspeicher & schnelle SSD und SAS-Platten. Dagegen standen bisher teilweise Rechner mit Intel Celeron & 1GB RAM.

Letztlich muss man sagen, dass diese 4 neuen Rechner der bisherigen Infrastruktur weit überlegen sind und dabei nur noch einen Bruchteil an Strom verbrauchen.

Im September ging’s dann endlich los: Die ersten VMs (Virtuellen Maschinen) & Datenbanken wurden aufgesetzt! Jetzt konnten die ersten Teile unseres neuen Konfigurationssystem getestet werden (Für die Techies: Wir verwenden dafür Chef). Unser ehrgeiziges Ziel ist, dass wir einen Server (oder auch ’nur‘ eine VM) 15 Minuten nach dem auspacken im Produktivbetrieb haben. Man könnte das ganze durchaus als private Cloud bezeichnen oder „So wie Amazon EC2“ – allerdings wissen wir wo unsere sensiblen Userdaten liegen. ;)

Mitte September konnte man schon die ersten Seiten betrachten, die das neue System ausgeliefert hat.  Ausserdem waren die beiden Datenbankserver inzwischen als Cluster aufgesetzt (wir sind vom guten alten MySQL und MyISAM weg und hin zu XtraDB + InnoDB) und schnurrten vor sich hin.

Es kamen ein paar wichtige andere Projekte und die Vorbereitung auf die International PHP Conference dazwischen, so dass nach nur kleinen Fortschritten Anfang Oktober (DNS wurde umgezogen, das ganze Admin-Backend wurde geprüft, etc.) dann die heiße Phase am 19. Oktober begann. An einigen Stellen waren noch hardcodierte Werte, die durch Variablen unseres Chefservers ersetzt wurden. Teilweise waren noch nicht alle Systeme redundant ausgelegt und es stand auch noch ein richtiger Test durch die verschiedenen Abteilungen an.

Am 21. Oktober wurde schonmal testweise die Live-Datenbank auf die neuen Server kopiert, um zu sehen, ob alles so klappt wie gewollt und wie lange es in etwa dauern wird. Auf dieser Datenbasis hat dann auch unser Produktmanager seine Abnahme gemacht und grünes Licht für den Umzug gegeben.

Der eigentliche Umzug am 24. Oktober lief dann in etwa so ab:

  • 00:00 Es geht los! Ich logge mich auf die alten Server ein und bereite den Read-Only-Modus vor.
  • 00:14 Der Read-Only-Modus zickt ein wenig, teilweise kommen User in eine Endlosschleife :(
  • 00:20 Ein Backup der Datenbank wird angelegt.
  • 00:25 Parallel zum Backup wird die Testdatenbank auf den neuen Systemen geleert.
  • 00:35 Die erste (kleine) Datenbank ist eingespielt, hat problemlos geklappt.
  • 00:40 Das Backup der großen Datenbank ist fertig, nun muss es von Hamburg nach Nürnberg kopiert werden.
  • 01:00 Das Kopieren ist endlich fertig, das Backup kann eingespielt werden (und damit beginnt die Däumchendreh-Zeit … Das Einspielen hat an den vorherigen Tagen ca. 2.5-3 Stunden gedauert)
  • 02:10 Natürlich klappt nicht alles wie erwartet, das Einspielen hat sich mit einem Fehler verabschiedet. Also das Ganze von vorne :(
  • 05:00 Yay! Datenbank ist fertig. Es kann endlich weitergehen.
  • 05:06 Die DNS-Einträge zeigen jetzt auf die neue Plattform. Es kommen die ersten Besucher. :)
  • 05:20 Es tauchen die ein paar kleine Probleme auf (was zu erwarten war, bei der Komplexität der alten Infrastruktur).
  • 05:50 Inzwischen wurden auch schon die ersten Fragen gestellt. Es scheint so weit zu laufen.
  • 08:00 Ich mach mich auf den Weg ins Büro (Das ist das Schöne an der neuen IT-Welt …. man kann auch alles von zu Hause aus machen).
  • 10:00 Der Support meldet auch noch ein paar Unstimmigkeiten, allerdings erstmal nichts Kritisches. Mir fallen die Augen zu, an die Probleme müssen meine Kollegen ran.

Wie ihr seht, lief der Umzug nicht reibungslos und das ein oder andere Feature sträubt sich noch. Allerdings muss ich sagen, dass es für einen Umzug in dieser Größe erstaunlich glatt ablief. :)

Soviel dazu. Die nächsten Tage werden noch ein paar Kleinigkeiten gefixt und ein paar Systeme die nur indirekt mit COSMiQ zusammenhängen, müssen auch noch übergesiedelt werden. An Arbeit wird es also leider nicht mangeln …

Viel Spaß mit den neuen Servern,

Euer COSMiQ-Techniker

___________________

Und natürlich wünschen auch wir Euch viel Spaß mit der Website, die nun auf modernen Maschinen läuft.

Bitte vergesst nicht, uns Wehwehchen per E-Mail zu melden.

Liebe Grüße
Euer COSMiQ-Team.

22 thoughts on “Umzug aus der Sicht der Technik

  1. Hallo Cosmiq-Team,
    das hat ja hervorragend geklappt. Klasse! Die kleinen Wehwehchen, die hier und da noch nicht so ganz „rund“ laufen, kriegt Ihr bestimmt auch noch in den Griff. Na dann auf ins neue Cosmiq-Vergnügen. :)
    LG Shalima

  2. Hallo MrPointfighter100,

    herzlichen Glückwunsch zum Einstein und weiterhin viel Spaß auf COSMiQ (wir suchen auch schon nach deiner Gratulationsfrage ;-))

    Wir freuen uns auch, dass alles reibungslos geklappt hat – es gibt aber noch einen kleinen Bug, auf den wir hiermit gerne aufmerksam machen wollen:

    Der Upload von Bildern funktioniert noch nicht und wird noch überarbeitet. Wir hoffen sehr, dass Ihr noch ein wenig Geduld mit uns habt!

    Noch einmal viel Spaß :-)

    Viele Grüße
    Euer COSMiQ-Team

  3. Wow, jetzt kann man ja einigermaßen normal auf cosmiq surfen! Dass ich das noch erleben darf.
    Grüße

  4. Hi, Ihr großartigen Techniker!
    Der Button „zurück zur Liste“ fehlt. Bitte gebt ihn uns zurück!

    Ansonsten *Daumenhoch*

    LG aquana

  5. Hallo Technik, bei mir läuft alles langsamer als Zeitlupe.
    Sind das noch die Nachwehen?
    Daumen runter

  6. Hallo Sofia4711,

    eigentlich läuft alles flüssig, komisch, dass du Schwierigkeiten hast.

    Hast du mal Browser-Cache und Cookies gelöscht?
    Liegt es vielleicht an deiner Internetverbindung?
    Hast du auf anderen Seiten auch die Geschwindigkeit beim Seitenaufbau?

    Gerne kannst du uns für detaillierte Auskünfte auch eine Mail an info@cosmiq.de schreiben.

    Viele Grüße
    Dein COSMiQ-Team

  7. Vielen Dank für Eure Mühe, die Ihr Euch macht.
    Auch ich halte Euch die Daumen, dass alles gut klappt mit dem Umzug und mit der Technik :-)
    LG

  8. Ich hätte nur mal eine Frage:“ Wie lange wird es noch dauern, bis wir endlich wieder Bildchen hochladen können :-)? „Ich will ja nicht drängeln, aber wissen würde ich es ja schon mal gerne ;-)!
    Ich wünsche Euch allen einen schönen Abend. LG

  9. Hallo Lorie,

    tja, das können wir dir nicht direkt beantworten. Wir können dir nur versichern, dass wir dran arbeiten und selbst hoffen, dass es die Funktion bald wieder fehlerfrei gibt. Wir möchten ja auch gerne ein paar schöne Bilder an Einsteins verteilen. :-)

    Viele Grüße
    Dein COSMiQ-Team

  10. Hi cosmiqant –

    großen Respekt, tolle Arbeit! Ich weiß, was so ein Projekt bedeutet. Und denke daran – wie heißt es bei uns Kollegen so schön – das was bei Eurem Umzug aufgetreten ist:
    It’s not a bug, ist a feauture.

    Beste Grüße – Thomas

  11. Lieber Cosmiq-Techniker,

    auch wenn ich nicht jeden Begriff aus deinem Bericht im Blog verstanden habe möchte ich dir doch danken dass du es innerhlab von 10 Stunden geschafft hast COSMIQ auf einen anderen Server „umzulegen“. Dafür meinen größten Respekt. Jetzt müsste es nur noch klappen das Bilder wieder hochgeladen werden können ohne das ein Fehler beim Umwandeln entsteht, dann wäre ich rundum glücklich.

    Liebe Grüße
    Tilo24

  12. @Cosmiqant

    Was macht man eigentlich mit den alten Servern? Würde mich mal interessieren.

  13. liebe Technik,
    alle Seiten funktionieren bei mir – auch heute gut und schnell- nur bei Cosmiq warte ich und warte und warte, bis eine Ladung, eine Löschung von Systemmitteilungen erfolgt. Es nervt.
    LG Sofia

  14. Hallo MrPointfighter100,

    die ganz alten Kisten werden verschrottet. Die noch brauchbaren werden bei uns umgebaut und für Testzwecke genutzt. Es wird also noch ein bisschen was recycelt. :-)

    Viele Grüße
    Dein COSMiQ-Team

  15. Liebe Sofia,

    wir verstehen, dass das nervt. Geht uns ja genauso. Wir können dir aber versichern, dass wir dran sind und versuchen, herauszufinden, wieso es bei manchen so langsam ist.

    Das ist nicht immer einfach, sofort zu lokalisieren, da wir auf der Seite auch externe Inhalte haben wie z.B. die Werbung, die für ausgeloggte Nutzer angezeigt wird. Die kann eine Webseite mitunter sehr langsam machen.

    Aber wir sind dran! Wir hoffen, ihr habt noch ein wenig Geduld mit uns.

    Viele Grüße
    Dein COSMiQ-Team

  16. Hallo Technik,

    ich bekomme leider nur leere Benachrichtigungsmails von Cosmiq.

    MfG Brille

  17. Seit heute 17:50 Uhr flutscht es hervorragend.
    Vielen Dank dem Techniker Florian, der mit unheimlich viel Geduld und Durchhaltevermögen endlich den Geschwindigkeits-Lapsus beseitigt hat.
    Jetzt kann ich wirklich den „Daumen hoch“ machen.

    Ganz liebe Grüße dem gesamten CosmiQ-Team von aquana! ;))

  18. Liebe Community,

    wir haben nun über das Wochenende noch einige Änderungen vorgenommen, so dass es vor allem bei Fragen mit vielen Antworten und Kommentaren, sowie bei den Nutzern, die sehr viele Inhalte haben, nun deutlich schneller gehen sollte.

    Vielen Dank an alle, die uns auf die Probleme aufmerksam gemacht und uns so beim Finden der Fehler geholfen haben.

    Natürlich kann es immer noch an der einen oder anderen Stelle hängen, aber wir sind weiter dabei, alles zu optimieren.

    Schöne Grüße
    Euer COSMiQ-Team

  19. Hallöchen,

    ich hätte da noch etwas, das wohl zum Thema Serverumzug gehört…

    Direkt nach dem Umzug kamen ja erstmal keine Benachrichtungs-Mails durch, am Donnerstag bekam ich plötzlich über 350 offensichtlich leere Benachrichtigungs-Mails – wie sich am nächsten Tag herausstellte, waren sie aber nur am PC leer, auf dem Handy konnte man den Inhalt lesen. Da war ich schon leicht „gepanikt“.

    Eben aber die Krönung:

    Ich wurde mit fast 2000 Mails innerhalb von wenigen Minuten „zugespammt“, Es tauchen plötzlich uralte Systemnachrichten auf, die schon längst „abgehandelt“ sind bzw. waren… allein das löschen der ganzen Mails wird mich schon eine Weile Zeit kosten.

    Vielleicht kann man da ja irgendetwas besser „dosieren“, so dass man nicht so überrannt wird, von all den „anstehenden“ Mails?

    Viele Grüße aus der Kälte

    Happyhippo67de

Kommentare sind geschlossen.