Posts by Jonas

Organisch wachsen - gar nicht so leicht

Wir fallen mal direkt mit der Tür ins Haus: Wir würden gerne ein bisschen wachsen. Keine Sorge, wir reden hier nicht von heuschreckenartigem Risikokapital oder dem Ziel, den Laden höchstbietend zu verkaufen; ganz im Gegenteil: Wenn wir “ein bisschen” sagen, meinen wir das auch genau so. Konkret so um die 5 bis 10 Prozent, denn zuviel Wachstum auf einmal macht auch Dinge schwierig.

Vertrauenswürdige Zertifizierungsstellen und Softwareentwicklung: Mehr Chaos als gedacht

Neulich ist ja nun ein altes Root-Zertifikat von Let’s Encrypt abgelaufen und sehr zur Überraschung Vieler hat das zu einigen mehr - lösbaren - Problemen geführt als erwartet, auch bei uns. Eine der Ursachen ist, dass sich Listen vertrauenswürdiger Zertifizierungsstellen an viel mehr Stellen finden als man so gemeinhin annehmen würde.

Hintergrund

Kurz und knapp vorweg: Eine Liste vertrauenswürdiger Zertifizierungsstellen legt fest, welchen Zertifikaten vertraut wird und welchen nicht. Und wenn das jetzt irgendwie nach einer doch ziemlich wichtigen Geschichte klingt, dann, weil das eben auch wirklich so ist. Eine Angreiferin kann sich zwar problemlos ein Zertifikat erstellen, das auf die Domain deiner Bank lautet; keine vertrauenswürdige Zertifizierungsstelle sollte ihr allerdings eine Signatur dafür geben. Ohne diese wird dein Browser dich beim Aufruf der Domain per HTTPS mit Warnmeldungen überschütten, dass das Zertifikat nicht vertrauenswürdig ist.


Über Zertifikatsketten und Ablaufdaten

Heute haben ein paar Dinge ganz schön geknarzt, die mit Let’s Encrypt, OpenSSL und CentOS zu tun haben und deren Aufarbeitung vielleicht auch im Detail für euch interessant ist. Direkt vorweg: Die Erreichbarkeit deiner bei uns gehosteten Dinge per HTTPS war davon nicht beeinträchtigt.

Ausfall am 29.06.2021

Details zum Stromausfall am 29.06.2021

sudo-Schwachstelle geschlossen

Am 26.01.2021 war es soweit: Eine bereits seit 2011 bestehende Schwachstelle im Tool sudo, das auf so ziemlich jedem Linux-System residiert, wurde in einer koordinierten Aktion geschlossen - und das hieß damit dann auch: Nachtschicht für uns. Denn die fragliche Schwachstelle war gravierend und erlaubte jedem lokalen Benutzer des Systems, sich mit etwas Trickserei root-Privilegen zu verschaffen. Es war also Tempo angesagt!

Bekannt wurde die Lücke unter der Bezeichnung Baron Samedit, eine Anspielung auf Baron Samedi und die Komponente sudoedit, über die die Schwachstelle ausgenutzt werden konnte.


Gerechter Zorn: Der Fall youtube-dl

Die Recording Industry Association of America, Inc. (RIAA) hat youtube-dl von GitHub weg-gebullied und sich damit einen schönen Streisand-Effekt eingetreten. Die Projektwebsite youtube-dl.org wird schon seit vielen Jahren bei uns gehostet - mit der wenig überraschenden Folge, dass parallel dazu auch wir juristisch attackiert werden.

In diesem Fall jedoch nicht von der RIAA, sondern von Sony Music Entertainment Germany GmbH, Universal Music GmbH und Warner Music Group Germany Holding GmbH, die sich mit Rasch Rechtsanwälte eine Kanzlei gesucht haben, die schon seit Jahren im Bereich massenhafter Filesharing-Abmahnungen tätig ist - mit anderen Worten: echte Charmebolzen.


Verdammt - wir haben Mails verloren.

Heute um 13:40 Uhr haben wir die Startscripts unserer qmail-Instanzen unter U6 gepatcht, nachdem bekannt geworden war, dass eine bis dahin als rein theoretische und in der Praxis wohl nicht ausnutzbare Lücke unter bestimmten Umständen eben doch ausnutzbar ist. (U7 ist hiervon nicht betroffen; dort ist die bekannt gewordene Lücke bereits anderweitig geschlossen worden.)

Das Problem ist um 16:04 Uhr behoben worden.

Der eigentlich simpel anmutende Patch, der dafür sorgt, dass qmail-Services mit einem Memory-Limit - wie von DJB propagiert 123456578 - gefahren werden, hatte leider auch zur Folge, dass zum Ausführen von qmail-remote nicht mehr genug Luft war. Während lokal zugestellte Mails nur temporär verzögert zugestellt worden sind, weil eine fehlgeschlagene Ausführung von qmail-local nur zu einem “deferral” führt, führt die fehlgeschlagene Ausführung von qmail-remote direkt zu einem “failure” und qmail generiert eine Bouncemail - die dann aus dem gleichen Grund nicht zustellbar ist. qmail erstellt daraufhin eine Mail an uns als Postmaster, die über die Unzustellbarkeit der Bouncemail informiert, und, richtig geraten, jene ist aus dem gleichen Grund nicht zustellbar gewesen. Damit wird die Mail als “triple bounce” abschließend verworfen und Mails, die wir nach draußen schicken wollten, unwiderruflich verloren - sowohl jene, die per Relaying rausgeschickt worden sind, als auch jene, deren lokale Zieladresse eine Weiterleitung darstellte.


(Untitled)

Wie ihr sicherlich wisst, arbeiten wir in der Regel primär online zusammen und nutzen die damit verbundene Freiheit, nicht zu festen Zeiten an festen Orten sein zu müssen. Dennoch ist es gut, sich gelegentlich auch von Angesicht zu Angesicht zu begegnen - immer mal wieder in kleineren Konstellationen, aber in der Regel einmal im Jahr auch mit möglichst allen. Unser Ziel war in diesem Februar: Kiel, die Heimat von Janto und Mo.


Längere Downtime von MariaDB auf longmore

Heute morgen um 6:33 Uhr hat sich MariaDB auf unserem Host longmore verabschiedet. Die an sich automatisch laufende Recovery verlief dabei nicht wie geplant - am Ende war Einiges an Handarbeit nötig. Die Arbeiten konnten nun aber erfolgreich abgeschlossen werden und mögliche Datenverluste dürften unserer Einschätzung nach minimal sein.

Unser Monitoring alarmierte zunächst den einen, kurz darauf via Eskalation auch noch den zweiten Bereitschaftstechniker, und teilte mit, dass MariaDB auf longmore nicht mehr verfügbar sei. Ein erster Blick ins Journal verriet einen Crash:


Nehmt systemd, haben sie gesagt...

Wir hatten heute Nachmittag eine längere Downtime von einigen supervisord-Instanzen. Nach intensivem Debugging nun: Eine Spurensuche und ein Rant über systemd.