CrowdStrike: Sicherheitssoftware sorgt für weltweite Ausfälle

[Don]

Das passiert diesen Unternehmen doch ständig. Hard- und Software-Firewalls schließen wöchentlich Sicherheitslücken etc. und offenbaren damit, dass sie eigentlich auch Einfallstore dessen sein können, was sie eigentlich verhindern wollen.

 

[kaiser]

Crowdstrike. Noch nie gehört. Solange meine Sophos und Avast Lösungen nicht betroffen sind, ist alles gut😬

 

[mod666]

Also wir sind ein kleiner Ort und in 2 von 3 Apotheken geht nix. Die bekommen ihre Rechner ebenfalls nicht gestartet. Da muss ja anscheinend jetzt nach und nach ein Techniker raus und ws nach ws händisch bearbeiten...krass das wird dauern.

Workaround: Rechner im abgesicherten Modus starten und in einem Ordner der zu Crowdstrike gehört eine bestimmte Datei löschen. Da werden definitiv Techniker überall raus fahren müssen.

edit:

• Starten des Systems im abgesicherten Modus
• Navigation zum Ordner c:\windows\system32\drivers\crowdstrike
• Löschen der Datei "C-00000291*.sys"
• Neustart des Systems

 

[Equilibrium]

Workaround: Rechner im abgesicherten Modus starten und in einem Ordner der zu Crowdstrike gehört eine bestimmte Datei löschen. Da werden definitiv Techniker überall raus fahren müssen.

Die meisten würden bei dem Punkt "bestimmte Datei" in "Ordner" scheitern.

 

[kaiser]

ach, da macht man einfach schnell nen Bootfähigen USB Stick mit dem Befehl im Autostart und gut ist. Das einzig nervige ist, dass man bei Bitlocker gesicherteten Systemen halt die Recovery Keys eingeben muss,

 

[Don]

ach, da macht man einfach schnell nen Bootfähigen USB Stick mit dem Befehl im Autostart und gut ist. Das einzig nervige ist, dass man bei Bitlocker gesicherteten Systemen halt die Recovery Keys eingeben muss,

Das ist die Lösung für 5 % der Nutzer, aber für 95 % (gerade im Unternehmensumfeld) eben nicht.

 

[hRy]

Ich wette der/das verantwortliche Entwickler/team wird dieses Jahr keine Gratification bekommen

 

[proggi]

https://www.reddit.com/r/wallstreetbets/comments/1e6ms9z/crowdstrike_is_not_worth_83_billion_dollars/

• vor 17 Std.

Lustig?

 

[Ycon]

Der BER in Deutschland hat wohl auch den Betrieb eingestellt.

Wie, der war schon offen?!
Sachen gibts XD

 

[Infi88]

Naja man hat ja direkt die Veranwortung übernommen und angemerkt das Problem identifiziert und auch in Zusammenarbeit mit Microsoft schon behoben zu haben.

 

[Zyxx]

Viel schlimmer ist doch, das das an einem Freitag passiert.
Mein Beileid den Kollegen deren Wochenende mal eben genullt wurde durch diese Software.

 

[cresent15]

Mh, keine Ahnung. Früher hatten wir Test und Produktivsysteme und ein Update kam nie auf das Produktivstem ohne vorher auf dem Testsystem gewesen zu sein.
Aber vielleicht verstehe ich hier auch die technischen Begebenheiten nicht.

 

[VeNgEaNcEDeMoN]

Und ihr fragt euch warum sich china unabhängiger machen will

weg von Microsoft und allen anderen USA Konsorten.

Beitrag automatisch zusammengeführt: 19.07.2024

Ja, es stehen wegen der signifikanten globalen Ausfälle enorm hohe Summen an. Das Team, bzw. Verursacher/Firma, tun mir echt leid. Hoffentlich sind sie gut versichert. Ich bin gespannt, was und wie es passieren konnte.

Trifft Microsoft keine Schuld? Kam ja nach ihrem Update zum Problem. Wäre ein Szenario möglich wo das Absicht wäre, quasi Microsoft schafft die Firma XY ab.

Beitrag automatisch zusammengeführt: 19.07.2024

Statement des CEO von CrowdStrike:

x.com

x.com

Klingt für mich nach eine guten Argument GEGEN Microsoft!

Beitrag automatisch zusammengeführt: 19.07.2024

Also eine Softwarefirma, die Sicherheit verkauft, sorgt dafür, daß mit Sicherheit nix mehr geht... Kann man nicht erfinden!

Aber Hauptsache, Kasperski wurde aus dem US-Markt verbannt! Eine Firma, die bei der Aufklärung des Wannacry-Desasters half, als ein NSA-Tool zur Steuerung von Windows-PCs in die falschen Hände geraten war.
Bei Wikipedia liest man, Crowdstrike hätte den "Hackerangriff auf den Democratic National Congress" DNC aufgeklärt (das FBI hatte nie Zugriff!). Ein "Hackerangriff", den es bekanntlich gar nicht gegeben hatte (die Daten wurden durch eine Insider durchgestochen), der als Story aber "erklären" sollte, wie Unterlagen über Wahlbetrug durch das Team von Hillary Clinton (in den Vorwahlen 2016) sowie tausende brisante E-Mails damals an die Öffentlichkeit gelangt sein sollten. "Natürlich" war es "der Russe". Mit der Erklärung durch Crowdstrike jedenfalls gingen die "Demokraten" dann medial hausieren und die Medien plappern es bis heute nach.
Ein einziges Mal gab der Chef der Firma zu, daß man bei der Untersuchung des fraglichen Servers keinerlei Spuren gefunden hätte, die auf einen Hack des DNC von außen hingewiesen hätten. Und das war ausgerechnet bei der Anhörung durch das FBI, als er unter Eid aussagen mußte...

Ist das jetzt die Ironie des Schicksals? Karma? In Russland jedenfalls gibt es keine Probleme - weil die weder Crowdstrike-Technik verwenden noch wegen der Sanktionen aktuell Windows-Updates einspielen.

Amen. 🧐

 

[Murazor]

In meiner Firma ging den ganzen Vormittag auch nichts. Unser Sysadmin ist in Elternzeit und konnte nur telefonisch unterstützen. Ein Kollege und ich haben dann den ganzen Vormittag gebraucht, bis alles wieder lief (ich halte als Ersatzadmin hin, weil ich ein Admin-Konto habe).

Es gibt einen Workaround (wie in den News beschrieben) für die Windows-Kisten und musste für alle, die das Update erhalten haben, durchexerziert werden. Abgesicherter Modus starten, Update-Datei löschen, neustarten. Sonst hingen die ganzen VMs in einer Bootloop. Das Problem hier war halt, dass der Domain-Controller und DNS, etc. auf einigen Windows Server VMs lief. In summe waren es nur 3 oder 4 VMs und 3 meiner Kollegen hatten das Problem mit ihrem Client.

Wir sind eine kleine Firma. Ich will mir gar nicht vorstellen das die Sysadmins in riesigen Unternehmen zutun haben und wie lange sie brauchen werden. Ich hoffe nur, dass wir von CrowdStrike weg kommen.
Das große Problem ist ja, die Clients, die BSOD bekommen, starten logischerweise gar nicht mehr. Wie bekommt man jetzt auf die Remote in Update? Ich glaube gar nicht.

 

[FocusSTFan]

Ich bin überrascht wie schnell sich die Aktie erholt hat und wie klein CrowdStrike, die Nachrichtensender und das BSI die Sache runterspielen. Es gibt ja einen Workaround heißt es.
Wie der Workaround aussieht wurde ja oben geschrieben. Wir nutzen in der Firma zum Glück nicht die Software aber das wären 3000 Laptops in über 50 verschiedenen Büros in über 30 verschiedenen Ländern auf der Welt gewesen (80% davon ohne IT vor Ort).

Wie hätten wir das realisieren sollen? Die Mitarbeiter in den Büros ohne IT sind technisch nicht so bewandert. Vielleicht hätten wir mit dehnen einen USB Stick aufsetzen können (erst einmal einen privaten Laptop eines Mitarbeiters organisieren weil alle Firmenlaptops sind ja unbrauchbar um den USB-Stick anzulegen), vielleicht aber auch nicht. Dann einen Dienstleister in einer Großstadt finden wo bestimmt hunderte an Firmen am rotieren sind und einen Dienstleister brauchen. Bis da auch der letzte Laptop (z.B. auch Ersatzlaptops oder Laptops für zukünftige Mitarbeiter) aktualisiert ist, vergehen Wochen.

Aber es wird ja noch schlimmer. Für den Recovery Mode müssten wir den Bitlocker Recovery Key raus suchen, egal ob die Inhouse IT das Gerät in den Händen hält, ein Non-IT Mitarbeiter dies Remote macht oder ein Dienstleister beauftragt wird. Da nur die Inhouse IT Zugriff auf die Bitlocker Recovery Keys hat, kann man sich vorstellen was hier an Überstunden anfällt nur um die Keys raus zu suchen und zu verteilen.

Das Problem ist ja, dass man hier nicht einfach ein Update ausrollen kann. Jede Maschine muss manuell bearbeitet werden. Das können bei großen Firmen gerne mal tausende von Laptops sein. Auch mit einem USB Stick mit einem Skript ist man hier sehr lange dran. Ich will mir gar nicht vorstellen, wie das auf Flughäfen und Bahnhöfen ist mit den Anzeigetafeln. Das jedes Gerät angefasst werden muss und nicht mit einem Update das Thema durch ist, finde ich wird viel zu stark heruntergespielt. "Aber wir haben ja einen Workaround........"

 

[Madschac]

Dieses Thema gehört auf jeden Fall ganz oben auf die Listen der Politiker weltweit!

Eine einzige Firma, ein einzelner Mitarbeiter, konnte einen Zusammenbruch von Teilen des weltweiten
Flugverkehrs, großer Krankenhäuser und was auch immer darüber hinaus auslösen.

Ich bin nicht wirklich im Thema Viren etc., aber das hier war ein blöder Bug in einem Sicherheitsupdate -
entsprechende Schadsoftware auf diesem Weg eingeschleust könnte bestimmt noch viel größere und
nicht so leicht zu behebende Schäden anrichten.

Auch sollte man sich mMn mal fragen, ob völlige Digitalisierung wirklich die Zukunft sein kann?

 

[Roman78]

Mh, keine Ahnung. Früher hatten wir Test und Produktivsysteme und ein Update kam nie auf das Produktivstem ohne vorher auf dem Testsystem gewesen zu sein.
Aber vielleicht verstehe ich hier auch die technischen Begebenheiten nicht.

Für Software hat man so was, sprich Windows Updates und Updates von Benutzeranwendungen. Aber Sicherheitsanwendungen, sprich Virenscanner/Firewall, meist nicht. Die werden, auch bei uns, immer direkt eingespielt. Man sollte auch alle Benutzeranwendungen so konfigurieren, dass diese keine automatischen Updates aus dem Netz ziehen.

Beitrag automatisch zusammengeführt: 20.07.2024

Trifft Microsoft keine Schuld? Kam ja nach ihrem Update zum Problem. Wäre ein Szenario möglich wo das Absicht wäre, quasi Microsoft schafft die Firma XY ab.

Soweit ich das gelesen habe, war es kein MS Update sondern eins von Crowdstrike Falcon.

 

[Stunrise]

Von dieser Pleite wird diese Firma sich nicht wieder erholen.

Es wird genau gar nix passieren, weil die Manager in großen Firmen sich wie von Parasiten fremdgesteuerte Insekten verhalten.

Wahrscheinlich bekommen betroffene Kunden einen 20% Gutschein für den Abopreis in nächsten 12 Monaten oder sowas in der Richtung.

 

[Senator Wurstbein]

Ganz angenehm, wenn man ausnahmsweise bei so einer globalen scheiße mit seinen Systemen mal nicht betroffen ist.

 

[n3cron]

Das zeigt wie wichtig Diversifikation von Software in Unternehmen und Regierungen sind.

Hätten die Großen in ihre HA Clustern auf den passiven andere Sicherheits Software gehabt, wäre das ohne großartige Probleme alles weiter gelaufen.

 

[MysteriousNap]

Wie hätten wir das realisieren sollen?

Ersatz kaufen (lassen). Wäre die schnellste und wirtschaftlich die einfachste Lösung.

Mein aktueller AG nutzt glücklicherweise Checkpoint, wir waren deswegen fein raus. Bei meinem alten AG sah es etwas anders aus 🙈 Ich mein das Virensoftware ohne User Eingabe Updates fahren ist die Norm und geht auch schlecht anders. Aber wie die so einen Bock bauen können ist schon wirklich seeehr fraglich. Vor allem wenn das wirklich einfach nur ein Nullpointer war. Ebenso müsste man aber auch mal MS fragen wieso die keinen Failsafe haben, W7 hatte das noch. Und dann muss man mal die ganz große Frage stellen wieso Windows für Kernel Module noch keine Überprüfung hat. Linux hat es, Apple hat es, nur der größte OS Hersteller der Welt hat keine Lust zu. Klar bleibt es immer noch ein Bock seitens Crowdstrike, aber MS ist im Bezug auf so einen Fehler auch einfach besch…

 

[Senator Wurstbein]

Die schiere Anzahl an clients in großen Unternehmen sind schon viel Arbeit - besonders aufwendig wird aber wohl, die ganzen POS Kassensysteme in diversen Ketten etc wieder flott zu bekommen, wenn da jeder Rechner von nem admin angefahren werden muss.

Beitrag automatisch zusammengeführt: 20.07.2024

Auf reddit gibt's schon diverse Meldungen, dass bei Unternehmen Anrufe eingehen in denen sich jemand als crowdstrike Mitarbeiter ausgibt und um remotezugang bittet, um zu unterstützen. Da treffen also ******** auf Mitarbeiter im Panikmodus, keine gute Kombination.

 

[Richard88]

@Senator Wurstbein das nennt man darwinismus. Die natur regelt das schön fein. Die faulen/dummen gehen ei , die gescheiten kriegen etwas mehr spielraum. Du musst das sportlich betrachten.

 

[cresent15]

CrowdStrike-Fiasko: Der Null Pointer ist Schuld

Nach dem IT-Ausfall durch ein CrowdStrike-Update gibt es erste Analysen des Speicherfehlers, die auf einen grundlegenden Fehler von CrowdStrike hindeuten.

www.heise.de

Nun tauchen erste Analysen des Memory Dumps des Blue Screen of Death (BSOD) auf. Unter anderem nahm sich Zach Vorhies das Speicherabbild vor und veröffentlichte seine Analyse auf X. Seine Untersuchung legt nahe, dass der Fehler auf ein grundlegendes Versagen bei der Programmierung der CrowdStrike-Software zurückzuführen ist.

.

Nicht nur Probleme mit Windows

Wer jetzt meint, das Problem hätte nur Windows betreffen können, irrt. Schon im April ist etwas Ähnliches Linux widerfahren: Am 19. April veröffentlichte CrowdStrike ein Update für die Software falcon-sensor, die mit der Linuxdistribution Debian Stable inkompatibel war. Dies führte zum Absturz aller Server eines städtischen Tech-Labors auf mehreren Websites und Cloud-Hosts wie Hacker News berichtete. Der Fehler wurde durch Überprüfung der Festplattenprotokolle entdeckt. Durch manuelle Deinstallation konnten die Maschinen wieder booten, aber eine erneute Installation führte abermals zu Abstürzen. CrowdStrike benötigte mehrere Tage, um den Fehler zu bestätigen und stellte fest, dass die spezifische Debian-Version nicht in ihrer Testmatrix enthalten war.

Scheinbar nicht neu, nicht spezifisch und nicht das letzte mal.

 

[Rudi Ratlos]

Ich will mir gar nicht vorstellen, wie das auf Flughäfen und Bahnhöfen ist mit den Anzeigetafeln. Das jedes Gerät angefasst werden muss und nicht mit einem Update das Thema durch ist, finde ich wird viel zu stark heruntergespielt. "Aber wir haben ja einen Workaround........"

Gäbe es da nicht die Möglichkeit, auf ein Backup zuzugreifen und damit die korrupte Installation zu überschreiben?

 

[p4n0]

Meiner Einschaetzung nach passiert so ein Mist aus folgendem Grund: Je mehr Manager Konferenzen von Gartner und Konsorten besuchen, desto haeufiger wird so ein Quatsch auch passieren.

Dann kommt haeufig dazu dass wir und unsere IT Kollegen keine Eier in der Hose haben den Mund aufzumachen und sachliche Argumente zu finden wieso man vllt. Auf sowas verzichten sollte.

Mein letzter AG hatte sich den Kram um den Hals gebunden. Hatte mich dann damit beschaeftigt weil der BR das Thema angeschnitten hatte (ging um Mustererkennung in der Cloud etc..)
War leider einer der wenigen die sich daran gestoert haben.
Irgendwie ist es den IT‘lern immer mehr egal was ‚oben‘ entschieden wird. Es wird einfach alles stumpf umgesetzt ohne die SInnhaftigheit zu hinterfragen.

Diese Entwicklung finde ich wirklich schade und ich hoffe dass ich niemals Teil von diesen ja-sagern wede.

 

[cresent15]

Meiner Einschaetzung nach passiert so ein Mist aus folgendem Grund: Je mehr Manager Konferenzen von Gartner und Konsorten besuchen, desto haeufiger wird so ein Quatsch auch passieren.

Dann kommt haeufig dazu dass wir und unsere IT Kollegen keine Eier in der Hose haben den Mund aufzumachen und sachliche Argumente zu finden wieso man vllt. Auf sowas verzichten sollte.

Mein letzter AG hatte sich den Kram um den Hals gebunden. Hatte mich dann damit beschaeftigt weil der BR das Thema angeschnitten hatte (ging um Mustererkennung in der Cloud etc..)
War leider einer der wenigen die sich daran gestoert haben.
Irgendwie ist es den IT‘lern immer mehr egal was ‚oben‘ entschieden wird. Es wird einfach alles stumpf umgesetzt ohne die SInnhaftigheit zu hinterfragen.

Diese Entwicklung finde ich wirklich schade und ich hoffe dass ich niemals Teil von diesen ja-sagern wede.

Ich habe nichts verstanden. Wer sagt ja zu was? Zur Hacking Prevention?

 

[p4n0]

@cresent15
Dein CIO rennt zu Gartner und sieht im Quadrandten oben Rechts dass Crowdstrike der neue Shit ist. Seine Golf-Kollegen machen das gleiche, also isses cool.

Seine Manager und MA hinterfragen das also nicht, zack kommt es ins Unternehmen.

Vielleicht brauche ich bei Windows-Basierten Umgebungen gar keine 3rd Party software, weil der Defender SOWIESO an Board ist und komplett mit dem OS verheiratet?

Gleiches bei irgendwelchen SSL / MITM next-gen Firewalls. Da wird ganz stumpf darauf geschaut was der Rest so tut. Und spaetestens mit tls1.3 und certpinning fliegt einem die halbe Firma um die Ohren.

Das soll kein Hate gegen crowdstrike oder sonstwen sein, eher gegen uns als IT‘ler, weil wir den Scheiss am Ende einfach umsetzen.

Fehler passieren ueberall - keine Frage. Aber dass ich zB ne Azure VM mit Crowdstrike verseuche das ist fuer mich absolut nicht nachvollziehbar. Und genau so ne scheisse passiert da draussen

 

[Bitmaschine]

Eigentlich muss man diesen (vermeidbaren) Fehler positiv sehen. Letztendlich ist die Techwelt und Politik wegen diesem Schuss vor dem Bug mit Wirkung aufgewacht. Ist halt so, wenn es weh tut, dann wird sich (vielleicht) was ändern. Positiv muss man die schnelle Reaktion, Öffentlichkeit und Lösungen hervorheben. Wenngleich einige noch mit dem Ausfall zu kämpfen haben und Rechtsanwälte vertragliche Ansprüche prüfen, was wiederum unter Umständen Jahre von einigen Verfahren für die Firma bedeutet.

 

[Stunrise]

Der Fisch fängt vom Kopf an zu Stinken. Die IT wird bei großen Firmen in externen Audits geprüft und in diesen Audits werden stumpf Checklisten abgefragt.

- Haben Sie einen Prozess um XYZ zu machen?
- Nutzen Sie M365 Cloud und EntraID?
- Verwenden Sie M365 Conditional Access?
- Haben Sie eine Security Operation Center SOC?
- blablabla

Die Checklisten sind oberflächlich und abstrakt und sind von Managern erstellt. Ausgewertet werden die Antworten von fachfremden Mitarbeitern der Audit-Firmen, die keinen Server in den letzten 5 Jahren gesehen haben. Sind da Punkte nicht erwartungsgemäß ausgefüllt, gibts eine Kritik der Audit-Firma an die Geschäftsleitung und die gibt die Kritik an die IT-Leitung weiter mit dem Auftrag den Fehler fürs nächste Audit abzustellen.

Die IT von großen Konzernen wird also primär geleitet von Vorgaben von Managern der Beraterfirmen, die selbst keinen Server in den letzten 20 Jahren gesehen haben. Alles muss pauschal in die Cloud, alles muss ein Monatsabo sein, jeder muss All-in KI gehen, blabla. Unsere Lizenzkosten haben sich in den letzten 5 Jahren um Faktor 5 multipliziert, interessiert aber absolut keinen - weil die teuren Cloud Dienste alle empfohlen waren in den Audits

Und CrowdStrike war eben besonders beliebt, deshalb haben das auch alle Dieser Post wurde geschrieben von einem IT Serveradmin mit 15 Jahren Berufserfahrung, der 300+ Server und 5000+ Endgeräte betreut und unter Managern arbeitet, die seit 2010 nie einen einzigen Server gesehen haben.