Cybersecurity-Produkttests: Ein Interview mit Adrian Ścibor von AVLab

Egal ob Privatanwender oder Unternehmen, wenn es um Cybersicherheit geht, muss man wissen, wie gut oder schlecht ein Produkt vor Malware schützt. Die AVLab Cybersecurity Foundation ist eine führende Institution in diesem Bereich. Mit ihren „Advanced In-the-Wild Malware Tests“ bewertet sie unter Einsatz fortschrittlicher Technologien und eines globalen Netzwerks an Honeypots die Wirksamkeit von Sicherheitslösungen.

Adrian Ścibor ist der Gründer der AVLab Cybersecurity Foundation. Im Rahmen seiner Cybersicherheitstätigkeit ist er unter anderem dafür verantwortlich, Schutzlösungen gegenüber Bedrohungen zu testen. Außerdem entwickelt er Strategien und Tools, um Daten und Systeme vor Cyberangriffen zu schützen. Darüber hinaus ist er Mitwirkender der Malware Testing Standards Organization (AMTSO), einer internationalen gemeinnützigen Gruppe, die sich mit der Verbesserung der Testverfahren befasst. In diesem Interview mit ihm tauchen wir tief in die Welt der Antivirus- und Anti-Malware-Tests ein, um zu erfahren, wie diese Bewertungen durchgeführt werden, wie sie sich über die Jahre verändert haben und welche Bedeutung ihnen generell zukommt.

Emsisoft: Nur für den Fall, dass es die Leser nicht wissen sollten, was genau sind Antivirus- bzw. Anti-Malware-Tests?

Adrian Ścibor: Um nicht zu sehr ins Detail zu gehen und auf die vor einigen Jahrzehnten üblichen Testverfahren auszuschwenken, halte ich mich kurz. Meiner Ansicht nach geht es um das Testen von Sicherheitstechnologien, wie auch immer sie heutzutage genannt werden oder funktionieren. Diese Technologien wurden über Jahrzehnte hin in IT-Lösungen integriert und systematisch von den Anbietern verfeinert. Indem deren Sicherheitsfunktionen in unterschiedlichen Szenarien getestet werden, lassen sich Schwachstellen aufzeigen, etwa wenn das Antivirus-Modul Malware verarbeitet. Mitunter werden so Fehler aufgespürt, die im Alltag nur schwer zu finden wären, da Benutzer nicht dazu verpflichtet sind, ausführliche Diagnosedaten mit dem Anbieter zu teilen. Darüber hinaus erzeugen sie auch nicht genug Diagnosedaten auf einmal für eine Suche nach der Nadel im Heuhaufen. Beim Testen mit Algorithmen, um die Rechnerdaten zu verarbeiten, lassen sich diese Feinheiten jedoch ausfindig machen. Ein wichtiger Teil der Tests besteht darin, mit dem Anbieter bzw. den Entwicklern zu reden, um sie auf ein mögliches Problem aufmerksam zu machen. Mitunter muss dieses Problem weiter besprochen und gegebenenfalls ein Patch entwickelt werden, den die Benutzer dann mit dem nächsten Software-Update erhalten. Interessanterweise werden mitunter auch Mängel im Testverfahren aufgedeckt, die der Anbieter wiederum der Testfirma aufzeigt. Das ist wiederum wichtig, um die Testverfahren zu verbessern.

Emsisoft: Wie haben sich die Tests mit den Jahren verändert?

Adrian Ścibor: Genauso wie die Sicherheitstechnologien entwickeln sich auch die Tests weiter. Wir sind alle im Kampf gegen Cyberkriminelle vereint, die versuchen, diese Sicherheitsmaßnahmen zu durchdringen.
Aufgrund der Entwicklungen in den Technologien, Betriebssystemen, Anwendungen und Tools für Tester haben sich auch die Tests in den vergangenen Jahren erheblich verändert. Heutzutage können die meisten, wenn auch nicht alle Aufgaben automatisiert werden. Außerdem lässt sich Cloud Computing einsetzen und die aus den Telemetriedaten gewonnenen Informationen sind genauer als je zuvor. Darüber hinaus ist auch das Bewusstsein hinsichtlich Cybersecurity gewachsen, will heißen Unternehmen und Anwender erwarten von den Anbietern ausführlich getestete Dienstleistungen und Produkte. Ich kann nur für uns sprechen, aber indem Tester und Anbieter zusammenarbeiten sorgen sie in gewisser Hinsicht für eine bessere Qualität der Dienste und Software. Diese erreicht schließlich auch die Endverbraucher, wenn sie die Produkte in ihrer Produktionsumgebung oder ihrem Zuhause installieren.

Emsisoft: Manch einer ist besorgt, dass die Testergebnisse voreingenommen sein könnten, da die Anbieter in der Regel für die Tests bezahlen müssen. Was sagen Sie dazu?

Adrian Ścibor: Ich kann diese Zweifel nachvollziehen. Auch mir war eingangs nicht bewusst, wie Tests ablaufen und wie viel Geld dafür erforderlich ist – von der Serverwartung über die Lizenzgebühren bis hin zu den Gehältern. Darüber hinaus haben wir schon einige ernste Vorfälle beobachten müssen, bei denen Anbieter die Ergebnisse manipulierten, was einen Schatten auf die gesamte Testbranche warf. Dann wären da auch noch die sogenannten gesponserten Tests, die entsprechend transparent gekennzeichnet werden sollten. Meiner Meinung nach wird dies durch Vorschriften des Presserechts verbessert.

Die Tatsache, dass ein Anbieter für einen Test bezahlt, ist nichts Schlechtes. Es ist dasselbe wie mit jeder anderen Dienstleistung, kann allerdings durch zusätzliche technische und inhaltliche Vorgaben reguliert werden. Die Testvorgaben werden von der AMTSO (Anti-Malware Testing Standard Organisation) geregelt. Es ist allerdings nicht erforderlich, Mitglied der Organisation zu sein, um Tests durchzuführen und eine faktenbasierte Meinung abzugeben. Wie bereits erwähnt sollten Einzeltests entsprechend gekennzeichnet werden. Der jeweilige Anbieter bezahlt dafür und erwartet im Umkehrschluss Marketingvorteile. Es ist allerdings eine völlig andere Sache, dabei zu betrügen. Sollte ein Ergebnis für eine der beiden Parteien nicht zufriedenstellend sein, sehe ich allerdings keinen Grund, das schlicht nicht zu veröffentlichen. Es liegt auf der Hand, dass sich der Vorteil daraus ergibt, auf Fehler hinzuweisen und ein Update dafür herauszugeben. Selbes gilt auch für Blogartikel und Rezensionen, die gegen eine Gebühr angefertigt werden.

Anders sieht es aus, wenn das Labor Anbieter auswählt oder einlädt, an einem Test teilzunehmen. Nach meinen Erfahrungen erheben wir keine Gebühren für das Testen. Wir werden für unser technisches Feedback, die Content-Entwicklung und das vom Anbieter verwendete Marketingmaterial (z. B. Zertifikate, Logos und andere Dateien) bezahlt. Anbieter können sich gegen eine Teilnahme an den Tests entscheiden und Einwände erheben. Daher ist es lohnenswert, für den Fall etwaiger Diskrepanzen alles zu dokumentieren.

Emsisoft: Wenn ein Produkt in einem Test gut abschneidet, bedeutet das, dass es auch in der Praxis gute Arbeit verrichtet?

Adrian Ścibor: Das kommt darauf an. Daher gibt es verschiedene Testfirmen, die die Software aus unterschiedlichen Blickwinkeln testen. Sie müssen also nicht mit einem bestimmten Labor einer Meinung sein. Aus diesem Grund gibt es verschiedenartige Tests, um einen umfangreicheren Überblick darüber zu bieten, was eine Lösung in einer Produktionsumgebung leistet. Sollte es den Testern gelingen, Sicherheitsmaßnahmen erfolgreich zu umgehen, könnte dies auch Angreifern in der Praxis gelingen.

Ich beziehe mich hier auf eine feine Unterschiede bei den Verfahren. Häufig sickern nach einem Test Informationen an die Presse durch, das Produkt X oder Y schlecht abgeschnitten hat. Es ist wichtig, sich das Verfahren genauer anzusehen, um zu ermitteln, ob während des Tests Sicherheitsfunktionen deaktiviert waren. Ich beobachte das mitunter und sehe, wenn jemand eine bestimmte Technologie auf Kosten einer anderen testen möchte. In der Regel bin ich gegen einen derartigen Testansatz, da der Anbieter nicht Jahrzehnte in die Entwicklung einer Technologie investiert hat, um sie dann nur zum Teil einzusetzen.

Emsisoft: Wie sollte man Testergebnisse beurteilen? Bedeutet eine schlechte Bewertung auch gleich ein schlechtes Produkt?

Adrian Ścibor: Wie so oft steckt der Teufel im Detail … Ich will damit sagen, dass das vom Test abhängt. Wie bereits zuvor erwähnt, muss darauf geachtet werden, ob in dem Test eine bestimmte Schutzfunktion deaktiviert war und wie gut das Produkt ohne diese schützt. Ich betone das hier noch einmal, weil die Ergebnisse gegenüber allen Funktionen der Schutzsoftware ausgewertet werden müssen, da diese in der Regel damit auch in einem Produktionssystem arbeiten würde. Darüber hinaus können auch die Schutztechnologien zwischen den verschiedenen Anbietern stark variieren, wobei sie möglicherweise Administratoren ausführlichere Informationen anzeigen als Anwendern. Man muss sich ein Produkt oder eine Dienstleistung also ganzheitlich ansehen oder zumindest bestimmte Mindestanforderungen haben, die das Produkt erfüllen muss.

Ich empfehle bei der Auswahl einer Software eine individuelle Auswertung des Tests. Die Wirksamkeit des Schutzes ist sehr wichtig, aber es gibt auch noch weitere wichtige Eigenschaften, wie eine schnelle Hilfe seitens des Anbieters, der technische Support, die Programmoberfläche, die Arbeitsgeschwindigkeit, die unterstützten Systeme oder die Funktionen der Verwaltungskonsole, etwa die Warnung bei einem Vorfall, die automatische Reparatur des Vorfalls, zusätzliche Gegenmaßnahmen, Hinweise auf Schwachstellen im System oder schlechte Konfiguration von Benutzerkonten, die Integration in externe Lösungen (z. B. SIEM), Festplattenverschlüsselung, Backups und so weiter.

Emsisoft: Die AVLab Cybersecurity Foundation ist Mitglied der Anti-Malware Testing Standards Organization (AMTSO). Was genau ist das? 

Adrian Ścibor: Die AMTSO ist ein Zusammenschluss von Unternehmen und Experten, die im gemeinsamen Interesse der Cybersecurity zusammenarbeiten. Testinstitutionen wie unsere AVLab Cybersecurity Foundation sind stark an der Entwicklung entsprechender Richtlinien beteiligt.

Ich war anfangs skeptisch gegenüber Testbestimmungen, bis ich deren Vorteile in der Praxis kennenlernen durfte … das bereits vor dem Beitritt zur AMTSO. Mir gefällt die Transparenz, wenn eine Testfirma den AMTSO-Richtlinien genügen möchte. Dank der AMTSO haben sich unsere Testverfahren erheblich verbessert und interessanterweise erfüllten wir bereits die meisten technischen Anforderungen, bevor wir uns für die Mitgliedschaft bewarben. Indem wir mit den Anbietern zusammenarbeiten, haben wir inzwischen systematisch Änderungen vorgenommen und tun dies auch weiterhin, um unsere Tools und Verfahren zu verbessern. Wir sind jetzt besser darüber informiert, was Anbieter interessiert. Es geht nicht um Marketingruhm sondern darum, dass ihre Produkte zugunsten der Endbenutzer ständig besser werden, unabhängig von den erhaltenen Zertifizierungen. Sie sind zwar die akzeptierte Form, in der die Bewertung der Öffentlichkeit präsentiert wird, was uns jedoch nicht davon abhält, eine andere Richtung einzuschlagen. Bisher ist allerdings noch niemanden etwas besseres eingefallen. Durch die Tests verfolgen wir eine Strategie, Kunden besser zu schützen, wobei wir bereits Erfahrung in der Zusammenarbeit mit kleinen Start-ups bis hin zu großen Akteuren in der Branche sammeln konnten.

Bei jeder Software findet früher oder später jemand einen Weg, um den Schutz zu umgehen, diese technische Abweichung, die auf eine Schwachstelle hinweist. Dafür sind die Tests und der gemeinsame Kampf gegen Cyberverbrechen da. Wie der Alltag zeigt, sind Bestimmungen nicht immer gut, aber als Mitglied einer Organisation muss man sich an die Regeln halten. Es ist gut, wenn es sich dann um gute Regeln handelt. AMTSO hat Testern in der Tat auf vielen Ebenen geholfen: vom Testen einfacher Technologien bis hin zum Festlegen von Normen für Unternehmensprodukte. Dabei beziehe ich mich nicht nur auf Empfehlungen für das Testen von Technologien zur Bekämpfung von Cyberverbrechen. Dank der AMTSO haben wir gelernt, wie wir besser mit Anbietern in einem gemeinsamem Interesse zusammenarbeiten können, was dann den Endkunden zugute kommt.z

Emsisoft: Die meisten Produkte schneiden recht gut ab in den Tests. Wie relevant sind die kleinen Unterschiede zwischen den Ergebnissen?

Adrian Ścibor: Details sind Geld. Gehen wir davon aus, dass sich Produkt X zu 100 % der Zeit um Bedrohungen kümmert und das andere zu 99,99 %. Theoretisch sind die Ergebnisse nahezu identisch, richtig? Ein Produkt hat jedoch eine Situation zugelassen, in der es einen Vorfall zu viel gab. Das kann einem Unternehmen in der Praxis Kosten in den Millionenhöhe verursachen. Daher liegen die Unterschiede in den Details.

Emsisoft: Haben die Malware-Erkennung und Tests aufgrund der sogenannten „Living of the Land“-Angriffe an Bedeutung verloren?

Adrian Ścibor: Ob auf einem System eine schädliche Aktion ausgeführt wird, selbst wenn dazu berechtigte Prozesse und Anwendungen des Betriebssystems eingesetzt werden, finden wir am Ende eines Vorfalls heraus. Bedenkt man, wie sich Sicherheitstechnologien entwickelt haben, muss man nicht über die Unterschiede zwischen „herkömmlicher Malware“ und „Living of the Land“-Angriffen (dateilos, LOLBINs) streiten. Malware kann sich legitime Prozesse zunutze machen und andersherum kann man mit legitimen Prozessen auf einem System dieselben Dinge anstellen wie Malware. Daher müssen sich Angreifer ebenso wie Verteidiger heutzutage gleichermaßen anstrengen. Allerdings stehen ihnen dazu bessere Tools zur Verfügung als noch vor zehn Jahren.

Im Gegensatz zur Vergangenheit, wo es weniger Angriffe und in kleinerem Umfang gab, müssen heutige Lösungen über einen mehrstufigen Schutz verfügen. Gleichzeitig müssen sie benutzerfreundlich sein, was für das Entwicklungsteam des Anbieters keine leichte Aufgabe ist. Die Lösung muss einen Vorfall sofort von allen Endpunkten aus erkennen und dadurch ausgelöste Probleme schnell und einfach beheben, um KMU bei ihrem Sicherheitsprozess zu unterstützen. Sehr wichtig ist es heutzutage auch, dass ein Produkt nicht mit Alarmen „ermüdet“ und so wichtige Vorfälle von den Sicherheitsexperten der SOC-Abteilung oder den zuständigen Administratoren in kleineren Unternehmen übersehen werden.

Emsisoft: Einige Tests beziehen sich auf die Erkennung vor und nach dem Ausführen sowie Erkennungszeiten. Was ist der Unterschied und was bedeuten diese?

Adrian Ścibor: Das hängt von der Lösung ab, von dem Sicherheitsansatz des entsprechenden Anbieters. Geht es mehr um einen vorbeugenden Schutz oder beschränkt er sich immer noch auf die herkömmliche Erkennung? Der Unterschied zwischen der Bedrohungserkennung vor und nach dem Ausführen ist aus technischer Sicht relevant:

1. Es kann für Personen interessant sein, die für die Sicherheit verantwortlich sind und daher auf jedes Detail achten.

2. Anbieter, die herausfinden, wo die Konkurrenz einen Vorteil hat, wissen so, woran sie arbeiten müssen, um Bedrohungen möglichst früh zu erkennen.

3. Es ist nicht immer möglich, gute Ergebnisse beim Blockieren von Bedrohungen vor dem Ausführen zu erhalten. Daher ist es eine wichtige Information, ob und wie gut das Produkt dann nach dem Ausführen mit der Bedrohung umgeht. Das ist meiner Meinung nach extrem wichtig, da es aufzeigt, wie gut die jeweilige Software tatsächlich vor einer Bedrohung schützt, die es aus welchem Grund auch immer auf das System geschafft hat und ausgeführt wurde. Ich glaube das ist der Punkt, wo die Kunst und Genauigkeit des Anbieters beim Erkennen von Zero-Day-Angriffen ihren Anfang nimmt.

Emsisoft: Worauf sollten Anwender neben den Testergebnissen noch achten, wenn sie eine Sicherheitslösung suchen? 

Adrian Ścibor: Oh, das ist ein weites Feld. Wir müssen eindeutig unterscheiden, ob eine Lösung für Unternehmen gesucht wird, was wiederum nach Firmengröße, Komplexität der Infrastruktur, Remotemitarbeitern usw. zu differenzieren ist, oder doch eine Software für Privatanwender. Handelt es sich um Privatanwender, kann er oder sie sich auch an den Tests eines Anbieters von Unternehmenslösungen orientieren. Allerdings nicht immer. Ich möchte die Sache jetzt nicht weiter mit Einzelheiten über Module verkomplizieren, die nicht für nicht-gewerbliche Computer ausgelegt sind. Zu den beiderseits relevanten Funktionen gehören natürlich weiterhin der Support des Anbieters, dessen Ruf, die erreichten Testergebnisse, die Verfügbarkeit der Benutzeroberfläche in einer bestimmten Sprache, zusätzliche Module für wichtige Funktionen wie Online-Banking-Schutz, der Preis der Lösung sowie die Unterstützung unterschiedlicher Betriebssysteme, wie Windows, macOS, Android usw. Heutzutage nutzt nahezu jeder von uns mehr als ein oder zwei Geräte und häufig möchten wir auch unseren gesamten Haushalt schützen.

Aus Unternehmenssicht würde ich danach schauen, welche Funktionen in der Verwaltungskonsole für die verschiedenen Anforderungen der jeweiligen Server-Computer-Infrastruktur zur Verfügung stehen. Lassen sich zusätzliche Dienste wie SIEM integrieren? Gibt es eine Unterstützung für einen Schutz mit EDR für Arbeitsplätze, die nicht unter Windows laufen, etwa macOS oder Linux? Im industriellen Umfeld sollte darauf geachtet werden, ob es möglich ist, Schutz benutzerdefiniert umzusetzen und Netzwerkprotokolle mit einer Überwachung der Datenübertragung auszustatten. Dazu kommen Funktionen zur Fernverwaltung, Isolation von infizierten Computern, Suche nach Angriffsspuren, Automatisierung von Verwaltungsaufgaben und so weiter. Das sind natürlich nur Beispiele. Eine ausführliche Analyse des Bedarfs muss gemäß der zuvor im Rahmen einer Risikoanalyse ausgearbeiteten Anforderungen des jeweiligen Unternehmens erfolgen.

Zusammenfassung

Cybersecurity ist ein komplexes Feld, in dem es nicht reicht, sich nur oberflächlich mit den Produkten und ihren Testergebnissen auszukennen. Wie unser Gesprächspartner aufgezeigt hat, muss die Wahl einer Sicherheitslösung basierend auf einer umfangreichen Analyse erfolgen, wobei nicht nur Testergebnisse berücksichtigt werden sollten, sondern auch die jeweiligen Anforderungen, Infrastrukturen und Betriebsumgebungen der Endbenutzer.

Mit seinen gründlichen Testverfahren und der Einhaltung höchster Normen, etwa denen der AMTSO, spielt die AVLab Cybersecurity Foundation eine wichtige Rolle bei der Stärkung unserer gemeinsamen Abwehr gegenüber Cyberbedrohungen. Ihr Engagement für Transparenz, Innovation und Kooperation mit den Anbietern sorgt dafür, dass die Cybersecurity-Branche einen Schritt voraus bleibt und allen Beteiligten zuverlässigen und wirkungsvollen Schutz bietet.