Effective Security Awareness Metrics: Measuring the success of awareness training (Awareness Schulungen & Training: Messung des Erfolgs von Awareness-Schulungen)

AI Quick Summary

Viele Unternehmen ergreifen Maßnahmen, um ihre Mitarbeitenden für das Thema Cyberangriffe zu sensibilisieren. Damit ein wirkungsvolles Sicherheitsbewusstseinsprogramm (security awareness program) auch nachweisbar ist, muss man die Awareness-Massnahme messen und bewerten können. Ziel der Bachelorarbeit ist die Erarbeitung von Bewertungsmetriken für Awareness-Massnahmen im Cyber Security-Umfeld. Kurzbeschreibung Ausgangslage und Problemstellung Viele Unternehmen ergreifen Maßnahmen, um ihre Mitarbeitenden für das Thema Cyberangriffe zu sensibilisieren und den Mitarbeitenden zu ermöglichen, Schutzmechanismen kennenzulernen und umzusetzen. Dabei verfolgen sie das Ziel das Risiko eines erfolgreichen Cyberangriffes zu minimieren. Die Unternehmen setzen viele unterschiedliche Arten von Schulungen mit unterschiedlichen Ausrichtungen ein: beispielsweise Online-Training, Offline-Schulungen, Awareness-Kampagnen, Quizze und Spiele. Damit ein wirkungsvolles Sicherheitsbewusstseinsprogramm (security awareness program) auch nachweisbar ist, muss man die Awareness-Massnahme messen und bewerten können. Ziel ist es, die Wirksamkeit nachzuweisen, die Effizienz der Programme zu steigern oder nachzuweisen, dass sich die Investition in bestimmte Programme lohnt (ROI). Ziel der Arbeit und erwartete Resultate, Gewünschte Methoden, VorgehenZiel der Bachelorarbeit ist die Erarbeitung von Bewertungsmetriken für Awareness-Massnahmen im Cyber Security-Umfeld. Dabei soll eine Literaturstudie durchgeführt werden, welche aufzeigt, welche Art von Schulungen existieren und wie deren Erfolg auf verschiedenen Ebenen bewertet wird. Auf Basis der Studie sollen dann eigene Metriken zur Bewertung einer Awareness-Kampagne erstellt werden und am Ende in einer praktischen Studie getestet werden. Die Erstellung einer Metrik zur Bewertung einer Cyber Security-Massnahme erfordert nach der Charakterisierung einer Schulung den Entwurf von Indikatoren, möglichen Einflussfaktoren, auf die Schulung. Dabei werden oft weiche Faktoren in generelle Einflussfaktoren überführt. Weiche Faktoren und Vorgaben sind beispielsweise die folgenden: - LMS-Onlineschulungen wurden erfolgreich abgeschlossen- Mitarbeiter:in weiss, wie man ein Passwort nach Richtline erstellt- Mitarbeiter:in wendet Clean Desk an- Mitarbeiter:in liest Newsartikel auf dem Awarenessportal- Mitarbeiter:in besteht Quiz nach Schulung- Auditfragen zum Thema Informationssicherheit können von Mitarbeitenden beantwortet werden- Weisungen werden eingehaltenDen Faktor «Mitarbeiter:in weiss, wie man ein Passwort nach Richtline erstellt» kann man dem Faktor Wissenstand zuordnen. Es gibt aber auch allgemeine Faktoren, die eine Schulung nur indirekt betreffen, die aber für eine Bewertung zu Rate gezogen werden können. Hier ist zum Beispiel die Anzahl der Sicherheitsereignisse/-verstösse oder die Anzahl der Phishing-Mails, die gemeldet wurden, zu nennen. Eine Metrik ist dann am Ende die Gewichtung und Zusammenstellung von Indikatoren zu einer Formel, die eine Gesamtbewertung darstellt. In der Arbeit sollen sowohl weiche Faktoren und Vorgaben gesammelt und genannt werden. Es sollen Indikatoren definiert werden. Es sollen Metriken erstellt werden, um verschiedene Zielsetzungen messbar zu machen. Dabei legt die Zielsetzung einer Metrik insbesondere fest, was von der Metrik als am wichtigsten erachtet wird. Beispiel: «kostengünstig» ist eine Metrik, die akzeptablen Wissensstand vermittelt aber wenig Aufwand für die Firma und Mitarbeiter:in bedeutet. Beispiel: «schnell» ist eine Metrik, die sich besonders auf die Dauer einer Schulung fokussiert, um adäquaten Wissenstand zu vermitteln. Im Anschluss an die Definition der Metriken sollen zusätzlich praktische Möglichkeiten vorgeschlagen werden, um einzelne Indikatoren messen zu können. Hier kommen vor allem die oben genannten «weichen Faktoren» ins Spiel, da diese dazu genutzt werden können, um einen Indikator in der Praxis zu messen. Weitere Möglichkeiten für eine Messung sind auch Mitarbeiterbefragungen, Quizze, Tests/Prüfungen und aktive Methode wie beispielsweise das aktive Testen von Passwörtern der Mitarbeiter. Eine Erweiterung dieser Idee ist die kontinuierliche und dauerhafte Messung von bestimmten Indikatoren. In der Bachelorarbeit sollen diejenigen Bewertungen markiert oder vorgeschlagen werden, die sich für den langfristigen Einsatz eignen. Ziel ist die Erstellung eines kontinuierlichen Index. Hinweise Diese Bachelorarbeit setzt Minimalziele, die zum Bestehen der Bachelorarbeit nötig sind. Alle weiteren Ziele sind optionale Ziele, die nach Absprache mit dem Betreuer selbstständig gewählt, bearbeitet werden können und in die Gesamtarbeit mit einfliessen. Minimalziele a) Literaturstudien a. Übersicht zu Schulungen & Kampagnen: bspw. Online-Training-Module, Training-Quizze/Tests, Phishing-Kampagnen, Spiele, Awarenessportal, sonstige Beteiligungs-/Einbindungsaktivitäten (engagement activities) b. Bewertungsmetriken & Strategien für Awareness-Schulungen in der Literatur c. Weitere/sonstige Massnahmen: bspw. spezielle Massnahmen für Personen mit hohem Risiko, Kurse zu Identifikation mit dem Unternehmen, Kurse für Mitarbeiter:in zu Folgen eines Cyber-Angriffs, Hackathons, Weisungenb) Schulungen aufzeigen und Zielsetzungen benennen. Schulungen charakterisieren und einordnen in verschiedenen Dimensionen: langfristiger oder kurzfristiger Erfolg, Zielgruppe, Kosten, Zeitaufwand, online/offline, ...c) Indikatoren (Einflussfaktoren) für den Erfolg oder die Kosten einer Schulung definieren a. Indikatoren: bspw. Wissensstand (erlerntes Wissen), (geändertes) Verhalten, Anzahl Verstösse/Sicherheitsereignisse nach Schulung, Kosten, Schulungszeit, Teilnehmerquote, Zufriedenheit/Abbruchquoted) Mögliche Metriken entwerfen a. Zielsetzung/Oberziele der Metrik: Beispiel: «kostengünstig» ist eine Metrik, die akzeptablen Wissensstand vermittelt aber wenig Aufwand für die Firma und Mitarbeiter:in bedeutet. Beispiel: «schnell» ist eine Metrik, die besonders die Zeit fokussiert. b. Verflechtung der Indikatoren zu einer Metrik (Vorschläge)e) Praktische Bewertung/Messung: Praktische Tests, Quizze, und Prüfungen nach Schulungen für einzelne Indikatoren entwerfen (wie man einzelne Indikatoren messen und bewerten kann) (als Bewertungsmöglichkeit nach den Schulungen). Bspw. Mitarbeitende-Befragung, Tests/Quizze/Prüfungen, «Passwörter testen», Pentests, «Phishing-Aufkommen» messen, Verstösse messen.f) Kontinuierliche/langfristige Bewertungen entwerfen; Ziel: Erstellung eines kontinuierlichen Indexg) Praktische Umsetzung anhand einer Studie Weitere Ziele (optional, Kreativität, Varianten, Innovation) - Zusammenstellung von Empfehlungen und Erkenntnissen für zukünftige Studien- Dashboard zur Ansicht der Metriken, Indikatoren und des langfristigen Index; Möglichkeiten zur Generierung von Reports für bestimmte Gruppen wie das Management- Automatisierung von Bewertungen von Indikatoren und/oder Schulungen- Automatisierung von Schulungen- Erstellung eines LMS für verschiedene Schulungen auf Grundlage der vorherigen Ergebnisse oder Erkenntnisse mit/ohne automatischer Bewertung

Project Idea Metadata

• Project Idea Name: Effective Security Awareness Metrics: Measuring the success of awareness training (Awareness Schulungen & Training: Messung des Erfolgs von Awareness-Schulungen)
• Date: 6/30/2022 1:01:45 PM
• Administrators:

Project Idea Description

Kurzbeschreibung

Ausgangslage und Problemstellung

Viele Unternehmen ergreifen Maßnahmen, um ihre Mitarbeitenden für das Thema Cyberangriffe zu sensibilisieren und den Mitarbeitenden zu ermöglichen, Schutzmechanismen kennenzulernen und umzusetzen. Dabei verfolgen sie das Ziel das Risiko eines erfolgreichen Cyberangriffes zu minimieren. Die Unternehmen setzen viele unterschiedliche Arten von Schulungen mit unterschiedlichen Ausrichtungen ein: beispielsweise Online-Training, Offline-Schulungen, Awareness-Kampagnen, Quizze und Spiele.

Damit ein wirkungsvolles Sicherheitsbewusstseinsprogramm (security awareness program) auch nachweisbar ist, muss man die Awareness-Massnahme messen und bewerten können. Ziel ist es, die Wirksamkeit nachzuweisen, die Effizienz der Programme zu steigern oder nachzuweisen, dass sich die Investition in bestimmte Programme lohnt (ROI).

Ziel der Arbeit und erwartete Resultate, Gewünschte Methoden, Vorgehen

Ziel der Bachelorarbeit ist die Erarbeitung von Bewertungsmetriken für Awareness-Massnahmen im Cyber Security-Umfeld. Dabei soll eine Literaturstudie durchgeführt werden, welche aufzeigt, welche Art von Schulungen existieren und wie deren Erfolg auf verschiedenen Ebenen bewertet wird. Auf Basis der Studie sollen dann eigene Metriken zur Bewertung einer Awareness-Kampagne erstellt werden und am Ende in einer praktischen Studie getestet werden.

Die Erstellung einer Metrik zur Bewertung einer Cyber Security-Massnahme erfordert nach der Charakterisierung einer Schulung den Entwurf von Indikatoren, möglichen Einflussfaktoren, auf die Schulung. Dabei werden oft weiche Faktoren in generelle Einflussfaktoren überführt. Weiche Faktoren und Vorgaben sind beispielsweise die folgenden:

- LMS-Onlineschulungen wurden erfolgreich abgeschlossen

- Mitarbeiter:in weiss, wie man ein Passwort nach Richtline erstellt

- Mitarbeiter:in wendet Clean Desk an

- Mitarbeiter:in liest Newsartikel auf dem Awarenessportal

- Mitarbeiter:in besteht Quiz nach Schulung

- Auditfragen zum Thema Informationssicherheit können von Mitarbeitenden beantwortet werden

- Weisungen werden eingehalten

Den Faktor «Mitarbeiter:in weiss, wie man ein Passwort nach Richtline erstellt» kann man dem Faktor Wissenstand zuordnen. Es gibt aber auch allgemeine Faktoren, die eine Schulung nur indirekt betreffen, die aber für eine Bewertung zu Rate gezogen werden können. Hier ist zum Beispiel die Anzahl der Sicherheitsereignisse/-verstösse oder die Anzahl der Phishing-Mails, die gemeldet wurden, zu nennen. Eine Metrik ist dann am Ende die Gewichtung und Zusammenstellung von Indikatoren zu einer Formel, die eine Gesamtbewertung darstellt. In der Arbeit sollen sowohl weiche Faktoren und Vorgaben gesammelt und genannt werden. Es sollen Indikatoren definiert werden. Es sollen Metriken erstellt werden, um verschiedene Zielsetzungen messbar zu machen. Dabei legt die Zielsetzung einer Metrik insbesondere fest, was von der Metrik als am wichtigsten erachtet wird. Beispiel: «kostengünstig» ist eine Metrik, die akzeptablen Wissensstand vermittelt aber wenig Aufwand für die Firma und Mitarbeiter:in bedeutet. Beispiel: «schnell» ist eine Metrik, die sich besonders auf die Dauer einer Schulung fokussiert, um adäquaten Wissenstand zu vermitteln.

Im Anschluss an die Definition der Metriken sollen zusätzlich praktische Möglichkeiten vorgeschlagen werden, um einzelne Indikatoren messen zu können. Hier kommen vor allem die oben genannten «weichen Faktoren» ins Spiel, da diese dazu genutzt werden können, um einen Indikator in der Praxis zu messen. Weitere Möglichkeiten für eine Messung sind auch Mitarbeiterbefragungen, Quizze, Tests/Prüfungen und aktive Methode wie beispielsweise das aktive Testen von Passwörtern der Mitarbeiter. Eine Erweiterung dieser Idee ist die kontinuierliche und dauerhafte Messung von bestimmten Indikatoren. In der Bachelorarbeit sollen diejenigen Bewertungen markiert oder vorgeschlagen werden, die sich für den langfristigen Einsatz eignen. Ziel ist die Erstellung eines kontinuierlichen Index.

Hinweise

Diese Bachelorarbeit setzt Minimalziele, die zum Bestehen der Bachelorarbeit nötig sind. Alle weiteren Ziele sind optionale Ziele, die nach Absprache mit dem Betreuer selbstständig gewählt, bearbeitet werden können und in die Gesamtarbeit mit einfliessen.

Minimalziele

a) Literaturstudien

a. Übersicht zu Schulungen & Kampagnen: bspw. Online-Training-Module, Training-Quizze/Tests, Phishing-Kampagnen, Spiele, Awarenessportal, sonstige Beteiligungs-/Einbindungsaktivitäten (engagement activities)

b. Bewertungsmetriken & Strategien für Awareness-Schulungen in der Literatur

c. Weitere/sonstige Massnahmen: bspw. spezielle Massnahmen für Personen mit hohem Risiko, Kurse zu Identifikation mit dem Unternehmen, Kurse für Mitarbeiter:in zu Folgen eines Cyber-Angriffs, Hackathons, Weisungen

b) Schulungen aufzeigen und Zielsetzungen benennen. Schulungen charakterisieren und einordnen in verschiedenen Dimensionen: langfristiger oder kurzfristiger Erfolg, Zielgruppe, Kosten, Zeitaufwand, online/offline, ...

c) Indikatoren (Einflussfaktoren) für den Erfolg oder die Kosten einer Schulung definieren

a. Indikatoren: bspw. Wissensstand (erlerntes Wissen), (geändertes) Verhalten, Anzahl Verstösse/Sicherheitsereignisse nach Schulung, Kosten, Schulungszeit, Teilnehmerquote, Zufriedenheit/Abbruchquote

d) Mögliche Metriken entwerfen

a. Zielsetzung/Oberziele der Metrik: Beispiel: «kostengünstig» ist eine Metrik, die akzeptablen Wissensstand vermittelt aber wenig Aufwand für die Firma und Mitarbeiter:in bedeutet. Beispiel: «schnell» ist eine Metrik, die besonders die Zeit fokussiert.

b. Verflechtung der Indikatoren zu einer Metrik (Vorschläge)

e) Praktische Bewertung/Messung: Praktische Tests, Quizze, und Prüfungen nach Schulungen für einzelne Indikatoren entwerfen (wie man einzelne Indikatoren messen und bewerten kann) (als Bewertungsmöglichkeit nach den Schulungen). Bspw. Mitarbeitende-Befragung, Tests/Quizze/Prüfungen, «Passwörter testen», Pentests, «Phishing-Aufkommen» messen, Verstösse messen.

f) Kontinuierliche/langfristige Bewertungen entwerfen; Ziel: Erstellung eines kontinuierlichen Index

g) Praktische Umsetzung anhand einer Studie

Weitere Ziele (optional, Kreativität, Varianten, Innovation)

- Zusammenstellung von Empfehlungen und Erkenntnissen für zukünftige Studien

- Dashboard zur Ansicht der Metriken, Indikatoren und des langfristigen Index; Möglichkeiten zur Generierung von Reports für bestimmte Gruppen wie das Management

- Automatisierung von Bewertungen von Indikatoren und/oder Schulungen

- Automatisierung von Schulungen

- Erstellung eines LMS für verschiedene Schulungen auf Grundlage der vorherigen Ergebnisse oder Erkenntnisse mit/ohne automatischer Bewertung

Viele Unternehmen ergreifen Maßnahmen, um ihre Mitarbeitenden für das Thema Cyberangriffe zu sensibilisieren. Damit ein wirkungsvolles Sicherheitsbewusstseinsprogramm (security awareness program) auch nachweisbar ist, muss man die Awareness-Massnahme messen und bewerten können. Ziel der Bachelorarbeit ist die Erarbeitung von Bewertungsmetriken für Awareness-Massnahmen im Cyber Security-Umfeld.