Manuel Walzl

• Die vorliegende Masterarbeit untersucht den Einsatz von Large Language Models(LLMs) zur Unterstützung und Verbesserung der IT-Sicherheit bei der Überprüfung von Netzwerkkonfigurationen. Traditionell werden Netzwerkkonfigurationen vonIT-Administratoren manuell überprüft, was zeitaufwendig und fehleranfällig sein kann. Diese Arbeit verfolgt das Ziel, durch den Einsatz eines speziell entwickelten KI-gestützten Tools diesen Prozess effizienter und sicherer zu gestalten. Anhand einer systematischen Literaturrecherche wurden bestehende Forschungsarbeitenanalysiert, um die aktuelle Forschungslücke zu identifizieren. Es zeigte sich,dass bisher kaum Forschungsarbeiten zur Anwendung von LLMs bei der Analyse und Optimierung von Netzwerkkonfigurationen vorliegen. Auf Basis dieser Erkenntnisse wurde ein Tool entwickelt, das mittels Prompt-Engineering-Techniken und auf Grundlage des NSA Network Infrastructure Security Guides Sicherheitsprüfungen an Netzwerkkonfigurationen vornimmt. Die Evaluation erfolgte durch Experteninterviews sowie einen Labortest mit IT-Sicherheitsexpert*innen. Dabei wurden die Ergebnisse des Tools mit einer manuellen Fehleranalyse verglichen. Die Ergebnisse der Evaluation bestätigten, dass das entwickelte Tool zuverlässig kritische Konfigurationsfehler identifizieren konnte und dabei teilweise Fehler entdeckte, die von menschlichen Expert*innen übersehen wurden. Dennoch zeigte sich, dass bei komplexen architektonischen Entscheidungen menschliche Expertise weiterhin unabdingbar ist. Die Arbeit liefert damit einen wichtigen Beitrag zur Diskussion über die sinnvolle Integration von KI-basierten Werkzeugen in die Netzwerksicherheitsprüfung. Abschließend werden praktische Implikationen sowie zukünftige Forschungsfelder aufgezeigt.
• This Master’s thesis examines the use of Large Language Models (LLMs) to support and enhance IT security in network configuration assessments. Traditionally, network configurations are manually reviewed by IT administrators, a process that can be bothtime-consuming and error-prone.Through a systematic literature review, existing research was analyzed to identify research gaps. Findings indicate a scarcity of studies focusing specifically on applying LLMs to the analysis and optimization of network configurations. Based on these insights, a Tool was developed utilizing prompt engineering techniques and leveraging the NSA Network Infrastructure Security Guide to perform security assessments. The tool was evaluated through qualitative expert interviews and a laboratory test comparing its performance to human experts.The evaluation demonstrated that the Tool effectively identified critical configuration errors, in some cases detecting issues overlooked by human experts. However, it also became clear that human expertise remains crucial for addressing complex architectural decisions. This thesis provides a significant contribution to the ongoing discussion on integrating artificial intelligence into IT security processes, highlighting both its potential and limitations.