Bookshelf

Over the past decade, the adoption of sensors and the Internet of Things (IoT) has increased rapidly. In order to analyze the high-volume data streams, efficient distributed stream processing is needed. To support complex analysis on these streams, Stream Processing Engines (SPEs) emerged. As of today, most of these SPEs run on a cluster in a central data center. However, many IoT use cases are highly distributed and the process ing must meet Quality of Service (QoS) goals; otherwise, the output quality degrades or the output becomes worthless. Centralized processing might not fit these use cases since all the data is transferred from a source to the data center through often congestd network links. On the other hand, sensor networks leverage compute capabilities while transferring the data but are often limited to simple operations on the data stream. In this work, we propose a system that bridges the gap between complex event processing and in-network processing while preserving QoS goals. We extend a state-of-the-art SPE to allow complex event processing in tree-based topologies. Thereby the system places the query operators on intermediate nodes between the data sources and the data center. The system also monitors the network link conditions and the operator outputs to avoid congested network links. In case the system detects an over-provisioned network link, it migrates the operators to a more suitable location in the topology. Thus, the system can adhere to QoS goals although the network links might not be stable. Our evaluation shows that our system offers near-constant throughput in case of changing network conditions, contrary to a centralized approach where the throughput suffers from the network regression. Furthermore, our system can reduce overall network congestion. Therefore transformations on the data stream are moved as close as possible to the data source. The system shows, in our experiments, an almost 50% reduce in received bytes at the root node in comparison to a centralized approach.

\\

In den letzten zehn Jahren, hat die Verbreitung von Sensoren und dem Internet der Dinge (IoT) rapide zugenommen. Um die hochvolumigen Datenströme zu analysieren, ist eine effiziente verteilte Verarbeitung der Datenströme erforderlich. Zur Unterstützung komplexer Analysen auf diesen Datenströmen, wurden Stream Processing Engines (SPEs) entwickelt. Bis heute werden die meisten dieser SPEs in einem Cluster innerhalb eines Rechenzentrums ausgeführt. Viele IoT-Anwendungsfälle sind jedoch stark verteilt, und die Verarbeitung muss die QoS-Ziele (Quality of Service) erfüllen. Andernfalls verschlechtert sich die Ausgabequalität oder die Ausgabe wird wertlos. Die zentralisierte Verarbeitung passt möglicherweise nicht zu diesen Anwendungsfällen, da alle Daten über häufig überlastete Netzwerkverbindungen von einer Datenquelle an das Rechenzentrum übertragen werden. Andererseits nutzen Sensornetzwerke die Rechenfunktionen beim Übertragen der Daten, beschränken sich jedoch häufig auf einfache Operationen auf dem Datenstrom. In dieser Arbeit schlagen wir ein System vor, das die Lücke zwischen komplexer Ereignisverarbeitung und Verarbeitung in Sensornetzwerken schließt und gleichzeitig die QoS-Ziele beibehält. Wir erweitern eine hochmoderne SPE, um komplexe Ereignisverarbeitung in baumbasierten Topologien zu ermöglichen. Dabei platziert das System die Anfrageoperatoren auf Zwischenknoten zwischen den Datenquellen und dem Rechenzentrum. Das System überwacht auch die Netzwerkverbindungsbedingungen und die Operatorenausgaben, um überlastete Netzwerkverbindungen zu vermeiden. Wenn das System eine überbelastete Netzwerkverbindung erkennt, migriert es die Operatoren an einen geeigneteren Ort in der Topologie. Somit kann das System die QoS-Ziele einhalten, obwohl die Netzwerkverbindungen möglicherweise nicht stabil sind. Unsere Auswertung zeigt, dass unser System bei sich ändernden Netzwerkbedingungen einen nahezu konstanten Durchsatz bietet, im Gegensatz zu einem zentralisierten Ansatz, bei dem der Durchsatz unter der Netzwerkregression leidet. Darüber hinaus kann unser System die Gesamtüberlastung des Netzwerks reduzieren. Dafür werden Transformationen des Datenstroms so nah wie möglich an die Datenquellen verschoben. Das System zeigt im Vergleich zu einem zentralisierten Ansatz, in unseren Experimenten beinahe eine Halbierung der empfangenen Bytes am Wurzelknoten.