 |
i6sdb - stream and data bases| Projektleitung: | Prof. Dr. Klaus Meyer-Wegener, Dr.-Ing. Michael Daum, Dipl.-Inf. Frank Lauterwald | | Beteiligte: | Dipl.-Inf. Robert Nagy, Dipl.-Inf. Juliane Blechinger, Mario Kiefer, Sebastian Herbst, Dipl.-Inf. Martin Fischer, Tobias Rühr, Marko Schilde, Dipl.-Inf. Philipp Baumgärtel, Frederico Biscaya, Markus Zenk, Wie He, Bruno Escher, Bernd Krause | | Stichwörter: | Datenströme; DSMS; Kostenmodelle; Anfrageverarbeitung; Performance | | Beginn: | 1.1.2006 | | Inhalt und Ziele: | Herkömmliche Datenbanksysteme arbeiten meist transaktional auf Datenbeständen, so dass wichtige Daten persistent und konsistent gespeichert werden können. Ihr Erfolg liegt neben dem Transaktionskonzept in erster Linie an der Anwendungsneutralität und an standardisierten Anfragesprachen wie SQL. Durch die in den letzten Jahren immer günstiger gewordene Möglichkeit, Daten zu übertragen (Hardware, Leitungskapazitäten), ist die Idee entstanden, weniger wichtige, aber kontinuierlich auftretende Daten wie z.B. Serverlogs, Systemereignisse, Sensormesswerte zu übermitteln, auszuwerten und aus dieser Datenflut brauchbare aggregierte Daten zu gewinnen. Häufig ist die gewonnene Information besonders wertvoll, wenn sie mit dem Eintreffen der Datenstromtupel zeitnah generiert wird.
Die übermittelten Datensätze entsprechen ähnlich wie Datenbankeinträge einem Schema, so dass auch für Datenströme anwendungsneutrale Operatoren und Anfragesprachen entwickelt wurden und bereits in ersten Datenstrommanagementsystemen (DSMS) Verwendung finden. Hierbei ist zu beachten, dass bei DSMS die Anfrage persistent und die eigentliche Datenbasis (Datenstrom) transient ist.
In dem Projekt wird die Architektur vorhandener DSMS analysiert und darauf aufbauend werden geeignete Kostenmodelle für unterschiedliche Anfragen an Datenströme erstellt. Dabei werden insbesondere Eigenschaften der Datenquellen in dem Modell berücksichtigt, was eine spätere Optimierung auch über Systemgrenzen hinweg ermöglicht.
Des Weiteren wird nach geeigneten Szenarien für Datenstromverarbeitung gesucht, in denen die Anwendung von DSMS den bisherigen Ansätzen klar überlegen ist. Insbesondere in der Sensordatenfusion sowie bei der Überwachung komplexer Ereignisse stellen sich Anforderungen, die durch DSMS gut gelöst werden können. Offen ist hier allerdings, was der beste Weg ist, um diese Anforderungen in eine allgemeine Anfragesprache umzusetzen.
| | Publikationen: | - Lindner, Wolfgang ; Meyer-Wegener, Klaus ; Velke, Holger:
Data Stream Query Optimization Across System Boundaries of Server and Sensor Network
. In: IEEE Computer Society (Veranst.): Mobile Data Management (MDM 2006, Proc. 7th International Conference, Nara, Japan, May 9-13, 2006). Los Alamitos, CA : IEEE CS Press, 2006, S. 25. - ISBN 0-7695-2526-1 - Lindner, Wolfgang ; Meyer-Wegener, Klaus ; Velke, Holger:
Operator Allocation in Borealis with Integrated Sensor Network Query Processors
. In: Nittel, Silvia ; Kulik, Lars ; Tanin, Egemen (Hrsg.) : Mobile Location-Aware Sensor Networks (Workshop in conjunction with MDM 2006, Nara, Japan, May 13, 2006). Los Alamitos, CA : IEEE CS Press, 2006, S. 155. - ISBN 0-7695-2526-1 - Daum, Michael:
Abstract Query Language: Global Queries in Heterogeneous and Distributed Stream Processing Systems
. Erlangen : Friedrich-Alexander-Universität. 2009 (CS6-2009-1). - Interner Bericht. 25 Seiten - Daum, Michael:
Deployment of Global Queries in Distributed and Heterogeneous Stream Processing Systems
. In: Hinze, Annika ; Pietzuch, Peter (Hrsg.) : DEBS PhD Workshops (International Conference on Distributed Event-Based Systems, Nashville, TN, USA, July 6th-9th, 2009,). 2009, S. 1-5. Stichwörter:
Model Driven Architecture, Integration of Heterogeneous Stream Processing Systems, Federated Event-Based Systems
- Daum, Michael ; Fischer, Martin ; Kiefer, Mario ; Meyer-Wegener, Klaus:
Integration of Heterogeneous Sensor Nodes by Data Stream Management
. In: N.N. (Hrsg.) : Proc. 10th Int. Conf. on Mobile Data Management (MDM'09, Taipei, Taiwan, May 18-20, 2009). Los Alamitos, California - Washington - Tokyo : IEEE Computer Society Conference Publishing Services (CPS), 2009, S. 525-530. - ISBN 978-0-7695-3650-7 Stichwörter:
rdsp;
[doi>10.1109/MDM.2009.92] - Dressler, Falko ; Kapitza, Rüdiger ; Daum, Michael ; Strübe, Moritz ; Schröder-Preikschat, Wolfgang ; German, Reinhard ; Meyer-Wegener, Klaus:
Query Processing and System-Level Support for Runtime-Adaptive Sensor Networks
. In: Geihs, Kurt ; David, Klaus (Hrsg.) : Proc. of 16. GI/ITG Fachtagung Kommunikation in Verteilten Systemen ((KiVS 2009), Kassel, Germany, March 2009). 2009, S. 55-66. Stichwörter:
RDSP
- Daum, Michael ; Lauterwald, Frank ; Baumgärtel, Philipp ; Meyer-Wegener, Klaus:
Propagation of Densities of Streaming Data within Query Graphs
. In: Gertz, Michael ; Ludäscher, Bertram (Hrsg.) : Scientific and Statistical Database Management: 22nd International Conference (SSDBM, Heidelberg, 30.06.-02.07.2010). 1st. Aufl. Heidelberg : Springer, 2010, S. 584-601. - ISBN 978-3-642-13817-1
|
Lehrveranstaltungen
- SS 2006: Vorlesung in "Spezielle Kapitel von Datenbanken" (Daum)
- WS 2006/2007: Hauptseminar (Lindner, Daum)
- SS 2007: Vorlesung Datenstromsysteme (Meyer-Wegener, Daum)
- WS 2007/2008: C++-Bibliotheken für Datenverarbeitungs- und Multimediaanwendungen (Daum, Nagy, Lauterwald)
Themen für Arbeiten
-
Erweiterung der Anfrageoptimierung zwischen Datenstromverwaltungs- und Sensornetzanfragesystemen
- Realisierung von Datenstromanfragen mit Hilfe eines DBMS
- Portierung von TinyDB auf medizinische Sensornetzwerke
- Grundlagenarbeiten zu DSMS und Integration von Datenquellen
Laufende Arbeiten
- Generierung von Operatorengraphen für Datenbank- und Datenstromabfragen (SA Mario Kiefer)
- Refactoring eines DSMS (SA Martin Fischer)
- Auswertung von Laufzeitverhalten von Software mit Hilfe von DSMS (SA Wei He)
- Optimierung von Anfragen auf DSMS (SA Philipp Baumgärtel)
- Vorverarbeitung von Datenstromanfragen auf SunSpot-Motes unter Zuhilfenahme von OSGi (SA Andre Frimberger)
- Abschätzung von Aufwand von Anfragen in DSMS (DA Juliane Blechinger)
- Analyse von Softwaregeneratoren für Metadatenzugriff in C++ (DA Markus Zenk)
Beendete Arbeiten
- Entwurf und Realisierung eines Metadatenkatalogs für deskriptive Anfragen an Datenstromquellen (DA Robert Nagy)
- Entwurf und Realisierung eines Tools zur Performanzanalyse bestehender Implementierungen von DSMS (DA Marko Schilde)
- Datenstromverarbeitung im medizinischen Umfeld (DA Tobias Rühr)
- Entwicklung eines Laufzeitsystems zur Auswertung paralleler und dynamisch variabler Datenstromanfragen auf heterogenen Datenquellen (SA Sebastian Herbst)
Kontakt
Michael Daum
|
 |