Big Data Cluster
Das am Fachbereich Informatik im Rahmen des Big Data Competence Centers seit 2012 betriebene und in den Jahren 2015, 2017, 2019 und 2020 erweiterte Big Data Cluster ermöglicht es, in Lehrveranstaltungen, Praktika und studentischen Projektarbeiten das Thema Big Data auch praktisch und realitätsnah zu vermitteln. Darüber hinaus kann im Rahmen von Abschlussarbeiten Kompetenz in der Durchführung von vergleichenden Untersuchungen mit realistischen Datenmengen und Anwendungsszenarien erworben werden.
Die Rechner des Big Data Clusters wurden aus zentralen und dezentralen QSL-Mitteln (Mittel zur Qualitätssicherung von Studium und Lehre) der Hochschule Darmstadt bzw. des Fachbereichs Informatik beschafft.
Update Juli 2020: Aus zentralen QSL-Mitteln wurden 4 leistungsstarke Dell PowerEdge C6420 (Ausstattungsdetails siehe unten) beschafft.
Update Dezember 2019: Aus Mitteln des Forschungszentrums Angewandte Informatik wurden 4 leistungsstarke Dell PowerEdge C6420 (Ausstattungsdetails siehe unten) beschafft.
Finanzierung
Die Finanzierung erfolgte aus Mitteln nach dem Gesetz zur Verbesserung der Qualität der Studienbedingungen und der Lehre des Landes Hessen.
Hardware
Kern des Big Data Cluster sind derzeit 36 Nodes die dynamisch für unterschiedliche Einsatzszenarien konfiguriert werden können sowie eine entsprechende Netzwerk-Umgebung. Die Nodes unterscheiden sich in der Ausstattung bezüglich der Prozessoren, des RAM und der Speichermedien, um für die unterschiedlichsten Big Data Szenarien geeignete Infrastruktur anzubieten. Die technischen Details der Ausstattung finden Sie untenstehend.
Software
Derzeit werden die folgenden Big Data Softwareprodukte auf dem Cluster angeboten:
- Apache Spark
- Apache Hadoop
- MongoDB
- Couchbase
- Apache Cassandra
- Neo4j
- SAP HANA
Weitere Informationen zur installierten Software und zur Nutzung des Clusters finden Sie im Wiki des Big Data Clusters (Einloggen mit h-da-Account). Weitere Software kann bei Bedarf unterstützt werden.
Technische Ausstattung im Detail
Die 36 Nodes unterscheiden sich in der Ausstattung bezüglich der Prozessoren, des RAM und der Speichermedien, um für die unterschiedlichsten Big Data Szenarien geeignete Infrastruktur anzubieten:
- 16 x Dell PowerEdge C6220
- 2 Intel Xeon E5-2609 (je 4 Cores)
- 64 GB RAM
- 4 x 1 TB SATA 7.2 k
- 8 x Dell PowerEdge C6320
- 2 Intel Xeon E5-2620v2 (je 6 Cores)
- 128 GB RAM
- 4 x 1 TB SATA 7.2 k
- 2 x Dell PowerEdge C6320
- 2 Intel Xeon E5-2620v2 (je 6 Cores)
- 128 GB RAM
- 2 x 1 TB SATA 7.2 k
- 2 x 200 GB SATA SSD
- 2 x Dell PowerEdge C6320
- 2 Intel Xeon E5-2695v2 (je 12 Cores)
- 128 GB RAM
- 2 x 1 TB SATA 7.2 k
- 2 x 200 GB SATA SSD
- 4 x Dell PowerEdge C6420
- 2 x Intel Xeon Gold 6254 (je 18 Cores)
- 384 GB RAM
- 4 x 480 GB SSD
- 2 x 960 NVMe Festplatte
- Neu: Juli 2020: 4 x Dell PowerEdge C6420
- 2x Intel Xeon Gold 6226 (je 12 Cores)
- 384 GB RAM
- 4x 512 GB NVMe
