Diplom- und Abschlussarbeiten 2018/19

Erstellung einer Anwendung zur Datenaggregation mit anschließendem Analyseprozess



Projektleiter

Tamara Amann

Tamara Amann übernahm die Rolle der Projektleitung. Sie war in ihrer Funktion als Projektleiterin für das Projektmanagement und für die Organisation des Projektes zuständig. Des Weiteren umfasste ihr Aufgabegebiet das Design und die Umsetzung des User-Interfaces sowie die Implementierung des Front-Ends.

Mitarbeiter

Björn Kräutler

Björn Kräutler war im Projekt mit dem Arbeitstitel "M.A.R.C One" ein Projektteammitglied. Sein zugewiesenes Themengebiet umfasste die Konzeption und Umsetzung des Datenbankaufbaus und deren Betreuung. Des Weiteren war er für die Optimierung des Codes nach Durchführung der Tests zuständig. Die nach den Tests gefundenen Fehler wurden von ihm und Projektteammitarbeiter Lucas Enzi ausgebessert.

Lucas Enzi

Lucas Enzi hatte im Projekt M.A.R.C One die Rolle eines Projektteammitarbeiters inne. Der ihm zugewiesene Aufgabenschwerpunkt umfasste die Konzeption und Umsetzung der Scraping-Funktion sowie die Umsetzung der Lastenverteilung des Datenaggregationsprozesses. Er war gemeinsam mit Björn Kräutler für das Testen zuständig


Zielsetzung

Ziel des Projekts ist es, eine Anwendung zur Datenaggregration zu erstellen, welche es ermöglicht Daten von ausgewählten Websites in unter 12 Stunden und voll automatisiert, anhand einer vorgegebenen Produktliste, zu beziehen. Nach Abschluss des Prozesses soll ein Fehlerbericht an einen vorab definierten Benutzer gesendet werden.

Problemstellung

Aktuell werden im Unternehmen benötigte Produktpreise manuell recherchiert. Um den Zeitverlust durch manuelle Recherchen zu minimieren, soll der benötigte Produktpreis voll automatisiert von ausgewählten Websites aggregiert und auf einer Website in graphischer Form dargestellt werden.

Ergebnisse

Das Ergebnis dieses Projektes ist eine funktionsfähige Anwendung zur webbasierten Datenaggregation und eine Website zur exemplarischen Darstellung der Ergebnisse des Aggregationsprozesses. Des Weiteren erfolgte eine schriftliche Dokumentation in Form der Diplomarbeit, welche sowohl die technischen Aspekte als auch die Aspekte des Projektmanagements dieses Projektes fest hält.

Technologien

Visual Studio Code

Für das Programmieren des Tools wurde die Entwicklungsumgebung Visual Studio Code verwendet.

MongoDB Compass

Um die Datenbank zu verwalten und die darin stehenden Datensätze zu bearbeiten, wurde das Verwaltungstool MongoDB Compass genutzt.

ExpressJS

ExpressJS ist ein Framework für NodeJS, mit welchem die Webanwendungen entwickelt wurde.

Chromium

Chromium ist ein Großteil des Quelltextes von Google Chrome und steht als Open-Source-Projekt zur Verfügung. Chromium wird in Verbindung mit PuppeteerJS für das Webscraping-Tool verwendet.

NodeJS

NodeJs ist eine Plattform für den Betrieb von Netzwerkanwendungen, welche die Verwendung von vielen Modulen zur Verfügung stellt.

PuppeteerJS

Mithilfe von PuppeteerJS können Aktionen von Usern im Browser automatisiert nachgeahmt werden. Es wird unter anderem für das Web-Scraping genutzt.

mongoose

Mongoose ist eine Object Data Model (ODM) Bibliothek für MongoDB.

MongoDB

MongoDB ist eine dokumentenorientierte NoSQL-Datenbank.