Πρωτότυπος Τίτλος:
Δημιουργία & ενσωμάτωση ροών δεδομένων σε πραγματικό χρόνο με Apache Kafka: Μια προσέγγιση με βάσεις δεδομένων διαφορετικού μοντέλου
Συγγραφέας:
Ασλάνογλου, Αλέξανδρος, Αχιλλέας
Επιβλέπων καθηγητής:
Βαρλάμης, Ηρακλής
Περίληψη:
To συγκεκριμένο έργο αποσκοπεί στην δημιουργία και παρουσίαση της αρχιτεκτονικής ενός υπο-λογιστικού συστήματος, ικανό να μεταβιβάσει και επεξεργαστεί μεγάλο όγκο πληροφοριών σε πραγματικό χρόνο. Υποστηρίζεται διασύνδεση μεταξύ πολλών υποσυστημάτων που λειτουργούν σαν παραγωγοί πληροφορίας (ή εκδότες) και πολλών υποσυστημάτων τα οποία λειτουργούν σαν καταναλωτές των μηνυμάτων αντίστοιχα.
Η αρχιτεκτονική αυτή βασίζεται σε μεγαλό βαθμό σε μεσίτες μηνυμάτων καθώς και plug-ins που προσφέρει η τεχνολογία Apache Kafka. Υπάρχουν συνοπτικές αναφορές τόσο για τις τεχνολογίες που χρησιμοποιήθηκαν, όσο και για παρόμοιες οι οποίες δυνητικά θα μπορούσαν να χρησιμο- ποηθούν σε μια αντίστοιχη υλοποίηση ή αρχιτεκτονική. Επίσης, αξίζει να σημειωθεί ότι αρκετή βαρύτητα δόθηκε στην παρουσίαση ενός εύχρηστου και γενικού τρόπου επεξεργασίας μηνυμάτων μετά την έκδοση τους και πριν την κατανάλωση τους.
Με σκοπό της ευκολότερη διεξαγωγή πειραμάτων και παρουσίασης του λόγου ύπαρξης ενός τέ- τοιου συστήματος, αναπτύχθηκε ενα βοηθητικό υποσύστημα το οποίο λειτουργεί σαν κεντρικο- ποιημένος αποδέκτης μηνυμάτων μέσω του πρωτοκόλλου HTTP, καθώς και μια γεννήτρια ψευδο- τυχαίων μηνυμάτων με περιεχόμενο που αφορούν συμβάντα ενός τυπικού e-commerce flow.
Τα συμπεράσματα και οι μετρήσεις που εξήχθησαν και παρουσιάζονται αφορούν δοκιμές που πραγματοποιήθηκαν σε τοπικό περιβάλλον με σκοπό την επίδειξη της συγκεκριμένης λειτουργικό- τητας. Με το συγκεκριμένο setup και hardware το οποίο προσομοιάζει ενα περιβάλλον ανάπτυξης (και όχι παραγωγικό περιβάλλον) ο μέγιστος ρυθμός έκδοσης μηνυμάτων ήταν ~60000 ανά λεπτό και η κατανάλωση αυτών έφτασε τα ~30000 μηνύματα ανά λεπτό.
Η αρχιτεκτονική αυτή βασίζεται σε μεγαλό βαθμό σε μεσίτες μηνυμάτων καθώς και plug-ins που προσφέρει η τεχνολογία Apache Kafka. Υπάρχουν συνοπτικές αναφορές τόσο για τις τεχνολογίες που χρησιμοποιήθηκαν, όσο και για παρόμοιες οι οποίες δυνητικά θα μπορούσαν να χρησιμο- ποηθούν σε μια αντίστοιχη υλοποίηση ή αρχιτεκτονική. Επίσης, αξίζει να σημειωθεί ότι αρκετή βαρύτητα δόθηκε στην παρουσίαση ενός εύχρηστου και γενικού τρόπου επεξεργασίας μηνυμάτων μετά την έκδοση τους και πριν την κατανάλωση τους.
Με σκοπό της ευκολότερη διεξαγωγή πειραμάτων και παρουσίασης του λόγου ύπαρξης ενός τέ- τοιου συστήματος, αναπτύχθηκε ενα βοηθητικό υποσύστημα το οποίο λειτουργεί σαν κεντρικο- ποιημένος αποδέκτης μηνυμάτων μέσω του πρωτοκόλλου HTTP, καθώς και μια γεννήτρια ψευδο- τυχαίων μηνυμάτων με περιεχόμενο που αφορούν συμβάντα ενός τυπικού e-commerce flow.
Τα συμπεράσματα και οι μετρήσεις που εξήχθησαν και παρουσιάζονται αφορούν δοκιμές που πραγματοποιήθηκαν σε τοπικό περιβάλλον με σκοπό την επίδειξη της συγκεκριμένης λειτουργικό- τητας. Με το συγκεκριμένο setup και hardware το οποίο προσομοιάζει ενα περιβάλλον ανάπτυξης (και όχι παραγωγικό περιβάλλον) ο μέγιστος ρυθμός έκδοσης μηνυμάτων ήταν ~60000 ανά λεπτό και η κατανάλωση αυτών έφτασε τα ~30000 μηνύματα ανά λεπτό.
Ημερομηνία κατάθεσης:
2024-10-30
Γλώσσες Τεκμηρίου:
Ελληνικά
Θεματικές Κατηγορίες:
Ηλεκτρονικοί υπολογιστές. Επιστήμη των υπολογιστών
Λοιπά Θέματα:
Αρχιτεκτονική ηλεκτρονικών υπολογιστών
Λέξεις-κλειδιά:
Αρχιτεκτονική Συμβάντων
Περιγραφή:
46 σ.,εικ.,πίν.
Άδεια χρήσης:
Αναφορά Δημιουργού – Μη Εμπορική Χρήση – Όχι Παράγωγα Έργα 4.0
