greek english
intermek-logo solakis-logo

OPTIMAR

Αυτοματοποίηση Οπτικής Διαλογής Μαρμάρινων Πλακιδίων

«ΕΡΕΥΝΩ – ΔΗΜΙΟΥΡΓΩ – ΚΑΙΝΟΤΟΜΩ» 8.6 Εξαρτήματα και συστήματα
Κωδ. Έργου Τ1ΕΔΚ-00706

Το Έργο.

Αντικείμενο και Στόχοι του Έργου

Διάφορες φάσεις της διαδικασίας μεταποίησης μαρμάρινων πλακών διεξάγονται σήμερα χειρωνακτικά από έμπειρους τεχνίτες:

  • Η επιρητίνωσή τους κατά την οποία ένας τεχνίτης εντοπίζει δομικά και εμφανισιακά ελαττώματα (π.χ. ρωγμές, κοιλότητες κτλ.) στην πλάκα και τα καλύπτει με ρητίνες.
  • Η οπτική διαλογή τους στο τελικό στάδιο και η κατηγοριοποίησή τους σε Α-Β-Γ ποιότητες.

Παρότι θα ήταν δυνατή η χρήση ρομποτικών βραχιόνων για την υποβοήθηση των έμπειρων τεχνιτών (π.χ. για την επιρητίνωση) ή ακόμα και την πλήρη αντικατάστασή τους (π.χ. στην διαλογή), δεν υπάρχει διαθέσιμο κατάλληλο λογισμικό οπτικής αναγνώρισης των φυσικών ελαττωμάτων των πετρωμάτων που θα κατεύθυνε κινηματικά τον βραχίονα ώστε να τα επεξεργαστεί με την κατάλληλη διαδικασία.

Η συγκεκριμένη πρόταση αφορά ακριβώς στην ανάπτυξη όλων των επιμέρους απαραίτητων υποσυστημάτων και την ολοκλήρωσή τους σε ένα προηγμένο λογισμικό μηχανικής όρασης για εντοπισμό και ανίχνευση διαφόρων ποιοτικών χαρακτηριστικών μαρμάρινων πλακιδίων, με στόχο την αυτοματοποίηση της διαδικασίας διαλογής τους.

Το προτεινόμενο λογισμικό, με τη μορφή έμπειρου συστήματος ρομποτικής όρασης, θα κατευθύνει και θα ελέγχει κινηματικά έναν, γενικής χρήσης, βιομηχανικό ρομποτικό βραχίονα, εξοπλισμένου με κατάλληλο εργαλείο στον end-effector (π.χ. αρπάγη ή βεντούζα).

Η διαδικασία διαλογής των πλακιδίων μαρμάρου (περιγράφεται αναλυτικά στο συνημμένο Παράρτημα Ι της παρούσης) θέτει επίσης και ζητήματα ασφάλειας του προσωπικού, λόγω του βάρους των πλακιδίων και της καταπόνησης του εργαζόμενου κατά την παλετοποίησή τους.

optimar-photo1

Μεθοδολογία Υλοποίησης του Έργου

Το έργο θα υλοποιηθεί στις παρακάτω διακριτές ερευνητικές φάσεις:

  • Αναλυτική καταγραφή της χειροκίνητης διαλογής πλακιδίων. Θα καταγραφεί (με κάμερες και λοιπό εξοπλισμό) η διαδικασία διαλογής για διάφορους τύπους μαρμάρων, κυρίως ελληνικούς (π.χ. Δράμας, Καβάλας, Θάσου). Οι εικόνες θα καταχωρηθούν σε βάση δεδομένων και θα ταξινομηθούν με κριτήριο τα ποιοτικά τους χαρακτηριστικά.
  • Ανάπτυξη αλγορίθμου οπτικής διαλογής. Οι καταχωρημένες εικόνες και τα ποιοτικά τους χαρακτηριστικά θα τροφοδοτήσουν ένα έμπειρο σύστημα μηχανικής όρασης που θα αναπτυχθεί με τεχνολογίες Deep-Learning. Το εκπαιδευμένο σύστημα θα ελεγχθεί υπολογιστικά και θα επαληθευτεί.
  • Ανάπτυξη αυτοματοποίησης οπτικής διαλογής. Περιλαμβάνει την ενοποίηση των συστημάτων και την ολοκλήρωση σε εργαστηριακό επίπεδο, του αυτοματισμού μηχανικής όρασης και του ρομποτικού ελέγχου βιομηχανικού βραχίονα. Στους εργαστηριακούς χώρους του ΤΕΙ ΑΜΘ θα δημιουργηθεί μια πιλοτική εφαρμογή: μια γραμμή παραγωγής (τελική φάση διαλογής) αποτελούμενη από:
    • ιμάντα κίνησης, όπου θα τοποθετούνται διάφορα έτοιμα πλακίδια
    • σύστημα τεχνητής όρασης
    • βιομηχανικό ρομπότ – αρθρωτός βραχίονας και
    • υλισμικό-λογισμικό λειτουργίας της αυτοματοποίησης και καθοδήγησης του βραχίονα.
optimar-photo2

Στα πλαίσια της παρούσης πρότασης θα αναπτυχθεί ένας «ευφυής» αλγόριθμος διαλογής μαρμάρινων πλακιδίων, αποτελούμενος από τρεις διακριτές μεθόδους επεξεργασίας ιεραρχικά εκτελούμενες.

Ο αλγόριθμος θα κάνει χρήση προηγμένων μεθόδων της τεχνητής όρασης, της αναγνώρισης προτύπων και της μηχανικής μάθησης , ώστε να προσδώσει στο σύστημα ικανότητες αντίληψης και νοημοσύνης, παρόμοιες με αυτές ενός έμπειρου τεχνικού διαλογής.

Συγκεκριμένα, ο αλγόριθμος θα κάνει χρήση, γεωμετρικών προτύπων, χρωματικών χαρακτηριστικών και μοντέλων «βαθειάς μάθησης» (deep learning) , καθένα από τα οποία θα εκτελείται παράλληλα σε GPU (κάρτα γραφικών) για την επιτάχυνση των υπολογισμών, εξασφαλίζοντας μικρό χρόνο απόκρισης και ικανοποιώντας τις ανάγκες λειτουργίας σε πραγματικό χρόνο του συστήματος διαλογής.

Αναμενόμενα Αποτελέσματα

Το κύριο αποτέλεσμα του έργου θα είναι ένα ολοκληρωμένο και πλήρες λειτουργικό σύστημα αυτοματοποιημένης διαλογής μαρμάρινων πλακιδίων, επιπέδου TRL 6, με παραμετροποίηση ειδικά για τα Ελληνικά μάρμαρα, αποτελούμενο από:

  • Αλγόριθμο μηχανικής όρασης (pattern recognition) και τεχνολογίας Deep Learning.
  • Ενσωματωμένο σύστημα (embedded system) διαλειτουργικότητας της μηχανικής όρασης, με ρομποτικό βραχίονα.
  • Λογισμικό διεπαφής χρήστη για την παραμετροποίηση, διαχείριση και λειτουργία του ανωτέρω συστήματος.
  • Training Dataset εικόνων διαλογής από Patterns Ελληνικών μαρμάρων.
  • Επικυρωμένη, επαληθευμένη λειτουργία σε εργαστηριακή πιλοτική διάταξη αυτοματοποιημένης διαλογής (TRL 6).
optimar-photo3

Χρονοδιάγραμμα.

1. Υποστηρικτικές Δράσεις.

Αφορά σε δράσεις προετοιμασίας της όλης ερευνητικής διαδικασίας και δράσεις σχεδιασμού εργασιών, λαμβάνοντας υπόψη επικαιροποιημένα στοιχεία και δεδομένα.

  • 5/2018-9/2018

    1.1 Βιβλιογραφική Επισκόπηση

    Αναλυτική επισκόπηση υπαρχόντων εμπορικών προϊόντων, τεχνολογικών λύσεων και επιστημονικών ερευνών που σχετίζονται με το έργο.

  • 5/2018-11/2018

    1.2 Τάσεις Αγοράς

    Καταγραφή και ανάλυση των τάσεων της αγοράς για εφαρμογές πλακιδίων μαρμάρων. Ευκαιρίες, προβλέψεις ανάπτυξης ανά εφαρμογή (μπάνια, δάπεδα, κουζίνες, ορθομαρμάρωση, οικιακοί & βιομηχανικοί χρήστες) και περιοχή (Βόρεια Αμερική, Ευρώπη, Ασία-Ειρηνικός, Λοιπές χώρες).

  • 8/2018–12/2018

    1.3 Ανάπτυξη Ερευνητικής Μεθοδολογίας

    Θεωρητική προσέγγιση της ερευνητικής διαδικασίας που θα εφαρμοστεί με προσδιορισμό των σημαντικότερων παραμέτρων που θα πρέπει να ληφθούν υπόψη, των στόχων και των αναμενόμενων αποτελεσμάτων.

  • 5/2018-3/2022
    Ολοκλήρωση του έργου

    1.4 Διαχείριση Έργου

    Καθ’ όλη τη διάρκεια του έργου θα πραγματοποιείται αποτελεσματική διαχείριση και εκτέλεση του έργου ώστε να εξασφαλίζεται ο συντονισμός των ερευνητικών και τεχνικών δραστηριοτήτων.

  • 5/2018–3/2022
    Ολοκλήρωση του έργου

    1.5 Δημοσιότητα

    Δράσεις δημοσιότητας και διάχυσης αποτελεσμάτων, όπως περιγράφονται στην σχετική ενότητα της πρότασης.

2. Συλλογή Οπτικών Δεδομένων

Αφορά σε σχεδιασμό και εγκατάσταση - λειτουργία της διάταξης συλλογής οπτικών δεδομένων διαλογής, στην γραμμή παραγωγής μαρμάρινων πλακιδίων της εταιρείας SOLAKIS. Περιλαμβάνει τις παρακάτω δραστηριότητες

  • 9/2018–1/2019

    2.1 Σχεδιασμός Διάταξης

    Αναλυτικός καθορισμός των λειτουργικών απαιτήσεων της διάταξης συλλογής οπτικών δεδομένων. Η διάταξη θα εγκατασταθεί στην γραμμή παραγωγής μαρμάρινων πλακιδίων της εταιρείας SOLAKIS. Μελέτης της ροής εργασιών και ανάπτυξη πρωτοκόλλου ταξινόμησης των εικόνων. Προσδιορισμός τύπων μαρμάρων που θα καταγραφούν και αδρομερής προσδιορισμός των ποιοτικών χαρακτηριστικών τους.

  • 11/2018–5/2019

    2.2 Λογισμικό Συλλογής Δεδομένων

    Ανάπτυξη του λογισμικού για την αυτοματοποιημένη καταγραφή των οπτικών δεδομένων από κάμερες και την δημιουργία ενός Dataset με εικόνες που θα συμπεριλαμβάνουν και λοιπά δεδομένα (π.χ. ώρα – ημερομηνία – τύπος μαρμάρου κτλ.)

  • 1/2019–7/2019

    2.3 Εγκατάσταση Διάταξης

    Προμήθεια του απαραίτητου λογισμικού, υλισμικού και λοιπών εξαρτημάτων. Κατασκευή μηχανολογικών διατάξεων, προσαρμογή της υπάρχουσας γραμμής παραγωγής. Εγκατάσταση με κάμερες και καταγραφικά, εκπαίδευση προσωπικού, έναρξη λειτουργίας και οδηγίες χρήσης του συστήματος.

  • 6/2019–7/2020

    2.4 Καταγραφή Δεδομένων

    Λειτουργία της διάταξης οπτικής καταγραφής χειροκίνητης διαλογής μαρμάρινων πλακών. Επίβλεψη, παρακολούθηση, αντιμετώπιση λειτουργικών προβλημάτων – τεχνική υποστήριξη. Δειγματοληψία demo datasets ανά τακτά χρονικά διαστήματα και επαλήθευση – επικύρωσή τους. Ολοκλήρωση της διαδικασίας και λήψη του τελικού dataset από ταξινομημένες – κατηγοριοποιημένες εικόνες ποιοτικών χαρακτηριστικών των μαρμάρινων πλακιδίων.

3. Αλγόριθμος Οπτικής Διαλογής.

Η συμβατική οπτική διαλογή μαρμάρινων πλακιδίων απαιτεί ιδιαίτερες δεξιότητες (που αποκτώνται με την εμπειρία) από τους ανθρώπους που την εκτελούν, που σχετίζονται με την ικανότητα τους να αναγνωρίζουν τα ιδιαίτερα οπτικά χαρακτηριστικά κάθε πλακιδίου τα οποία καθορίζουν την ποιότητα τους. Για να καλύψει τις προαναφερθείσες απαιτήσεις, ο προτεινόμενος αλγόριθμος θα αποτελείται από σύγχρονες μεθόδους τεχνητής όρασης (computer vision), αναγνώρισης προτύπων (pattern recognition) και μηχανικής μάθησης (machine learning). Με την βοήθεια αυτών των μεθόδων το σύστημα διαλογής θα είναι σε θέση να αντιλαμβάνεται το περιβάλλον εργασίας (τράπεζα διαλογής και πλακίδια) και με την κατάλληλη «εκπαίδευση» μέσω της «βαθιάς μάθησης» (deep learning), θα είναι ικανό να ξεχωρίζει διαφορετικές ποιότητες πλακιδίων, κατά τρόπο παρόμοιο με τον έμπειρο τεχνικό που εκτελεί την συμβατική διαλογή.

  • 7/2018–4/2020

    3.1 Ανάπτυξη Θεωρητικού Μοντέλου

    Το μοντέλο που θα αναπτυχθεί για τις ανάγκες της οπτικής διαλογής, θα εκτελεί ιεραρχικά τις παρακάτω διαδικασίες:

    Γεωμετρική ανάλυση
    Χρωματική ανάλυση
    κατανομής των μοτίβων (νερά του μαρμάρου)

    Κάθε μία από τις παραπάνω φάσεις ανάλυσης των πλακιδίων θα χρησιμοποιηθεί για την ποιοτική κατηγοριοποίηση των πλακιδίων.

  • 7/2018-6/2019

    3.2 Ανάπτυξη Αλγορίθμου

    Κάθε μία από τις παραπάνω τρεις φάσεις επεξεργασίας των πλακιδίων απαιτεί την ανάπτυξη αυτόνομου και εξειδικευμένου αλγορίθμου: (1) για τον γεωμετρικό έλεγχο των πλακιδίων θα αναπτυχθεί αλγόριθμος οπτικής μέτρησης αντικειμένων, (2) για τον χρωματικό έλεγχο θα αναπτυχθεί ένας αλγόριθμος ο οποίος θα επεξεργάζεται τα τοπικά ιστογράμματα του χρωματικού συνόλου της έγχρωμης εικόνας των πλακιδίων και (3) για την εκτίμηση της κατανομής και πυκνότητας των πλακιδίων θα αναπτυχθεί ένας αλγόριθμος «Βαθιάς Μάθησης» (deep learning) [4]. Συγκεκριμένα θα αναπτυχθεί ένα «Νευρωνικό Δίκτυο Συνέλιξης» (convolutional neural network) [5] κατάλληλα εκπαιδευμένο με το σύνολο των εικόνων που θα συλλεγούν στην προηγούμενη ενότητα εργασίας (ΕΕ2). Αξίζει να αναφερθεί ότι η απόδοση του δικτύου θα συγκριθεί με διάφορα κλασικά μοντέλα μηχανικής μάθησης (SVM, Extreme Learning Machines, κ.α.) που θα αναπτυχθούν για τον ίδιο σκοπό και τα οποία θα κάνουν χρήση ποικίλα χαρακτηριστικά διάκρισης π.χ. χαρακτηριστικά υφής.

  • 4/2019–4/2020

    3.3 Υλοποίηση Λογισμικού

    Η υλοποίηση του προτεινόμενου αλγορίθμου θα γίνει με τη χρήση της γλώσσας προγραμματισμού Python, ενώ θα χρησιμοποιηθούν κατάλληλες βιβλιοθήκες τεχνητής όρασης π.χ. OpenCV , TensorFlow , κ.α.

  • 7/2018–11/2020

    3.4 Ολοκλήρωση Τεχνητής Όρασης

    Ενοποίηση των επιμέρους υποσυστημάτων (Γεωμετρικής ανάλυσης, Χρωματικής ανάλυσης και Ανάλυσης κατανομής των μοτίβων) του λογισμικού. Δοκιμή του λογισμικού σε εργαστηριακό περιβάλλον και μέτρηση της απόδοσης του λογισμικού αναφορικά με την απόδοση διαλογής (επιτυχής αναγνώριση) και τον χρόνο απόκρισης (ταχύτητα αναγνώρισης) του. Προσαρμογή του λογισμικού στις συνθήκες εργασίας του τελικού συστήματος στο φυσικό του περιβάλλον εφαρμογής του.

4. Εργαστηριακή Ολοκλήρωση

Ολοκλήρωση των υποσυστημάτων σε ένα εργαστηριακό πρότυπο και εκτέλεση πειραμάτων-δοκιμών. Βελτιώσεις των υποσυστημάτων και επανεκτέλεση δοκιμών. Επικύρωση τεχνολογιών και επαλήθευση λειτουργικότητας. Εργαστηριακή εφαρμογή χρήσης του υπό ανάπτυξη συστήματος, για σκοπούς επίδειξης. Έλεγχος αξιοπιστίας για βιομηχανική χρήση. Η ΕΕ περιλαμβάνει τις παρακάτω δραστηριότητες:

  • 9/2019–4/2021

    4.1 Κατασκευή διατάξεων

    Σχεδιομελέτη - κατασκευή ιμάντα κίνησης, ψηφιακά ελεγχόμενου με inverter, προμήθεια & εγκατάσταση λοιπών ηλεκτρομηχανολογικών εξαρτημάτων (μικροδιατάξεις στήριξης, κάμερες, διακόπτες κτλ.), εγκατάσταση του ρομποτικού βραχίονα σε κατάλληλη θέση, σύνδεση διατάξεων ασφαλείας, αρχικές δοκιμές κινηματικής λειτουργικότητας.

  • 6/2020–8/2021

    4.2 Προγραμματισμός Βραχίονα

    Ανάπτυξη του υλισμικού και λογισμικού σύνδεσης της μηχανικής όρασης οπτικής διαλογής με τον ρομποτικό βραχίονα για καθοδήγηση, διαλειτουργικότητα και συγχρονισμό και με τον προγραμματιζόμενο ιμάντα κίνησης

  • 1/2020–8/2021

    4.3 Εργαστηριακές Δοκιμές

    Σχεδιασμός και διεξαγωγή σειράς πειραμάτων και δοκιμών αυτόματης διαλογής μαρμάρινων πλακιδίων. Αναλυτική καταγραφή και ταξινόμηση των αποτελεσμάτων. Έλεγχος αξιοπιστίας για βιομηχανική χρήση και αναβάθμιση TRL (Technology Readiness Level, κατά NASA & Horizon 2020) σε επίπεδο 6 (System/subsystem model or prototype demonstration in a relevant environment). Ανάπτυξη εκπαιδευτικών εργαλείων (Training Material).

  • 1/2021–2/2022

    4.4 Αποτελέσματα – Συμπεράσματα

    Επεξεργασία και παρουσίαση των αποτελεσμάτων που προέκυψαν από το έργο. Επεξεργασία και επιστημονική – τεχνολογική τεκμηρίωση και ανάλυση των δοκιμών βιομηχανικής έρευνας. Καταγραφή, παρουσίαση και ανάλυση των λειτουργιών που χρήζουν περαιτέρω βελτιστοποίησης.

  • 8/2020–3/2022

    4.5 Μελέτη Τεχνικής Εφαρμογής

    Μελέτη ανάλυσης των απαιτούμενων πόρων, διαδικασιών και τεχνικών απαιτήσεων, προκειμένου τα αποτελέσματα της βιομηχανικής έρευνας να εφαρμοστούν σε παραγωγική κλίμακα και να προκύψει ένα νέο προϊόν, εμπορικά διαθέσιμο στο άμεσο μέλλον.

Άρθρα.

Interpretable Deep Learning for Marble Tiles Sorting

Athanasios G. Ouzounis, George K. Sidiropoulos, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos and George Solakis

One of the main problems in the final stage of the production line of ornamental stone tiles is the process of quality control and product classification. Successful classification of natural stone tiles based on their aesthetical value...

ΔΙΑΒΑΣΤΕ ΤΟ ΑΡΘΡΟ

Texture Analysis for Machine Learning Based Marble Tiles Sorting

George K. Sidiropoulos, Athanasios G. Ouzounis, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos, George Solakis

In this paper, the classification of ornamental dolomitic marble stone tiles, in regard to their aesthetical value, was studied based on the rock’s texture. The stone tiles examined are of a dolomitic marble variety commercially known...

ΔΙΑΒΑΣΤΕ ΤΟ ΑΡΘΡΟ

Exploiting Deep Metric Learning for Mable Quality Assessment with Small and Imbalanced Image Data

George K. Sidiropoulos, Athanasios G. Ouzounis, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos, Vassilis Kalpakis, George Solakis

The classification of ornamental dolomitic marble stone tiles has been an issue in the past years, even more so according to their aesthetical criteria. Quality control and product classification during the final stage...

ΔΙΑΒΑΣΤΕ ΤΟ ΑΡΘΡΟ

Marble Quality Assessment with Deep Learning Regression Models

George K. Sidiropoulos, Athanasios G. Ouzounis, G Taxopoulos, George A. Papakostas, Ilias T. Sarafis, Andreas Stamkos, George Solakis

Natural rock tile classification, with the use of computer vision and machine learning techniques, is a methodology well documented in academic literature. The broad variety of textures present on the rock tiles’ surface...

ΔΙΑΒΑΣΤΕ ΤΟ ΑΡΘΡΟ

Επικοινωνία.

optimar@intermek.gr +30 251 039 2288 +30 251 039 2488
  • Αμισιανά, Δήμος Παγγαίου, 64100

espa