Maschinelles Sehen zur optischen Materialunterscheidung bei automatisierten Desinfektionsprozessen

Abstract

Die Fähigkeit der fernen Materialerkennung ist eine Grundvoraussetzung zur Automatisierung vieler technischer Prozesse. Heutzutage lösen Verfahren der Künstlichen Intelligenz diese Herausforderung durch Auswertung von Big Data. Moderne Ansätze des Maschinellen Sehens basieren auf tiefen neuronalen Netzen, die mit umfangreichen visuellen (VIS) Datenbanken hinterlegt sind. Zur Anwendung innerhalb technischer Anwendungen bedarf es bei datengetriebenen Lösungen einer besonders kritischen Analyse. In dem hier vorliegenden, gesundheitsrelevanten Kontext der automatisierten Desinfektion, sollten die Daten eine realitätsnahe Basis zur Lösungsfindung darstellen und Einflussfaktoren wie variierende Lichtverhältnisse, Bildqualitäten und Aufnahmeentfernungen beinhalten. Die empirische Untersuchung dieser Arbeit basiert auf neuen experimentellen Daten zu den zehn Materialklassen Aluminium, Kupfer, Messing, Holz, Holzimitat, Keramik, Kunststoff, Textilien, Edelstahl und Papier. Unter Berücksichtigung obiger Einflussfaktoren ist die VIS Datenbeschaffenheit von häufigen Ähnlichkeiten bzgl. Farbe und Textur geprägt. Erschwerend unterscheiden sich die Desinfektionseigenschaften, bei gleichzeitiger hoher visueller Ähnlichkeit, zum Teil erheblich. Die Auswertung eines breiteren elektromagnetischen Spektrums ist eine technische Möglichkeit, um robustere praktische Ergebnisse zu erzielen. Dazu wird hier der infrarote (IR) Emissionsgrad als materialspezifische Eigenschaft untersucht. Dabei bleibt, auch mit der diskreten Erweiterung des ausgewerteten Spektrums, der mobile Einsatz mit vergleichsweise preiswerten Kameras möglich. Andererseits ergeben sich prozessseitig, mit der Berücksichtigung des IR Spektralbereiches, zusätzliche Verfahrenseinschränkungen, da thermische Fremdstrahlung ein besonders kritischer Störeinfluss wird. Trotz diesen herausfordernden Randbedingungen zeigt sich bei der Datenauswertung mit Convolutional Neural Networks (CNN) eine gute Unterscheidbarkeit. Bei alleiniger Berücksichtigung der VIS Bilddaten erreicht das Verfahren Genauigkeiten bei der Materialunterscheidung von knapp 86 %. Dabei ist das implementierte CNN ursprünglich zur Unterscheidung von deutlich mehr Klassen ausgelegt und für die vorliegende Anwendung überdimensioniert. Jedoch kann durch gezieltes Entfernen einzelner Modellparameter, mit annähernd gleichbleibender Verfahrensgenauigkeit, die Größe des CNNs um 70 % verringert werden. Mit weiteren Optimierungsansätzen erfolgt die Untersuchung verschiedener Informationsdarstellungen. Dazu zählt einerseits die Optimierung des verwendeten Farbraums und andererseits die Anpassung der fusionierten IR und VIS Daten. Infolge der vorgeschlagenen Sensorfusion verbessert sich, besonders bei schlechten Sichtverhältnissen, die Klassifizierungsgenauigkeit um fast 8 pp, wohingegen unter alltäglichen Bedingungen keine signifikante Verbesserung eintritt. Hier kann das vorgestellte Verfahren selbst visuell ähnliche Materialien, wie Holz und Holzimitate oder Aluminium und Edelstahl, gut unterscheiden. Damit ermöglichen die Ergebnisse, unter widrigen oder alltäglichen Sichtverhältnissen, eine Priorisierung in der Auslegung des Verfahrens zwischen maximaler Effizienz einerseits und Performance andererseits.

The ability to detect materials remotely is a prerequisite for automating many technical processes. Nowadays, artificial intelligence methods solve this challenge by evaluating big data. Modern approaches to machine vision are based on deep neural networks that are backed by extensive visual (VIS) databases. For use within technical applications, data-driven solutions require a particularly critical analysis. In the health-relevant context of automated disinfection at hand, the data should represent a realistic basis for finding a solution and include influencing factors such as varying lighting conditions, image qualities and recording distances. The empirical investigation of this work is based on new experimental data on the ten material classes aluminum, copper, brass, wood, imitation wood, ceramics, plastic, textiles, stainless steel and paper. Taking the above influencing factors into account, the VIS data quality is characterized by frequent similarities in terms of color and texture. To make matters worse, the disinfection properties differ considerably, while at the same time there is a high degree of visual similarity. Evaluating a broader electromagnetic spectrum is a technical possibility to achieve more robust practical results. For this purpose, the infrared (IR) emissivity is examined here as a material-specific property. Even with the discrete expansion of the evaluated spectrum, mobile use with comparatively inexpensive cameras remains possible. On the other hand, the consideration of the IR spectral range results in additional process restrictions, as external thermal radiation becomes a particularly critical disruptive influence. Despite these challenging constraints, data analysis using Convolutional Neural Networks (CNN) shows good differentiation. When considering the VIS image data alone, the method achieves an accuracy of almost 86% in material differentiation. The implemented CNN was originally designed to differentiate between significantly more classes and was oversized for the present application. However, by specifically removing individual model parameters, the size of the CNN can be reduced by 70% with approximately constant procedural accuracy. Further optimization approaches are used to examine different information representations. This includes, on the one hand, optimizing the color space used and, on the other hand, adapting the merged IR and VIS data. As a result of the proposed sensor fusion, the classification accuracy improves by almost 8 pp, especially in poor visibility conditions, whereas there is no significant improvement under everyday conditions. Here, the presented process can even visually distinguish similar materials, such as wood and wood imitations or aluminum and stainless steel. The results thus enable, under adverse or everyday visibility conditions, a prioritization in the design of the process between maximum efficiency on the one hand and performance on the other.