Gorilla Shop
KI erkennt Materialien auf Fotos
F&E-Projekt aus dem BRIdge-Alfa-Förderprogramm: Ein neuronales Netz erkennt auf Fotos Baumaterialien und Einrichtungsgegenstände und zeigt anschließend passende Produkte an. Gorilla Shop ist ein Forschungs- und Entwicklungsprojekt, das mit einer BRIdge-Alfa-Förderung in Höhe von 700.000 zł umgesetzt wurde. Die Finanzierung stammte aus dem Operationellen Programm Intelligente Entwicklung (POIR), Maßnahme 1.3.1. Ziel war ein KI-System, das auf Fotos Baumaterialien und Elemente der Inneneinrichtung erkennt. Das System ordnet das erkannte Objekt den passenden Produktseiten im Onlineshop zu.
- Der Kunde kennt den Produktnamen nicht. Jemand sieht eine Fliese bei Freunden, eine Armatur im Hotel oder ein Paneel auf einem Foto im Netz. Er hat ein Bild, weiß aber nicht, wie das Produkt heißt oder wer es herstellt.
- Die Textsuche versagt. Die klassische Shopsuche arbeitet mit Wörtern. Wer das richtige Wort nicht kennt, bekommt kein passendes Ergebnis.
- Kategorien manuell durchsuchen. Ohne Bildersuche bleibt nur, Kategorien Seite für Seite durchzublättern. In der Baubranche sind die Kataloge groß, also geben Kunden schnell auf.
- Große visuelle Vielfalt. Baumaterialien und Einrichtung unterscheiden sich in Struktur, Farbe, Muster und Form. Handyfotos haben unterschiedliches Licht, unterschiedliche Winkel und Hintergründe.
- Ein neuronales Netz war nötig. Einfache Regeln und Filter kommen mit dieser Vielfalt nicht zurecht. Die Aufgabe erforderte ein auf Bildern trainiertes Modell.
- Forschungscharakter. Zu Beginn gab es keine fertige Lösung zum Kopieren. Das Projekt musste den Weg von der Hypothese bis zum funktionierenden Prototyp gehen.
- Das Foto als Suchanfrage. Wir sind davon ausgegangen, dass die Suche mit einem Bild beginnt, nicht mit Text. Der Nutzer lädt ein Foto hoch, und das System liefert eine Liste passender Produkte.
- Computer Vision statt Regeln. Wir haben uns für einen Ansatz auf Basis eines neuronalen Netzes entschieden. Das Modell lernt die visuellen Merkmale von Materialien und Gegenständen anhand von Beispielen, nicht anhand von Hand formulierter Bedingungen.
- Zwei Aufgaben in einem Prozess. Das System erkennt zuerst, was auf dem Foto zu sehen ist. Danach gleicht es das Ergebnis mit dem Katalog ab und zeigt die ähnlichsten Produkte.
- Verknüpfung mit der Produktseite. Das Erkennungsergebnis führt direkt zur Produktseite. Der Kunde erhält nicht nur ein Etikett, sondern den Ort, an dem er kaufen kann.
- Iterative Forschungsarbeit. Wir haben das Modell an immer neuen Fotosets getestet und anhand der Fehler verbessert. So sieht der typische Weg eines F&E-Projekts im Bereich KI aus.
- Nachweisbarkeit der Förderung. Wir haben die Arbeiten so geführt, dass sie die Anforderungen des Programms BRIdge Alfa erfüllen. Jede Phase hatte ein definiertes Ziel und eine Dokumentation.
- Eine Branche, in der das Bild mehr sagt. Wir haben Baumaterialien und Innenausstattung gewählt, weil Kunden hier meist mit einer visuellen Inspiration starten. Eine verbale Beschreibung einer Fliese oder Verkleidung reicht selten, um das Produkt zu finden.
- Bildersuche. Der Nutzer lädt ein Foto hoch, statt einen Suchbegriff einzugeben. Das ist die einzig sinnvolle Art zu suchen, wenn der Produktname unbekannt ist.
Womit wir es gebaut haben.
Definition des Forschungsproblems
Wir haben beschrieben, welche Objekte das System unter welchen Bedingungen erkennen soll. Der Bereich umfasste Baumaterialien und Inneneinrichtung.
Datenaufbereitung
Wir haben Produktfotos für das Training des Modells gesammelt und geordnet. Qualität und Vielfalt der Daten entscheiden darüber, wie gut das Modell mit Handyfotos zurechtkommt.
Aufbau und Training des Netzes
Wir haben ein Computer-Vision-Modell entworfen und es auf das Erkennen von Kategorien und visuellen Merkmalen trainiert. Die Ergebnisse haben wir zwischen den einzelnen Versionen verglichen.
Abgleich mit dem Katalog
Wir haben das Erkennungsergebnis mit der Produktdatenbank verknüpft. Das System zeigt die Produktseiten, die dem Objekt auf dem Foto am nächsten kommen.
Tests und Projektabrechnung
Wir haben das System an Fotos außerhalb des Trainingssets geprüft. Die Ergebnisse haben wir für das Förderprogramm dokumentiert.
Was sich verändert hat.
Weitere Projekte ansehen.
Sollen Ihre Kunden per Foto nach Produkten suchen?
Wir bewerten Ihren Katalog und Ihre Daten und schlagen dann einen Weg zur Einführung der Bildersuche vor. In Branchen mit großem Katalog wissen Kunden oft, wie ein Produkt aussieht, aber nicht, wie es heißt. Die Bildersuche verwandelt ein Handyfoto in eine Anfrage, die der Shop versteht. Ein solches Projekt muss nicht vollständig aus dem eigenen Budget finanziert werden, denn Forschungs- und Entwicklungsprogramme fördern Arbeiten an KI. Voraussetzung sind ein gut beschriebenes Problem und Daten, mit denen sich ein Modell trainieren lässt.
Sprechen wir über KI im Shop →