Gorilla Shop
AI rozpoznaje materiały ze zdjęcia
Projekt R&D z grantu BRIdge Alfa: sieć neuronowa rozpoznaje na zdjęciu materiały budowlane i wyposażenie wnętrz, a potem wskazuje pasujące produkty. Gorilla Shop to projekt badawczo-rozwojowy zrealizowany z grantu BRIdge Alfa o wartości 700 000 zł. Finansowanie pochodziło z Programu Operacyjnego Inteligentny Rozwój (POIR), działanie 1.3.1. Celem było zbudowanie systemu AI, który rozpoznaje na zdjęciu materiały budowlane i elementy wyposażenia wnętrz. System dopasowuje rozpoznany obiekt do stron produktowych w sklepie internetowym.
- Klient nie zna nazwy produktu. Ktoś widzi płytkę u znajomych, baterię w hotelu albo panel na zdjęciu w internecie. Ma zdjęcie, ale nie wie, jak ten produkt się nazywa ani kto go produkuje.
- Wyszukiwarka tekstowa zawodzi. Klasyczna wyszukiwarka sklepu działa na słowach. Jeśli użytkownik nie zna właściwego słowa, nie dostanie trafnego wyniku.
- Ręczne przeszukiwanie kategorii. Bez wyszukiwania obrazem zostaje przeglądanie kategorii strona po stronie. W branży budowlanej katalogi są duże, więc klient szybko się poddaje.
- Duża różnorodność wizualna. Materiały budowlane i wyposażenie różnią się fakturą, kolorem, wzorem i kształtem. Zdjęcia robione telefonem mają różne światło, kąt i tło.
- Potrzeba sieci neuronowej. Proste reguły i filtry nie poradzą sobie z takim zróżnicowaniem. Zadanie wymagało modelu uczonego na obrazach.
- Charakter badawczy. Na starcie nie było gotowego rozwiązania do skopiowania. Projekt musiał przejść drogę od hipotezy do działającego prototypu.
- Zdjęcie jako zapytanie. Założyliśmy, że wejściem do wyszukiwania jest obraz, a nie tekst. Użytkownik przesyła zdjęcie, a system zwraca listę pasujących produktów.
- Computer vision zamiast reguł. Wybraliśmy podejście oparte na sieci neuronowej. Model uczy się rozpoznawać cechy wizualne materiałów i przedmiotów na przykładach, a nie na ręcznie spisanych warunkach.
- Dwa zadania w jednym procesie. System najpierw rozpoznaje, co jest na zdjęciu. Potem porównuje to z katalogiem i wskazuje najbardziej podobne produkty.
- Powiązanie z kartą produktu. Wynik rozpoznania prowadzi prosto do strony produktowej. Klient nie dostaje samej etykiety, tylko miejsce, w którym może kupić.
- Iteracyjna praca badawcza. Model testowaliśmy na kolejnych zestawach zdjęć i poprawialiśmy na podstawie błędów. Tak wygląda typowa ścieżka projektu R&D w obszarze AI.
- Rozliczalność grantu. Prace prowadziliśmy tak, żeby spełnić wymogi programu BRIdge Alfa. Każdy etap miał określony cel i dokumentację.
- Branża, w której obraz mówi więcej. Wybraliśmy materiały budowlane i wnętrza, bo tu klient zwykle zaczyna od inspiracji wizualnej. Opis słowny płytki czy okładziny rzadko wystarcza do znalezienia produktu.
- Wyszukiwanie obrazem. Użytkownik przesyła zdjęcie zamiast wpisywać frazę. To jedyny sensowny sposób szukania, gdy nazwa produktu jest nieznana.
Czym to zbudowaliśmy.
Zdefiniowanie problemu badawczego
Opisaliśmy, jakie obiekty system ma rozpoznawać i w jakich warunkach. Obszarem były materiały budowlane i wyposażenie wnętrz.
Przygotowanie danych
Zebraliśmy i uporządkowaliśmy zdjęcia produktów do uczenia modelu. Jakość i różnorodność danych decyduje o tym, jak model radzi sobie ze zdjęciami z telefonu.
Budowa i uczenie sieci neuronowej
Zaprojektowaliśmy model computer vision i uczyliśmy go rozpoznawania kategorii oraz cech wizualnych. Wyniki porównywaliśmy między kolejnymi wersjami.
Dopasowanie do katalogu
Połączyliśmy wynik rozpoznania z bazą produktów. System wskazuje strony produktowe najbardziej zbliżone do obiektu ze zdjęcia.
Testy i rozliczenie projektu
Sprawdziliśmy działanie na zdjęciach spoza zbioru uczącego. Wyniki prac udokumentowaliśmy na potrzeby programu grantowego.
Co się zmieniło.
Zobacz inne projekty.
Chcesz, by klienci szukali produktów zdjęciem?
Ocenimy Twój katalog i dane, a potem zaproponujemy ścieżkę wdrożenia wyszukiwania obrazem. W branżach z dużym katalogiem klient często wie, jak produkt wygląda, ale nie wie, jak się nazywa. Wyszukiwanie obrazem zamienia zdjęcie z telefonu w zapytanie, które sklep rozumie. Taki projekt nie musi być finansowany w całości z własnego budżetu, bo programy badawczo-rozwojowe wspierają prace nad AI. Warunkiem jest dobrze opisany problem i dane, na których da się uczyć model.
Porozmawiajmy o AI w sklepie →