Gorilla Shop
IA que reconoce materiales en fotos
Proyecto de I+D financiado con una subvención BRIdge Alfa: una red neuronal reconoce en una foto materiales de construcción y elementos de interiorismo, y después señala los productos que encajan. Gorilla Shop es un proyecto de investigación y desarrollo realizado con una subvención BRIdge Alfa de 700 000 zł. La financiación procedía del Programa Operativo Desarrollo Inteligente (POIR), medida 1.3.1. El objetivo era construir un sistema de IA que reconociera en una foto materiales de construcción y elementos de interiorismo. El sistema vincula el objeto reconocido con las fichas de producto de una tienda online.
- El cliente no sabe cómo se llama el producto. Alguien ve un azulejo en casa de unos amigos, un grifo en un hotel o un panel en una foto de internet. Tiene la imagen, pero no sabe cómo se llama el producto ni quién lo fabrica.
- El buscador de texto falla. El buscador clásico de una tienda funciona con palabras. Si el usuario no conoce la palabra correcta, no obtiene un resultado acertado.
- Buscar a mano por categorías. Sin búsqueda por imagen, solo queda recorrer categorías página a página. En el sector de la construcción los catálogos son enormes, así que el cliente se rinde enseguida.
- Gran diversidad visual. Los materiales de construcción y el equipamiento varían en textura, color, diseño y forma. Las fotos hechas con el móvil tienen luz, ángulo y fondo distintos.
- Hacía falta una red neuronal. Las reglas y filtros simples no pueden con tanta variedad. La tarea exigía un modelo entrenado con imágenes.
- Carácter de investigación. Al principio no existía una solución lista para copiar. El proyecto tenía que ir de la hipótesis a un prototipo funcional.
- La foto como consulta. Partimos de que la entrada de la búsqueda es una imagen y no un texto. El usuario sube una foto y el sistema devuelve una lista de productos que encajan.
- Computer vision en lugar de reglas. Elegimos un enfoque basado en una red neuronal. El modelo aprende a reconocer los rasgos visuales de materiales y objetos a partir de ejemplos, no de condiciones escritas a mano.
- Dos tareas en un mismo proceso. Primero el sistema reconoce qué hay en la foto. Después lo compara con el catálogo y señala los productos más parecidos.
- Vínculo con la ficha de producto. El resultado del reconocimiento lleva directamente a la página del producto. El cliente no recibe una simple etiqueta, sino el lugar donde puede comprar.
- Investigación iterativa. Probamos el modelo con sucesivos conjuntos de fotos y lo mejoramos a partir de sus errores. Es el recorrido típico de un proyecto de I+D en IA.
- Justificación de la subvención. Llevamos el trabajo de forma que cumpliera los requisitos del programa BRIdge Alfa. Cada etapa tenía un objetivo definido y su documentación.
- Un sector donde la imagen dice más. Elegimos materiales de construcción e interiorismo porque aquí el cliente suele partir de una inspiración visual. Describir con palabras un azulejo o un revestimiento rara vez basta para encontrar el producto.
- Búsqueda por imagen. El usuario sube una foto en lugar de escribir una frase. Es la única forma sensata de buscar cuando no se conoce el nombre del producto.
Con qué lo construimos.
Definición del problema de investigación
Describimos qué objetos debía reconocer el sistema y en qué condiciones. El ámbito eran los materiales de construcción y el equipamiento de interiores.
Preparación de datos
Reunimos y ordenamos fotos de productos para entrenar el modelo. La calidad y la variedad de los datos determinan cómo se desenvuelve el modelo con fotos hechas con el móvil.
Construcción y entrenamiento de la red
Diseñamos el modelo de computer vision y lo entrenamos para reconocer categorías y rasgos visuales. Comparamos los resultados entre versiones sucesivas.
Vinculación con el catálogo
Conectamos el resultado del reconocimiento con la base de productos. El sistema señala las fichas de producto más parecidas al objeto de la foto.
Pruebas y justificación del proyecto
Comprobamos el funcionamiento con fotos ajenas al conjunto de entrenamiento. Documentamos los resultados para el programa de subvenciones.
Lo que cambió.
Descubre otros proyectos.
¿Quieres que tus clientes busquen productos con una foto?
Evaluaremos tu catálogo y tus datos, y después te propondremos cómo implantar la búsqueda por imagen. En sectores con catálogos grandes, el cliente a menudo sabe cómo es el producto, pero no cómo se llama. La búsqueda por imagen convierte la foto del móvil en una consulta que la tienda entiende. Un proyecto así no tiene por qué financiarse íntegramente con presupuesto propio, porque los programas de I+D apoyan el trabajo en IA. La condición es un problema bien descrito y datos con los que se pueda entrenar el modelo.
Hablemos de IA en tu tienda →