Chefkoch prepara recetas escritas a mano en la nube con detector de texto
Nota del editor: Cuando la plataforma de cocina alemana Chefkoch buscaba llevar recetas preciadas heredadas al siglo XXI, encontró una solución escalable y bien respaldada con la nube de datos de Google. Así es como se cocinó. 

Ya sea aderezo para ensaladas o sopa de pollo, la mayoría de los hogares tienen un plato favorito que se transmite de generación en generación. Estas recetas a menudo se escriben en trozos de papel y esta herencia culinaria personal está muy protegida. Reconociendo la importancia de las recetas escritas a mano o impresas, la plataforma de cocina alemana Chefkoch quería hacer posible analizar, extraer y digitalizar rápida y fácilmente estos sabrosos bocados con el uso de las capacidades de aprendizaje automático (ML) y análisis aumentado de Google Cloud, para hacerlo más fácil para que los usuarios compartan y accedan a estas recetas en formato digital.

 Al considerar la mejor manera de desarrollar la tecnología, Chefkoch llevó a cabo una extensa investigación de mercado del mercado mundial de alimentos. Identificó las mejores prácticas dentro de la industria, analizó los modelos comerciales en funcionamiento y las próximas tendencias de tecnología alimentaria, y aplicó esto a un estudio en profundidad de las motivaciones de sus propios usuarios para usar su plataforma. Finalmente, Chefkoch creó un modelo Kano que priorizaba diferentes características en función de la probabilidad de que satisfagan a sus usuarios.

    Los usuarios de Chefkoch tienen cada uno su propio Kochbuch (libro de cocina) en la plataforma donde pueden guardar, clasificar y administrar sus recetas de Chefkoch. Tras su investigación, Chefkoch decidió que este era el mejor lugar para su nueva propuesta. Optó por desarrollar el Kochbuch para que sea posible almacenar cualquier receta dentro de él, incluidas las sin conexión. “Para hacer esto, necesitábamos extraer el texto, ya sea escrito a mano o impreso, y luego separar el título de la receta, los ingredientes y las instrucciones”, explica Tim Adler, CTO de Chefkoch.

Las API obtienen recetas de lectura

    Para habilitar esto, Chefkoch comenzó a evaluar varias herramientas de importación de texto. En mayo de 2021, se decidió por los servicios ML de Google Cloud y  Google Cloud Functions , porque ofrece funciones escalables como servicio (FaaS) con una serie de API que permiten que el código se ejecute sin la administración del servidor. 

     “Examinamos el mercado en busca de soluciones para reconocer texto en recetas escritas a mano escaneadas”, dice Adler. "La solución de Google nos convenció, no solo porque pudimos trabajar con las API y la documentación fácilmente, sino también porque el equipo de Google nos presentó una impresionante prueba de concepto con nuestros propios datos de prueba".    

    Chefkoch eligió crear esta herramienta de lectura de recetas utilizando los servicios Vision y Natural Language que ofrece Google Cloud porque puede ejecutarse en todos los dispositivos y escalar de manera rentable. Como se ve en el diagrama anterior, utiliza la herramienta de reconocimiento óptico de caracteres (OCR) de la API de Cloud Vision, que está optimizada para la detección de texto en alemán e inglés, para extraer el texto de una página escrita o impresa. Luego, aplica los modelos de extracción de entidades 1 y 2 de AutoML Natural Language y la API de Cloud Natural Language para identificar y segregar las diferentes secciones de las recetas para perfeccionar la receta resultante en pantalla.

    Chefkoch trabajó en estrecha colaboración con Google para perfeccionar la solución. Nuestro equipo de Google inicialmente hizo una demostración para Chefkoch para ayudar al equipo a comprender cómo funciona todo en conjunto, demostrando, por ejemplo, cómo se debe estructurar un conjunto de datos para optimizar los resultados deseados después del entrenamiento del modelo. Presentaron una demostración funcional de un extremo a otro de una API en funcionamiento que toma la imagen de una receta escrita a mano o impresa y genera los resultados deseados: con los diversos componentes de las recetas extraídos y separados limpiamente. 

    Este servicio de carga de recetas de fuera de línea a en línea ahora se está probando en Kochbuch de Chefkoch. "Estamos trabajando para probar, mejorar, ampliar y producir la solución", revela Adler.

Ajustando la receta

    Los resultados de las pruebas en las primeras etapas son alentadores, y los usuarios califican la función OCR con una calificación de A o B. En respuesta a esta retroalimentación, ya se han realizado pequeños ajustes al entrenamiento del modelo para alinearlo con las necesidades de la audiencia. La herramienta, que se ha denominado extraoficialmente Analizador de recetas manuscritas , ahora puede detectar errores ortográficos contextuales, por ejemplo, cuando una palabra se escribe incorrectamente para el contexto, como "conocer" en lugar de carne.

Cocinando a los usuarios con una oferta analógica a digital

      También hay planes para expandir el menú de funciones en Handwritten Recipe Parser. Chefkoch ahora está desarrollando una solución de extracción manual de recetas, donde los usuarios pueden cargar sus propias imágenes de recetas y agregar el título, los ingredientes y el método, y hay planes para permitir que los usuarios modifiquen las recetas existentes de Chefkoch agregando su propio texto y anotaciones escritas.


Serie de optimización de carga de trabajo: Cómo evitar errores de migración a la nube.