¿Cómo diseñar productos con IA? Lo primero que tenemos que hacer es un cambio de mentalidad. Cuando diseñamos productos sin IA, sabemos que el flujo siempre va a ser el que esperamos. Sin embargo, con IA no controlamos la respuesta de la IA. ¿Cómo nos afecta al diseño?

Antes de entrar en detalle, me gustaría diferenciar la Generative AI (ChatGPT, Magnific, etc) de otro tipo de modelos. Cada uno tiene sus particularidades a la hora de diseñarlo y construirlo, su nivel de precisión y distintas expectativas por parte de los usuarios.

Uno de los aspectos fundamentales es entender cuál es la certidumbre de que el modelo responda con lo que espera el usuario, con la solución "correcta".

Imaginemos que queremos categorizar artículos con un modelo de IA.

Sería un error diseñar una solución y proceso automático de primeras. No sabemos todavía cuál es la calidad del modelo. En Data Science, la métrica que se usa es F1 score, que combina la precisión del modelo, y su capacidad para cubrir todos los casos.

Si le doy 100/1000 casos nuevos, ¿cuál es su F1 score?"- Si es >0.9, es un modelo muy bueno."- Entre 0.7 y 0.9, tiene potencial de iteración"- Entre 0.4 y 0.7, tenemos que revisar el modelo para ver si es posible pegar un salto"- Si es <0.4, no sirve.

Por tanto, debemos diseñar la funcionalidad en función del F1 score. Uno de los fallos típicos es que los equipos de Data Science y Producto trabajan separados. Ambos necesitan hablar continuamente. Se necesitan.

En este caso de categorizar artículos:"- Si el modelo casi no falla, podríamos ocultar las categorías a los usuarios y que fuera transparente para ellos. No es algo que se deban de preocupar."- Si está en un 90%, podríamos añadir automáticamente las categorías, pero seguimos dejando que los usuarios cambien las categorías."- Si está en un 70%, podríamos mostrar sugerencias de categorías para que las añadan con un click.

Tres soluciones distintas para un mismo modelo. La calidad del modelo es lo que nos va a indicar qué solución podremos adoptar.

Ahora bien, si creemos que podemos llegar rápido a un 90%, posiblemente no merezca la pena construir la solución inicial de sugerir categorías. ¿O quizás sí? Cuando tenemos modelos, guardar datos muy buenos es clave. Cuantos más datos muy buenos tengamos, mejor será el modelo.

Por tanto, igual nos interesa primero construir la funcionalidad de sugeridos para recopilar datos y mejorar el modelo más rápido.

Hago énfasis en el concepto de "datos muy buenos". Los modelos los entrenamos con datos. Si los entrenamos con datos pobres, saldrá un mal modelo. Hay un trabajo considerable de recopilar, normalizar y seleccionar los datos con los que vamos a entrenar los modelos.

Producto debe ayudar. Como decía antes, seguramente hay que desarrollar funcionalidades para recopilar datos, o feedback de clientes. O debemos tener claro que métrica/acción nos puede servir como feedback positivo o negativo a la respuesta del modelo.