Durante la ajetreada rutina de gestionar un hotel, es esencial examinar los datos del rendimiento para generar una garantía de progreso y alinear rápidamente acciones entre los equipos participantes.

Cuando se trata de la actuación del chatbot de Asksuite, esta lógica también es válida. Después de todo, hay que justificar tu inversión mensual con datos que demuestren que su desempeño realmente le aportó beneficios a tu hotel.

En términos generales, los datos sobre el rendimiento de tu robot pueden incluir los ingresos generados, el número de reservas concluidas, así como la tasa de comprensión de tu robot.

Con la nueva actualización de la plataforma, Asksuite pasa a compartir datos sobre la comprensión de tu robot a través de un porcentaje considerando los últimos 30 días o períodos personalizados.

Por mucho que el porcentaje de comprensión sea de 0 a 100%, es fácil pensar que el máximo posible es el 100%, entre otras cosas porque nuestra mente analítica está acostumbrada a tener esa referencia, ¿no?

Pero esta lógica no se aplica (todavía) a la realidad del Lenguaje Natural, que es una de las principales ramas de la Inteligencia Artificial, y que es la base de la tecnología de varios de los mejores chatbots y asistentes de reservas del mundo.

En este breve artículo, pretendo presentar un contexto resumido sobre:

Lo mejor del panorama global con respecto a las tecnologías de Lenguaje Natural, incluyendo Asksuite
Cuáles son sus limitaciones para que tengas expectativas reales sobre tu plan de acción para mejorar tu robot
Reconocer a las empresas que promocionan los chatbots con falsas promesas de garantizar una comprensión superior al 90%, y en realidad ocultan "falsos positivos" en sus análisis.

Con esta nueva información, tendrás mucha más confianza y claridad en tus argumentos para decidirte a elegir las mejores herramientas de verdad disponibles para generar más ventas para tu hotel o posada.

¿Comenzamos?

¿Cuáles son las mejores tecnologías disponibles actualmente para entender la inteligencia artificial?

Recientemente, la Universidad de Stanford ha publicado un notable informe llamado ‘Artificial Intelligence Index Report 2022’ en alianza con organizaciones de referencia mundial como Google, Open AI y McKinsey & Company.

En resumen, este material ofrece insights con abundantes detalles sobre el contexto del mundo relacionado con el tema de la inteligencia artificial centrada en el usuario, teniendo en cuenta la Investigación y el Desarrollo, el Rendimiento Técnico, la Ética de la IA, la Economía y la Gobernanza.

Al escribir este breve artículo, pretendo mostrarte algunos de los mejores ejemplos de investigación con la tecnología más avanzada existente en la actualidad, principalmente en lo que respecta al Lenguaje Natural.

Este aspecto de la inteligencia artificial es especialmente importante para tu contexto como gerente hotelero, al poder Enseñarle al Robot que monitoreas.

"El razonamiento con Lenguaje Natural se produce a partir de una tarea realizada por la IA de un robot, determinando si, dada una premisa, una hipótesis es verdadera (implicación), falsa (contradicción) o indeterminada (neutra).

La inferencia del LN requiere habilidades de procesamiento del lenguaje, como el reconocimiento de entidades con nombre (comprendiendo las palabras que ves), así como ser capaz de utilizar el conocimiento del sentido común para distinguir entre inferencias razonables y no razonables".

— Artificial Intelligence Index Report 2022, Universidad de Stanford

A partir del momento en que conozcamos más sobre el mejor rendimiento, será más fácil aclarar qué limitaciones aún existen.

A continuación, conocerás una síntesis de las 2 mejores investigaciones mundiales de tecnología aplicada al Lenguaje Natural que se destacaron en el informe de la Universidad de Stanford.

¡Vamos!

#1 - SuperGLUE

La iniciativa SuperGLUE es una métrica de un solo número que hace un seguimiento del progreso en un conjunto diverso de tareas lingüísticas relacionadas con la Lengua Inglesa.

Como parte de la investigación, el sistema de Inteligencia Artificial se probó en 8 tareas diferentes (como responder preguntas de sí/no, identificar la causalidad en los acontecimientos y realizar una comprensión de lectura con sentido común).

Así, a partir de su rendimiento en estas tareas, se calculó el promedió en una única puntuación, como se muestra en la imagen siguiente:

De la investigación, se desprende que la capacidad máxima de comprensión de la tecnología SuperGLUE es del 91%, frente al 89,8% de la comprensión humana para las mismas pruebas.

#2 - Stanford Natural Language Inference (SNLI)

El conjunto de datos Stanford Natural Language Inference (SNLI) contiene alrededor de 600.000 pares de frases (premisas e hipótesis asociadas) que han sido etiquetadas como relacionadas, contradictorias o neutras.

Como parte de este reto, se preguntó a varios sistemas de IA si ciertos pares de frases estaban relacionados o no, como se ilustra en la imagen siguiente:

Un hombre inspecciona un uniforme en un país de Asia	CONTRADICTORIO	Un hombre está durmiendo.
Un anciano sonríe.	NEUTRO	Dos hombres sonríen por un gato que está jugando en el piso.
Hay un partido de fútbol con varios hombres	RELACIONADO	Algunos hombres pratican deporte

A partir de esto, el rendimiento en el SNLI se midió en términos de precisión, basándose en el porcentaje de preguntas contestadas correctamente.

El modelo con mejor rendimiento en SNLI es el EFL de Facebook AI USA, que en abril de 2021 registró una puntuación de 93,1% de asertividad, como se muestra en la siguiente imagen:

A partir de estos 2 ejemplos resumidos, así como en otras iniciativas expuestas en el Informe de Inteligencia Artificial da Universidade de Stanford de 2022, observamos que es prácticamente imposible que exista un robot con un 100% de comprensión.

Esto se debe a que es un reto para todos los productos digitales que implican Inteligencia Artificial poder extraer el contexto de las conversaciones a escala a través de un robot.

Aunque estos robots con una comprensión superior al 90% se encuentran en entornos super controlados, el proceso de oferta a un mercado específico, como el hotelero, es un gran reto debido a las particularidades de cada negocio y región.

Recuerdo que, aunque todas las iniciativas mencionadas anteriormente son del más alto nivel tecnológico, ninguna de ellas está dirigida al mercado hotelero como lo está Asksuite.

¿Cómo funciona la IA de Asksuite?

Elegido por el Hotel Tech Awards por 3 años consecutivos como el mejor chatbot para hotelería del mundo, Asksuite evoluciona constantemente su producto.

Mi objetivo aquí no es entrar en demasiados detalles técnicos sobre las capas de inteligencia o machine learning, sino darte un contexto didáctico para entender mejor la dinámica de la IA de Asksuite.

Así que, en pocas palabras, la Inteligencia Artificial ofrecida a los +1.000 clientes se puede dividir en 2 secciones, que son:

El cuestionario

Ofrecemos una estructura de plantillas personalizables por segmentos de hoteles con las preguntas más frecuentes del chat.

En la práctica, al conversar con el asistente virtual de reservas, los viajeros hacen preguntas por texto, que son analizadas por nuestra lógica interna de procesamiento del lenguaje natural, o acceden a botones preconfigurados que les llevarán a las respuestas programadas por el hotel.

Observa cómo funciona en la siguiente imagen:

Enseñar Robot

Es la estructura dedicada a los usuarios para que mejoren la comprensión de su robot con nuevas enseñanzas sobre la realidad específica de su hotel.

En la práctica, digamos que tengo un albergue en Buenos Aires y los viajeros preguntan constantemente en el chat cuál es la distancia al Obelisco De este modo, yo, como gerente del hotel, podría crear una instrucción para responder mediante palabras clave, sinónimos o variaciones de frases.

Con esta herramienta, hemos podido permitir a nuestros clientes personalizar sus robots con toda la potencia del procesamiento del lenguaje natural a través de una interfaz simplificada y accesible.

¿Cuál es el límite máximo al que debo aspirar como ideal?

Esta es una pregunta que induce a la reflexión, siendo bastante común entre nuestros clientes.

La mejor respuesta es que depende del compromiso de cada hotel.

En nuestra base de clientes, por mucho que nuestra comprensión promedio general sea hoy del 76%, ¡hay hoteles con robots cuya comprensión alcanza un increíble 92%!

Reitero, esto es posible porque nuestra herramienta depende del compromiso de los clientes.

Por supuesto, Asksuite crea y actualiza los productos para que sean intuitivos y favorezcan al máximo a los hoteles.

Sin embargo, si hay cientos de viajeros haciendo preguntas que a tu robot no se le enseñó a responder, es probable que la comprensión de tu hotel sea menor de lo que podría ser, ¿verdad?

Por tanto, lo que consideramos una tasa de comprensión óptima está entre el 80 y el 90%.

Por ello, puedes aprovechar bastante de lo mejor de nuestra tecnología y no frustrarte por estar lejos del 100%, ya que podrás responder a la gran mayoría de los viajeros.

Pensando en ayudar a los hoteles a ahorrar tiempo al no tener que supervisar los chats para saber qué nuevos asuntos deben enseñarsele al robot, Asksuite actualizó la sección de Enseñarle al Robot con las siguientes funciones:

Recomendación de enseñanza basada en los principales asuntos no comprendidos
Filtro y lista de "Frases No Comprendidas”
Conteo del número de casos de las enseñanzas ya publicadas
Rediseño de toda la experiencia del usuario para registrar y monitorear las enseñanzas más importantes para los clientes potenciales de tu hotel.

[BONUS] Precaución importante: ¿Cómo identificar las herramientas que ocultan falsos positivos?

Sabemos que en el competitivo mercado de la tecnología para hoteles, son varias las herramientas que nacen todos los meses con sensacionales promesas de beneficios.

Sin embargo, es esencial que puedas entender cuándo son promesas falsas o verdaderas.

En el contexto de los chatbots, esto es importante porque hay herramientas disponibles en el mercado que, en sus argumentos de venta, afirman ofrecer una tasa de compresión de aproximadamente el 99%. ¿Puedes creerlo? 😱

Pero en la práctica, sabemos bien que no es así...

Esto se debe a que hay un error en el cálculo de la tasa de comprensión, ya que el conteo oculta una gran cantidad de mensajes que resultaron "falsos positivos".

¿Y qué son los "falsos positivos"?

Imagina que yo, como un hipotético viajero, quiero saber el ''precio del almuerzo'' y se lo pregunto al robot.

Si por casualidad solo entiende la palabra clave "precio" y responde con un tema relacionado con el "precio de una habitación" me responderá equivocadamente, sin embargo, contará como si estuviera respondiendo correctamente.

En Asksuite nos esforzamos por minimizar el número de falsos positivos y una de nuestras estrategias es preguntar al final de cada diálogo con el robot-viajero si la respuesta fue satisfactoria.

De esta manera, podemos obtener una imagen más asertiva sobre la calidad de entrega de nuestro robot sumada a los otros mecanismos creados.

Conclusión

Veamos el resumen de las principales conclusiones de nuestro artículo de hoy:

Ni siquiera las mejores herramientas del mundo consiguen una tasa de comprensión superior al 92%, así que, crea planes de acción realistas basados en las limitaciones de las tecnologías disponibles en el mercado actual

Intenta establecer la comprensión de tu robot entre el 80% y el 90%, ¡lo que ya se considera excelente!

Ten cuidado con las herramientas que prometen una asertividad superior, ¡porque esconden "falsos positivos"!

¡Espero haberte ayudado a entender un poco más el Lenguaje Natural y la Inteligencia Artificial!

Además, ¡espero que te pueda ser útil para mejorar la tasa de comprensión de tu robot y así generar más reservas e ingresos para tu hotel o posada!

¡Hasta la próxima!

¿Cuáles son los límites de la tasa de comprensión de las mejores tecnologías con Inteligencia Artificial en el mercado mundial?