LLMs are very good at predicting what comes next based on patterns they have learned from the training data. However, when it comes to reasoning, they often rely on statistical patterns rather than true understanding. This means that while LLMs can be very effective at tasks like language generation, they may struggle with tasks that require true reasoning and understanding of concepts.
When considering using LLMs in your AI solutions for L&D, it’s important to keep in mind their limitations and ensure that they are used in appropriate ways. They can be incredibly powerful tools for tasks like personalized learning recommendations or content generation, but may not be the best choice for tasks that require deep reasoning or understanding.
By embracing AI in L&D and understanding the capabilities and limitations of technologies like LLMs, learning professionals can evolve their practices to better meet the needs of modern learners and organizations. By following the key takeaways outlined in this article, you can prepare yourself to leverage AI effectively in your learning programs and stay ahead of the curve in the ever-changing landscape of L&D.
Es mucho más complicado que eso, pero el punto es que la inteligencia y el razonamiento pueden ser malinterpretados como reconocimiento de patrones.
¿Cuál es un ejemplo? Digamos que entrenaste tu modelo en cómo resolver problemas matemáticos. Cuando el modelo reconoce el problema, sigue el patrón aprendido de cómo resolverlo. No tiene una opinión, creencia o algún tipo de postura fundamental al respecto. Por eso, cuando simplemente le dices al modelo que está equivocado, se disculpa y reconsidera la respuesta. El razonamiento matemático (hasta hoy) no es su punto fuerte.
Un estudio en todos los modelos encontrados a través de la prueba GSM-Symbolic mostró que generar versiones del mismo problema matemático reemplazando ciertos elementos (como nombres, roles o números) puede llevar a inconsistencias en el modelo, lo que indica que la resolución de problemas se produce a través del reconocimiento de patrones en lugar de razonamiento [1].
Específicamente, el rendimiento de todos los modelos disminuye cuando solo se alteran los valores numéricos en la pregunta en la prueba GSM-Symbolic.
Cuando se agrega información aparentemente relevante al problema que en realidad es irrelevante, los humanos, a través del razonamiento, simplemente la ignoran. Parece que los LLM intentan integrar la nueva información incluso si no es necesaria para el razonamiento, como descubrieron los estudios:
Agregar una sola cláusula que parece relevante para la pregunta provoca caídas significativas en el rendimiento (hasta un 65%) en todos los modelos de vanguardia, aunque la cláusula no contribuye a la cadena de razonamiento necesaria para la respuesta final.
En resumen, los LLM actuales son increíbles en el reconocimiento de patrones, que pueden lograr a una velocidad y en una escala que ningún humano puede igualar. ¡Son excelentes en fingir ser alguien para practicar habilidades blandas! Pero tienen sus limitaciones (hasta hoy) en el razonamiento matemático, especialmente en razonar por qué la respuesta es la respuesta. Sin embargo, nuevos modelos, como el de Strawberry de OpenAI, están intentando cambiar esto [2].
Referencias:
[1] GSM-Symbolic: Comprendiendo las Limitaciones del Razonamiento Matemático en los Grandes Modelos de Lenguaje
[2] Algo Nuevo: Sobre la Fresa de OpenAI y el Razonamiento