6 Limitaciones
Los Modelos de Lenguaje Grande tienen limitaciones dependiendo del uso y el contexto. Algunas de estas limitaciones se deben a barreras tecnológicas, otras a su diseño.
6.1 Ventanas de contexto
Por diseño, la mayoría de los LLMs tienen una interfaz de usuario que se asemeja a un chatbot. Este diseño fomenta interacciones similares a conversaciones en lugar de simples consultas/respuestas.
Uno de los avances más importantes en los LLMs se debe al llamado “mecanismo de atención.” Esta arquitectura de red neuronal permite al modelo no solo prestar atención a las palabras más recientes, sino también a todo el texto desde el principio.
Un ejemplo de esto es cómo el texto predictivo en teléfonos móviles parece solo proporcionar sugerencias basadas en las últimas 1 o 2 palabras escritas. Esto no es ideal ya que el modelo no tiene memoria de nada dicho anteriormente en la conversación. Para abordar esto, el mecanismo de atención incorpora una codificación dinámica de palabras que captura la evolución del texto.
En la práctica, al usar un LLM, este mayor rango de atención consume recursos y a menudo se limita a un número particular de palabras de contexto o ventana de contexto. Esta ventana de contexto puede pensarse como la información de antecedentes que se pasa al modelo para proporcionar salidas específicas relacionadas con nuestras conversaciones.
Esta ventana de contexto también se usa para ajustar finamente el modelo. Es decir, para decirle al modelo la experiencia específica, idioma o carácter que debe asumir.
Las compañías de LLM generalmente tienen diferentes niveles de modelos que permiten, entre otras cosas, seleccionar ventanas de contexto más grandes. Esto se vuelve relevante cuando las conversaciones se vuelven largas o cuando los documentos de referencia son extensos.
Usualmente los chatbots LLM agregan salidas previas como parte de la entrada para nuevas consultas. De esta manera, la información y contexto previos se pasan a las nuevas consultas y los chatbots pueden recordar lo que ha pasado en la conversación.
De manera similar, los documentos de referencia se pasan al LLM como parte del contexto, de ahí la limitación en el número de referencias activas que una conversación puede manejar.
Las ventanas de contexto pueden ser muy pequeñas en algunos de los niveles gratuitos para LLMs comerciales. Este es un aspecto importante a tener en mente, ya que los usuarios de pago podrían tener una ventaja sobre los usuarios gratuitos en el tipo de tareas que pueden completar efectivamente.
6.2 Sesgo de datos
Los Modelos de Lenguaje Grande se entrenan usando grandes cantidades de datos. Esto significa que a menudo incluyen diferentes perspectivas o puntos de vista sobre algo. Diferentes algoritmos de entrenamiento enfrentan este desafío de varias maneras, ya sea clasificando la información o proporcionando algún tipo de descripción promedio.
Esta limitación influye en el tipo de respuestas que los LLMs pueden proporcionar, usualmente proporcionando respuestas que, en cierto sentido, promedian la información, siendo menos sensibles para valores atípicos o fuentes menos comunes.
6.3 Tareas complejas
Ha habido gran progreso en la llamada característica de razonamiento de los LLMs. Esto usualmente involucra una combinación de interacciones internas de ida y vuelta de los LLMs, junto con planificación explícita y estrategias paso a paso sobre el curso de acción del LLM. Esto es particularmente útil para minimizar las alucinaciones, sin embargo, cuando las tareas son muy complejas y/o involucran múltiples pasos, los LLMs tienden a reducir su rendimiento. Actualmente, este umbral es más notable para tareas que requieren una hora o más de procesamiento.
6.4 Avance rápido vs. caja negra
Los Modelos de Lenguaje Grande son muy útiles para acelerar tareas. Incluso a nivel corporativo, los usuarios reportan que usar LLMs puede ayudarlos a realizar tareas en solo el 20% del tiempo normal. Este enfoque mejora la habilidad de los usuarios para hacer lo que ya saben, pero más rápido.
Por otro lado, los LLMs también habilitan un enfoque de caja negra, donde los usuarios no tienen conocimiento previo de un campo o tarea. Aquí, los modelos están reemplazando o subcontratando la intervención humana.
Estos dos enfoques podrían ser tanto útiles como peligrosos para propósitos de enseñanza y aprendizaje. Depende de los objetivos específicos, uso y contexto. Sin embargo, es importante entender completamente en qué sentido los instructores y estudiantes están usando LLMs, ya sea para acelerar una tarea o como una caja negra.
6.5 Vibe-learning
Más allá del enfoque de caja negra está lo que llamo vibe-learning. A principios de 2025 se acuñó el término vibe-coding para describir la manera en que muchos desarrolladores y científicos de la computación estaban usando LLMs “enfocándose en el objetivo de lo que necesita ser logrado y olvidándose de la sintaxis de la codificación.” En este sentido, el vibe-coding permite a los desarrolladores olvidarse de los pequeños detalles y enfocarse en el panorama general de los proyectos que están persiguiendo.
En general, los LLMs pueden ser usados con este enfoque de vib-ing. Aunque, una palabra de precaución es relevante en el entorno de enseñanza y aprendizaje. Una diferencia importante entre novatos y expertos en un campo es la atención a los detalles. Los expertos tienden a pensar más en el panorama general y temas generales, mientras que los novatos se enfocan en pequeños detalles. Esta atención a los detalles es fundamental para el proceso de aprendizaje en cualquier campo. El uso excesivo -o mal uso- de LLMs en entornos de enseñanza y aprendizaje puede obstaculizar la habilidad de los estudiantes para aprender conceptos efectivamente al saltarse o reducir su atención a los detalles.
Ya que los LLMs pueden producir productos independientemente de la experiencia o conocimiento del usuario sobre un área temática, este uso podría llevar falsamente a los usuarios a sentir que están participando en el aprendizaje. Si hay algo más peligroso que la ignorancia es la ilusión del conocimiento.