7  Mejores prácticas

Existen múltiples opiniones con respecto al papel de los LLMs en la educación. Independientemente del alcance en el que estés utilizando Modelos de Lenguaje Grande para tu propia enseñanza y aprendizaje, hay ciertas cosas que tener en cuenta para mejorar -y no reemplazar- tu pensamiento.

7.1 Contexto

Uno de los desafíos más críticos de las salidas de LLM es que pueden ser demasiado genéricas -y posiblemente no muy útiles. Proporcionar suficiente contexto sobre la tarea es importante para hacer prompts efectivos y conversaciones.

• Considera describir el trasfondo de la tarea: ¿para qué es? ¿para qué curso es? ¿cuál es el nivel esperado (primer año, último año, etc.)? ¿cuál es tu objetivo con esto?
• Dota al LLM con un carácter o un rol para la tarea: eres un tutor para este curso eres un asistente de curso eres un editor que proporciona retroalimentación eres un estudiante en este curso
• Ajusta finamente el LLM para experiencia en lenguaje o conocimiento: piensa en limitar el conocimiento o referencias al curso actual o cualquier otro curso previo. Incluir un programa de estudios o programa del curso puede ayudar a dar más contexto.

Ajuste fino a menudo significa dar un contexto específico para cada prompt individual. Considera guardar este contexto básico como un archivo de referencia en el LLM o incluso como una nota de texto que puedes copiar y pegar cada vez que preguntes algo relacionado con una clase en particular.

7.2 Evaluación

Cargar trabajo por adelantado en los prompts no es la única manera en la que podemos hacer nuestras interacciones con LLMs más efectivas. Es importante analizar sus salidas y evaluar si están logrando nuestras expectativas.

Dado que los LLMs tienen algún nivel de autonomía -toman pequeñas decisiones como en qué texto producir- es útil evaluarlos como un supervisor lo haría con un asistente.

Para esto, es importante tener elementos clave de rúbrica en los que podemos enfocarnos mientras evaluamos las salidas del LLM:

Elemento	Descripción
Cumplimiento	¿Generó el LLM lo que esperabas?
Alucinaciones	¿Son reales los hechos utilizados?
Datos	¿Utilizó el LLM los datos o referencias apropiados?
Voz	¿Se da la salida en la voz, lenguaje y terminología correctos?

7.3 Puntuación TRUST

Uno de los aspectos más importantes de las implementaciones de LLM es la confianza. Esto involucra diferentes niveles. Desde la arquitectura del modelo, los datos utilizados para entrenamiento, hasta la manera en que produce salidas, y la utilidad/veracidad de las respuestas, es importante tener un sentido holístico de confianza para la implementación.

Hay tres etapas que son relevantes para esto:

• Entrenamiento
• Procesamiento
• Evaluación

Una manera simple de evaluar tu conciencia de tu implementación es calculando lo que llamo la puntuación TRUST: Transparencia, Riesgo, Utilidad, Seguridad y Confianza. Cada etapa tiene dos componentes y cada componente tiene un total máximo de puntos que pueden ser asignados. Estos son puntos auto-asignados que pueden ayudarte a evaluar tu propio conocimiento y conciencia de todo el sistema LLM e implementación que estás usando.

Etapa	Dimensión	Descripción
Entrenamiento	Datos (1 pt)	Evalúa las fuentes de datos, calidad de datos, derechos de autor y privacidad de los datos utilizados para entrenamiento.
Entrenamiento	Huella (1 pt)	Considera el impacto ambiental y laboral del LLM.
Procesamiento	Explicabilidad (3 pts)	Qué tan bien entiende el usuario la salida.
Procesamiento	Privacidad (3 pts)	Evalúa la propiedad de datos, almacenamiento y prácticas de uso.
Evaluación	Evaluación (9 pts)	Mide la efectividad y precisión de las salidas.
Evaluación	Responsabilidad (9 pts)	Asegura responsabilidad humana clara en cada etapa del proceso.

La puntuación TRUST total posible es 26 puntos.

Esta puntuación puede ayudar a guiar hasta qué punto necesitas considerar un LLM diferente, considerar diferentes tareas para ser externalizadas, o hasta qué punto puedes aprender más sobre el sistema LLM mismo.

Aquí hay algunas acciones recomendadas basadas en la puntuación TRUST que obtienes después de tu autoevaluación:

Nivel	Puntuación	Acción
TRUST Alto	> 18 pts	Implementa el sistema mientras reevalúas periódicamente si alguna dimensión ha cambiado.
TRUST Moderado	Entre 13-18 pts	Identifica y aborda debilidades específicas en las etapas con puntuación más baja. Reevalúa antes de implementar el sistema.
TRUST Bajo	Entre 5-12 pts	Revisa todas las etapas del sistema (entrenamiento, procesamiento, implementación) para cumplimiento con políticas y regulaciones actuales.
TRUST Mínimo	< 5pts	Considera un rediseño del sistema y/o explora un sistema diferente. Consulta con supervisores y busca alternativas.