Author(s): Philipp Schoenegger, Peter S. Park, Ezra Karger, Philip E. Tetlock
Year: 2024
Bibliographic Reference (APA format): Schoenegger, P., Park, P. S., Karger, E., & Tetlock, P. E. (2024). AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy. Preprint submitted to arXiv. https://arxiv.org/abs/2402.07862
Assigned Category: Rentabilidad (Cost-effectiveness)
Resumen:
El artículo analiza cómo los modelos de lenguaje a gran escala (LLMs), como GPT-4-Turbo, pueden mejorar la precisión de los pronósticos humanos mediante la integración de asistentes de IA en tareas cognitivas complejas. El estudio incluyó a 991 participantes que utilizaron dos tipos de asistentes basados en GPT-4: uno con un enfoque en superforecasting (pronósticos superprecisos) y otro diseñado para ser excesivamente confiado y negligente respecto a tasas base. Ambos se compararon con un grupo control que utilizó un modelo más antiguo (DaVinci-003), sin apoyo directo en la predicción.
Los resultados muestran que los participantes que utilizaron asistentes LLM mejoraron su precisión en un 23% en comparación con el grupo control. Aunque el asistente de superforecasting fue más preciso en sus predicciones, el beneficio de la IA no se debió solo a la exactitud de los modelos, ya que incluso los participantes que recibieron asistencia de un modelo con sesgos mejoraron su rendimiento. Este hallazgo sugiere que la IA puede ofrecer una herramienta útil en tareas de pronóstico, incluso cuando el modelo no es perfecto.
El estudio no encontró diferencias significativas en la mejora de la precisión entre los pronosticadores con mayor o menor habilidad previa. Tampoco se observó un impacto negativo sobre la “sabiduría de las multitudes”, un fenómeno donde la agregación de pronósticos individuales tiende a producir un resultado más preciso que los pronósticos individuales. Sin embargo, se descubrió que la dificultad de las preguntas afectaba el rendimiento general, con preguntas más difíciles asociadas a menores tasas de precisión.
Este trabajo destaca el potencial de los LLMs para mejorar la toma de decisiones humanas en campos donde la previsión es clave, como la economía, la política y el derecho, señalando que la IA puede ser una herramienta valiosa para aumentar la precisión de los humanos en tareas de pronóstico, incluso en escenarios donde las respuestas son inciertas. Además, propone que la IA es rentable, ya que proporciona mejoras en la precisión a un costo significativamente inferior al de contratar asistentes humanos.
