科技媒体The Decoder于昨日发布了一篇引人注目的报道，披露了OpenAI公司最新推出的MLE-bench基准。这一基准旨在评估AI智能体在开发机器学习解决方案方面的实力，覆盖了75个Kaggle竞赛，涵盖了自然语言处理、计算机视觉和信号处理等多个领域。
MLE-bench专注于两个核心领域：选择具有挑战性的任务，这些任务代表着当前机器学习的发展前沿；比较AI与人类的表现，以此评估AI在特定任务中的能力。
OpenAI在MLE-bench上测试了多个AI模型和智能体框架，其中使用AIDE框架的o1-preview模型表现尤为出色，在16.9%的比赛中至少获得了一枚铜牌，这一成绩甚至超越了Anthropic的Claude 3.5 Sonnet。
值得注意的是，MLE-bench上的任务具有现实世界的应用价值，如预测COVID-19 mRNA疫苗的降解或解码古代卷轴等。而获得5枚金牌即可评为“Grandmaster”特级大师，o1-preview模型在测试中更是获得了7枚金牌。
然而，OpenAI也承认MLE-bench存在局限性，它并未涵盖AI研究与开发的所有方面，而是主要集中在那些具有明确问题和简单评估指标的任务上。
尽管如此，MLE-bench基准的推出无疑为AI在机器学习领域的发展提供了新的推动力。该基准现已在GitHub上发布，OpenAI希望通过这一工具，进一步推动AI在机器学习领域的创新与应用。
