红杉中国团队最近提出了AI基准测试工具XBench。双轨评估系统强调了不简单痴迷诊断问题的困难，而是专注于在实际情况下衡量AI系统的效用价值。目录01。基准测试是否必须开始关注AI的“业务能力”？什么是xbench？为什么检查代理产品需要双轨评估系统？基准不能仅仅是为了更困难的问题而设计吗？ ... 02。常绿分析的机制是什么？ LLM和代理产品审查集有什么区别？ IRT如何支持评估系统的动态更新？ ... 03。当前顶级模型如何执行“招聘”和“营销”？ “招聘”和“营销”活动中代理产品的要求有什么要求？ Xbench如何评估代理商的业务能力？领先的国内和外国模型如何在“招聘”中表现Ent“和“营销”测试？... 01。基准测试必须开始关注AI的“业务能力”？来自中国红杉的研究人员最近在其论文中介绍了Xbench基准：跟踪生产力，扩展专业与现实世界的评估”，并介绍了更新和更新的项目，该计划是第202个项目。用作中国红杉用来监视和评估基本模型的功能的工具。问题开始上升，重点关注LLM的复杂问答和推理capabilitIE，以及简单的工具呼叫功能。 ③Xbench的第三次升级发生在2025年3月。在此期间，红杉团队开始考虑当前模型功能与AI的实际实用程序之间的关系，询问增加了增加问题及其与实际AI估值相关性的困难的重要性，并发现将AI的能力与每个问题进行比较。 2。在5月发表的论文中，研究人员强调了Xbench对基于LLM的代理商在现实生活活动，关键业务指标和经济产出中的实际有效性的关注，以对技术能力模型的上限进行回顾。 ①在客户破坏的博客中，XBench设计了针对各种业务领域的评估活动。评估任务是根据实际业务需求的相应领域专家设定的，然后大学教授将更改评估审查指标的任务以及通过此过程，建立了基准和生产率价值之间的密切相关性。 Bresearchers还强调，Xbench与每个公司的实际需求相符，而不仅仅是追求高苦难。 3。要注意模型功能和实际的“生产力”，Xbench团队建立了双轨评估系统，并根据项目响应理论设计了常绿的评估机制，以测试AI技术能力的上限并计算真实场景的实用性价值。 ①双轨评估系统在两个辅助密钥线上划分了评估任务。其中，AGI监测用于评估代理的能力和技术界限；对齐的教授用于在实际情况下开发AI系统的效用价值。确保双轨评估的结果是最新的，并且是相关的。 4。Xbench的AGI跟踪行的第一期包括SET的科学答案（Xbench-ScienceQA）和Internet互联网搜索分析（Xbench-DeakSearch），而教授的行则建议招募和市场的垂直代理评估框架。 ①在测试的第一阶段，不同的模型在招聘和营销领域中表现出色。最佳性能模型是O3AI的O3，在所有试验中排名第一，GPT-4O在分析中得分最低，因为它倾向于提供更短的答案。审查还发现，该模型的大小不是影响其工作表现的特定NA因素，而Google DeepMind的Gemini-13此外，研究人员发现，即使DeepSeek R1在数学基准和代码上的表现良好，但由于在此评论中的表现较少，但在此评论中的表现较少，但在此评论中的表现却很少。搜索中心。 02常绿分析的机制是什么？ 1。常绿的检查机制是Xbench工作建议的“连续 - 任意评论”，该机制用于避免静态检查集容易出现问题的问题，导致问题引起问题，这些问题引起了引起问题的问题，这些问题引起了引起问题和引起问题的问题。 [2-1]研究人员已经教导说，代理商的应用程序版本必须考虑其生命周期。代理产品更换的速率速率非常快，并且代理触点的外部环境也会改变 - 变化的变化。同样的问题是，在不同的时间测试结果不同。 Xbench Team计划定期审查市场上的主要代理产品，试图在人力资源，市场，财务，法律，销售等领域的不断变化的考试机制中匹配...遵循“ Machine Heart Pro成员”，去“收件箱”查看完整的解释