Naver表示,HyperCLOVA X的韩国语水平超过了OpenAI GPT和Google Gemini

2024-11-26 21:08来源:本站编辑

Naver云27日表示,在韩国人工智能性能评价基准KMMLU中,HyperCLOVA X的表现超过了OpenAI和谷歌的生成型人工智能模型,从而确立了作为主权人工智能的性能竞争力领先优势。这一术语是指为维护国家数据主权和遵守地方法规而量身定制的人工智能技术。

KMMLU由韩国领先的开源语言模型研究联盟HAE-RAE牵头,是一项旨在创建衡量人工智能性能基准的计划。它包含35130个问题,跨越45个学科,包括人文科学、社会科学和STEM领域,需要专家级的见解。

大约80%的题目测试的是全球通用的常识,比如数学推理能力。剩下的20%是评估韩国特有的技能,比如了解朝鲜半岛的地理和国家立法。这种平衡的方法允许全面评估人工智能在一般情况下的能力,以及与韩国用户特别相关的情况。

此外,被OpenAI和谷歌等北美科技巨头广泛用于人工智能性能评估的韩国版“MMLU”,由于翻译不准确和许多最初为英语环境设计的问题中嵌入的文化细微差别,面临着挑战。相比之下,KMMLU提供了原始的韩语问题,可以更精确地衡量人工智能的韩语熟练程度。

KMMLU的研究报告显示,HyperCLOVA X的性能超过了OpenAI的GPT-3.5 Turbo和谷歌的Gemini Pro,但没有超过GPT-4。Naver主张,HyperCLOVA X融合了广泛的知识和韩国特有的知识,可以与全球领先的技术公司开发的人工智能相媲美。

具体来说,HyperCLOVA X在韩国特定知识方面超越了OpenAI的GPT-4,突出了其在教育和法律服务等当地洞察力至关重要的领域的潜在效用。

Naver Cloud将利用KMMLU评估结果所证明的HyperCLOVA X的强大性能,进一步将其培养为具有顶级安全性和性能的主权AI解决方案。

去年10月,Naver Cloud推出了HyperCLOVA X的神经云,这是一种混合云服务,旨在促进HyperCLOVA X在安全的专用网络中的使用,从而降低数据泄露的风险。该公司准备推出更多的企业解决方案向前发展。

HyperCLOVA X的超大规模人工智能科长成中子表示:“HyperCLOVA X是一种将全球知识与韩国特有的技术相结合的主权人工智能。由于其优越的性能和安全性,在韩国各个领域都很受欢迎。随着全球对适应当地的人工智能的需求不断增长,我们渴望利用我们在韩国取得的人工智能成功,向国际扩张。”

海房网声明:未经许可,不得转载。