首页 Metaverse Inflection AI发布Inflection-2.5模型,在某些指标上接近GPT-4
Inflection AI发布Inflection-2.5模型,在某些指标上接近GPT-4

Inflection AI发布Inflection-2.5模型,在某些指标上接近GPT-4

  近日,据海外媒体报道,人工智能初创公司Inflection AI发布了一款名为Inflection-2.5的基础模型。Inflection AI是由DeepMind联合创始人Mustafa Suleyman和LinkedIn(领英)联合创始人Reid Hoffman共同创办的一家科技公司。

  根据截至目前的表现,Inflection-2.5的表现明显优于该公司最初发布的Inflection-1模型,据称几乎能够和OpenAI的GPT-4模型相匹配,尤其是在STEM主题方面。目前,Inflection-2.5主要为Inflection AI公司的智能助手Pi assistant(以下简称:Pi)提供支持。

  自成立以来,Inflection AI一直在致力于构建一个“善解人意、有用且安全”的AI,与包括GPT系列在内的其他模型相比,Inflection AI提供的能力更加个人化和口语化。该公司通过独特的移情微调(empathetic fine-tuning),赋予Pi背后的模型一个标志性的个性和非凡的情商。

  随着升级版Inflection-2.5的发布,Inflection AI正在打造IQ方面的产品,涵盖物理和数学等领域。在公司发布的博客中,该公司表示,在Inflection-2.5的支持下,与Pi交谈的用户可以讨论一系列话题,从讨论个人爱好到编码、检查生物学论文的答案或起草商业计划等等。

  就基准测试的性能而言,Inflection-2.5在所有方面都比Inflection-1有了实质性的改进,并接近GPT-4,尽管还有一些仍然不及GPT-4。

  例如,在MMLU基准测试中,衡量从高中到专业难度的任务表现,Inflection-2.5的得分是85.5,仅次于GPT-4的87.3。同样,在STEM考试中,Inflection-2.5的表现几乎和GPT-4一样好。在匈牙利数学(Hungarian Math)考试中,Inflection-2.5的得分为63,GPT-4为68。在物理GRE考试中,Inflection-2.5的得分为85,GPT-4为97。

  在由小学数学问题组成的GSM8K基准测试中,Inflection-2.5的得分为86.3,GPT-4为92。在旨在评估代码生成能力的0-shot HumanEval中,Inflection-2.5的得分为73.8,GPT4的得分为79.3。

  虽然整体性能并不比GPT 4好,但Inflection AI确实指出,与OpenAI大语言模型相比,其目前达到GPT-4的94%的性能是通过更有效的训练实现的。根据该公司的说法,Inflection-2.5只需要GPT-4训练FLOPs(计算)的40%实现的。此外,就像GPT-4一样,Inflection-2.5模型还集成了实时网络搜索功能,为用户提供当前事件的最新信息。这将是一个重大的升级,因为Inflection AI已经将Pi定位为每个人的人工智能助手。然而,值得注意的是,Web检索结果的质量可能会有所不同。

延伸阅读:

Powered by Froala Editor