新闻资讯
新闻资讯

科学家表明,所有语言模型都以相同的“含义的

图 | 张瑞杰(来源:https://collinzrj.github.io/)资料来源:DeepTech和MIT团队在2024年提出了“柏拉图表达的假设”。这表明现代神经元网络的表示空间趋于融合。换句话说,几种AI模型倾向于进行统一的现实表示。正如囚犯在柏拉图洞穴中所有故事中看到的阴影是对现实的预测一样,始终重复的AI模型开始理解投影背后的最高现实维度。当时,相关文件也受到了歌剧伊利亚·萨特斯凯佛(Ilya Sutskever)的前任主管的称赞。 2025年5月,基于上述情况,美国康奈尔大学的博士生Chang Luisie及其研究团队提出了“强烈的柏拉图式表达假设”。这意味着您可以学习和使用可能的一般表示形式,并且还可以在没有编码器或配对数据的情况下实现表示空间之间的转移式。这项研究还提出了A NEW方法称为邻居2VEC。这是一种将文本重叠从一个向量空间转换为另一个矢量空间的方式。这意味着它也是实现前一个功能的第一种方法,而无需配对数据,编码器或预定义的巧合集。换句话说,作为一种非监督方法,邻居2VEC可以双向转换任何用“柏拉图表达假设”推断出的一般语义结构的嵌入。具体而言,邻居2VEC能够转换未知编码者生成的未知文档,并且对于分布式输出非常可靠。邻居2VEC即使模型体系结构,参数量表和训练数据也不同,邻居2VEC也可以在模型的同行中实现高度的余弦相似性。虽然凸出未知的掺入几何形状,但此方法允许成为不同的空间。换句话说,相邻者可以学习“独立于域”的转换。这是一个主要基于几何关系的特征当它们在不同集成空间中代表相同语义时,它们是常见的。同时,研究人员还证明了邻居2VEC转换可能包含足够的入学语义来支持属性推断。此外,在几位患者和电子邮件中,Corporativosxtrajimos信息对疾病和其他相关内容敏感,但我们仅访问了文档的累积,并且我们不联系生成这些抢购的编码器。通过这项研究,他们发现最佳的转化方法允许更多地提取保真度信息。因此,这一发现可以提供基于文本模型的“柏拉图代表的强大假设”的回顾。基于几年前OpenAI启动的“对比度语言”,这项研究的初步实验结果表明,一般的几何结构也可以在其他模式中使用。应该注意的是这个恢复LT只是表示之间过渡的下限。随着出现更好和稳定的学习算法和相关的建筑改进,这一成就有望扩展到更多的数据,建模的家庭和更多的方式。据了解,嵌入高达0.92的余弦的相似性文本是现代自然语言处理(NLP,自然语言处理)的核心,并且可以支持搜索,高级生成,分类和高级级别等任务。在不同的数据集中训练了许多集成模型,不同的数据损坏方法和不同的初始化条件。嵌入文本编码您的语义信息。一个好的模型将文本与集成空间的向量具有语义相似。由于语义是文本的属性,因此同一文本的不同完整性必须编码相同的语义。但是,实际上,不同的模型完全不同地编码文本ENT和不兼容的向量空间。以前,麻省理工学院团队提出的“柏拉图表示假设”推测,所有足够的尺寸图像模型都具有相同的潜在表示。对于文本模型,研究团队提出了该假设的更强大,更具建设性的版本。您可以学习文本表示的一般潜在结构,并使用更多结构将表示形式从一个空间转换为另一个空间,而无需数据或Encoderit配对。在这项工作中,研究人员声称卡恩·柏拉图的代表假设实际上是有效的。我已经证明了这一点。考虑到具有不同架构和培训数据的两个模型的非相关镶嵌件的示例,我们使用邻居2VEC了解了潜在表示,其中这些不适当或多或少是相同的。 (来源:数据图像)在研究中,它们的灵感来自于对年际单词结算的研究和图像翻译研究的启发wollowed。如报道,邻居2VEC可以学习使用不利损失和周期性一致性在共同的潜在空间中编码镶嵌,并以最小的损失对其进行解码,从而允许非避免的转换。同时,研究人员已经学会了如何使用对手方法,并将其与矢量空间保留技术相结合,以将Inkeated Distributions映射到已知分布。这发现邻居2VEC转换与目标镶嵌空间的真实向量具有相似性,从而实现了与8000多个邻居2VEC随机物的完美巧合,而无需事先访问巧合集。为了证明上述转换既保留了“累积的相对几何”和“基础输入的语义”的“相对几何”,我们使用零样品的属性来执行这些向量的推论和投资,而不了解原始集成模型的产生。据了解,我已经对集成向量集之间的一致或相应问题进行了vestigation。但是,这些方法不适用于本研究的配置,因为先前的研究假设有两个或多个综合向量是由差异编码器从同一条目产生的。换句话说,对于每个未知向量,在各个集成空间中必须已经有一组不同的候选向量。其中之一是正确的巧合。但是,在实际应用程序中,很难恢复此数据库。研究人员说,他们认为非监督的转型是可行的,因为它完全基于柏拉图的代表假设的更强版本。为此,他们提出了以下假设:如果他们使用相同的目标和模态,使用不同模型的架构使用不同的神经数据和网络训练,则在共同的潜在空间中收敛,允许每个repr之间的翻译同龄人没有通信的无通信学习要学习。在计算机视觉领域,将环路与冲突正规化结合在一起的非监管转换已成功。因此,在邻居2VEC的设计中,这些方法也受到了ERESEarch资格的启发。同时,他们希望以周期性的一致性和不确定的区别实施集成的空间变换。与图像不同,集成的向量没有空间偏差。在这项研究中,研究人员不使用卷积神经元网络(CNN),而是使用具有剩余连接的多层PESCEPTRONE(MLP,Multicapa感知器),层的标准化和非线性激活能力SILU。在分类器中,采用了类似的结构作为生成器,但是省略了残差连接以简化对手学习过程。如果没有配对数据,您就可以学习将集成到数据集的向量转换。回复RCH团队使用真实用户咨询并受Wikipedia Answers培训的数据集使用了自然问题数据集(NQ)。要评估信息提取:首先,他们使用TweetTopotic,这是由19个主题组成的多个标签推文数据集。其次,他们使用了记录子集8192 MIMIC-III(MIMIC)(MIMIC)的随机,以及由2673名具有多个Medcat病疾病标记的多个描述记录的模拟数据集的伪创建版本的伪溶剂版本。同样,他们使用了已经损坏的Enron的Energy Company的50个电子邮件语料库的随机电子邮件子集。这也是一组未标记的公共数据。在模型中,研究人员使用了一个集成模型,该模型代表了三个量表类别,四个变压器体系结构和两个退出维度。其中,花岗岩是一个多语言模型,夹子是多模型。 (来源:数据照片)在实验中,邻居2VEC有一个潜在的我们可以吃的空间,您可以学习这个空间包含所有集成的几何形状。这使我们可以用作文本编码器的通用语言,并在没有数据配对的情况下转换表示形式。实验结果表明,邻居2VEC转换可以反映目标空间的几何结构。如下图所示,在模型的同行中,邻居2VEC几乎是最佳分配的,达到余弦的相似性高达0.92,达到TOP-1的准确性高达100%,并且矩阵范围为1。较低的范围为1。邻居生成的综合矢量与Naive基础的真实值相关。在交叉匹配中,邻居2VEC在所有指标中要好得多,但是参考方法的完成方式与随机猜想相同。该性能甚至可以扩展到分布式数据,如下图所示。 (来源:配置文件)随着MIT先前消失的,相邻的转换器在NQ数据集中进行了训练,但是在X-Tweet和病历中进行评估时,它将显示余弦,更高的精度和较低基质范围更大的相似性。 (来源:数据图像)研究团队说,VEC2VEC始终优于最佳任务基线。这些结果表明该方法可以适应新模式。特别是,集成的夹子空间表明它已成功建立了与其他方式(例如热图,音频和深度图)的联系。在一项使用邻居2VEC转换提取信息的研究中,研究人员表明,邻居2VEC变换不仅保留了集成的几何形状,而且还具有足够的语义来支持属性的推断。如下图所示,邻居2VEC转换的属性始终倾向于超过线条基础,并且比理想的零样品基线更好地工作。应该注意的是,这个理想的基线旨在推断出真实文档的嵌入,并将属性嵌入同一空间。这些我在此研究方案中不可用,因此我们有一个虚拟基线。 (来源:数据图像)研究小组说,邻居2VEC转换也适合将向量整合到医疗记录中。在脊柱的相同配对中,转化抹布的属性的推断与天真的基线相当,明显好于骨干配对的简单基线。例如,邻居2VEC可以保留诸如“肺泡炎”之类的概念的语义。这表明邻居2VEC的潜在空间实际上是一个常见的表示,因为它从未出现在培训数据中。 Invertgo,也就是说,重建文本条目。投资比属性推断更加困难。即使使用“原始标准编码”,邻居2VEC转换仍然可以保留足够的语义信息。由机枪生成的Inlays开发的样品的零样品投资方法也可以重建多达80%的文档内容仅基于转换的镶嵌物的一些模型。 (来源:数据库)当然,这些投资并不完美。研究人员说,他们将在转型后开发一个特殊的投资者来实现。通常,这项研究表明,所有语言模型都以相同的“一般语义几何形状”收敛。这将对矢量数据库的开发产生特​​定的影响。请参阅:https://arxiv.org/pdf/2505.12540操作/typeline:他是金隆