尧图网络科技YAOTU DIGITAL 获取报价
获取报价
首页 / 资讯中心 / 文章详情

Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages

发布时间:2026/9/26 21:12:19

资讯中心
01
ARTICLE

Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages

Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages
论文总结与翻译一、论文主要内容该论文聚焦于解决大型语言模型(LLMs)在低资源语言(LRLs)上性能不佳的问题,核心是利用多语言编码器改进英语为中心的LLMs。1. 研究背景LLMs在英语及高资源语言上表现优异,但因训练数据以英语为核心,在低资源语言上性能大幅下降。现有多语言编码器(如XLM-R、mBERT、mT5)虽能生成语境化词嵌入,适用于跨语言任务,但仅使用其最终编码器层,忽略了中间层蕴含的句法、语义等有价值特征,且缺乏LLMs强大的推理能力。此前提升LLMs多语言能力的方法存在缺陷:基于翻译的数据创建在低资源语言中易有噪声和语义偏移,多阶段翻译推理会增加延迟和累积误差,而LangBridge、MindMerger等对齐多语言编码器与LLMs的方法也仅用最终层隐藏状态。2. 研究方法模型架构:扩展LangBridge架构,提出融合多语言编码器所有中间层的架构。先将多语言指令提示输入冻结的多语言编码器,得到各Transformer层的词级隐藏状态,再通过可训练的深度加权融合机制生成每个词的单一融合表示,最后用线性投影将融合表示映射到英语LLM的嵌入空间,训练时仅冻结编码器和LLM,端到端训练融合和投影组件。融合模块:采用两种权重计算策略。一是全局Softmax加权,为每个编码器层分配 scalar 权重,权重在所有词和样本中共享,通过温度缩放S
02
RELATED NEWS

相关资讯

更多网站建设与数字化升级内容

03
WHY YAOTU

想打造同款高转化官网?

懂行业、懂生意,从建站到增长一站式陪跑

◈

场景化定制

不做模板站,围绕你的业务场景量身设计,小众不撞款。

◐

营销型架构

以转化目标组织内容与路径,让官网真正带来询盘。

▲

全周期服务

设计、开发、运营、运维一体,上线只是开始。

免费获取你的建站方案

留下需求,专属顾问 24 小时内为你输出方案建议。