Uma nova pesquisa está esclarecendo como os modelos de linguagem de inteligência artificial lidam com vários idiomas, uma capacidade com potenciais implicações para o comércio global.
As empresas de tecnologia africanas também lançaram ferramentas que dão suporte a vários idiomas locais, respondendo à diversidade linguística do continente. Pesquisadores estão descobrindo como esses sistemas de IA processam diferentes idiomas enquanto as empresas avaliam o impacto da tecnologia nos mercados globais e no engajamento do cliente.
“À medida que as empresas se expandem globalmente, a diversidade linguística nas ferramentas de IA tornou-se essencial”, Eleanor Corpo de LuzCEO da empresa de IA Luminânciadisse à PYMNTS. “Os contratos são a espinha dorsal das operações comerciais e, para escalar efetivamente, as empresas precisam de ferramentas que transcendam as barreiras linguísticas e permitam o engajamento global.”
O que é um LLM multilíngue?
Os Large Language Models (LLMs) multilíngues são sistemas de IA treinados em textos de vários idiomas. Isso permite que eles entendam e gerem conteúdo em vários idiomas. Por exemplo, um LLM multilíngue pode ser capaz de ler uma pergunta em espanhol, processar informações de fontes alemãs e fornecer uma resposta em inglês.
Esses modelos aprendem padrões e estruturas comuns a muitas línguas e características específicas da língua. Isso permite que eles realizem tarefas como tradução, recuperação de informações entre línguas e resposta a perguntas multilíngues.
Um exemplo desses tipos de LLMs é BERT multilíngue do Google modelo, que foi treinado em 104 idiomas e pode lidar com tarefas em todos eles. Outro é Meta's No Language Left Behind projeto, que criou um modelo capaz de traduzir entre 200 idiomas.
Outra iniciativa é o LLM multilingue XLM-Rdesenvolvido pela Facebook AI. Ele supostamente pode executar tarefas como análise de sentimentos e reconhecimento de entidades nomeadas em 100 idiomas. Por exemplo, ele pode identificar sentimentos positivos ou negativos em avaliações de produtos escritas em tailandês, russo ou suaíli, demonstrando sua versatilidade em entender contexto e nuance em diversos idiomas.
LLMs multilíngues são particularmente úteis em contextos globais. Eles podem ajudar empresas internacionais a se comunicarem com clientes no mundo todo ou auxiliar pesquisadores a acessar e entender estudos publicados em diferentes idiomas.
Como a IA está melhorando em idiomas
LLMs multilíngues podem se tornar mais eficazes. Pesquisadores identificaram um processo de três etapas chamado “Fluxo de trabalho multilíngue”, oferecendo insights sobre o funcionamento interno desses sistemas sofisticados. estudar publicado no site de acesso aberto Arxiv, que ainda precisa passar por revisão por pares, sugere que grandes modelos de linguagem (LLMs) empregam uma abordagem diferenciada para tarefas multilíngues.
O processo envolve converter a entrada para inglês, resolver tarefas e responder no idioma original. Os pesquisadores descobriram que poderiam aumentar o desempenho entre os idiomas ajustando apenas 0,1% dos neurônios de um modelo usando apenas 400 documentos. Esse método resultou em uma melhoria média de 3,6% para idiomas de alto recurso e 2,3% para idiomas de baixo recurso em todas as tarefas.
Esses desenvolvimentos ocorrem no momento em que empresas de tecnologia africanas fazem avanços na criação de soluções de IA adaptadas à diversidade linguística do continente. Lelapa IA lançou recentemente o InkubaLM, o primeiro modelo de linguagem de IA multilíngue da África. Esta plataforma de código aberto suporta cinco idiomas africanos: Swahili, Yoruba, IsiXhosa, Hausa e isiZulu.
Soluções de IA Botlhale supostamente também viu aumento da adoção de seu pacote de processamento de linguagem natural, Bua. Desenvolvido no ano passado para contact centers, Bua conquistou clientes, incluindo Multichoice e MTN.
À medida que a pesquisa continua e novos produtos surgem, a capacidade da IA de lidar com vários idiomas fluentemente pode ter implicações significativas para empresas que operam em mercados linguisticamente diversos.
“As empresas podem alavancar os LLMs treinando-os em vários idiomas e editando nuances culturais e linguísticas”, Kyran Schmidtcofundador da Outverseuma plataforma de atendimento ao cliente b2b de IA, disse à PYMNTS. “Isso permite suporte personalizado ao cliente e aumenta o engajamento.”
