Dentro da área de inteligência artificial e machine learning, é um grande desafio é fazer com que as máquinas sejam capazes de entender o que falamos. O NLU é a tecnologia que busca tal solução.
Essa tecnologia abrangente pode ser eficaz em diversas áreas, principalmente naquelas referentes ao atendimento a clientes.
Compreender NLU pode ser uma grande vantagem para colocar-se em dia com as tecnologias de ponta que estão constantemente inovando o mercado.
Caso você tenha uma empresa, pode ser que ela melhore ainda mais a produtividade e ajude a poupar recursos.
Se você quiser saber mais sobre essa área, o que ela significa e como ela funciona, abaixo você encontrará os seguintes tópicos:
- O que é NLU(Entendimento de Linguagem Natural)?
- Qual a relação entre PLN/NLP e NLU?
- Como o NLU funciona?
- Quais as principais aplicações do NLU?
- Quais as diferenças entre NLU e NLG?
- Quais as vantagens de usar NLU na sua empresa?
- Quais os principais desafios de usar NLU na sua empresa?
- Exemplo de uso do NLU na prática
- Quais os principais serviços de NLU?
Boa leitura!
O que é NLU (Compreensão de Linguagem Natural)?
NLU é uma sigla proveniente da língua Inglesa, que significa:
Natural Language Understanding
Em tradução literal, Entendimento de Linguagem Natural.
Essa é uma subárea de pesquisa de Processamento de Linguagem Natural, que, por sua vez, faz parte das áreas conjuntas de Inteligência Artificial e Machine Learning.
Para que esse conceito seja amplamente compreendido, primeiro é necessário entender o conceito de língua natural. Dentro dos estudos da Linguística, chamamos de língua natural toda aquela que surge espontaneamente de um grupo de fala. Logo, temos como exemplos de línguas naturais o português, o inglês, o espanhol, o japonês… Além disso, línguas de sinais também são naturais, por conta da mesma definição. Essas línguas naturais se opõem às artificiais, que foram criadas por pessoas para cumprir com uma função específica, como o esperanto e o klingon, da série Star Trek.
A linguagem de máquina, ou seja, aquela que faz com que computadores funcionem, é completamente diferente da linguagem humana. Se você está aqui, provavelmente você uma pessoa aficionada por tecnologia, logo, deve saber que no nível mais básico um computador funciona convertendo qualquer tipo de informação em 0s e 1s.
Nesse nível, para estabelecer um canal de comunicação com a máquina, precisaríamos “traduzir” toda essa informação para essa codificação binária. Essa comunicação seria mais primitiva, sendo que seríamos capazes apenas de requisitar que ele cumprisse tarefas e realizasse determinadas funções a partir de uma lógica, mas ele não estaria exatamente processando o que estaríamos dizendo e compreendendo a fundo.
O motivo para isso é que entender uma língua natural exige mais do que somente a tradução de zeros e uns. Uma língua tem regras gramaticais, uma sintaxe, uma intenção, uma lógica humana… E traduzir tudo isso seria um desafio muito maior! Porém, nosso cérebro parece realizar esse procedimento de uma forma impecável, tema que vem guiando anos de pesquisas linguísticas e neuro cognitivas.
Dentro da área de tecnologia, é isso que o NLU propõe. Essa área, portanto, busca meios de converter o funcionamento do nosso cérebro ao processar, aprender e aplicar linguagem natural para um modelo que seja aplicável também em máquinas. Dessa forma, essas máquinas poderão entender o que dizemos, processar essa informação, tomar decisões efetivas e realizar ações por conta própria.
Qual a relação entre PLN/NLP e NLU?
NLP é outra sigla relacionada ao NLU. Seu significado é Natural Language Processing ou Processamento de Linguagem Natural. Essa área é um campo de estudo que se encontra na intersecção entre as áreas de Linguística, Ciência da Computação e Inteligência Artificial. O NLP é uma categoria guarda-chuva que inclui NLU como um de seus principais pilares.
Essa área de estudos é bastante mais vasta que a NLU, uma vez que inclui outros elementos como reconhecimento de fala e Geração de Linguagem Natural (NLG).
O NLP é mais geral e tem como foco viabilizar a comunicação entre máquinas e pessoas humanas. Com isso, queremos dizer que a máquina deverá ser capaz de entender o que uma pessoa diz e respondê-la, também de uma forma que ela seja capaz de entender.
Porém, para que isso aconteça, um dos desafios é fazer com que essa tecnologia primeiro consiga ser capaz de captar as nuances e particularidades da linguagem humana e seus sistemas linguísticos, a fim de processá-la, organizá-la, estruturá-la e analisá-la. E esse é o foco da área de NLU. Portanto, como dissemos anteriormente, NLU é um pilar importante para que a NLP consiga chegar em seu objetivo final.
Como o NLU funciona?
Não existe uma abordagem ou sistema único de funcionamento do Entendimento de Linguagem Natural. Na verdade, existem diversas maneiras de estruturar um modelo para que isso aconteça. Porém, independentemente desses métodos, a grande maioria deles deverá ter alguns componentes principais. São eles:
- Um banco de dados envolvendo o conjunto de vocábulos de uma determinada língua (seu léxico);
- Um método de análise de estrutura da língua, ou seja, uma forma de analisar sintaticamente uma sentença;
- Um conjunto de regras gramaticais de determinada língua;
- Uma metodologia de compreensão semântica.
Com isso feito, uma tecnologia baseada em NLU deverá desvendar uma determinada inserção de linguagem (seja falada ou digitada) por meio de algoritmos, buscando chegar em conceitos básicos de compreensão e como esses conceitos se interligam. Para isso, a máquina precisará identificar dois tipos de informação:
INTENÇÃO: o modelo baseado em NLU precisará entender, por meio do que foi dito, qual sua intenção. Você quer buscar uma informação? Comprar algo? Pedir que uma ação seja realizada? Isso é especialmente importante no caso de mecanismos de busca, para que os resultados adequados sejam mostrados para a pessoa.
ENTIDADES: As entidades ajudam a máquina a entender o contexto por trás do que foi dito. Essas entidades podem ser duas:
- Nomes: entidades como nomes podem se referir a substantivos no geral, como pessoas, animais, objetos, localizações geográficas, etc.
- Números: geralmente relacionados a datas, horários, quantidades, valores, coordenadas, etc.
Com essas informações o software será capaz de comparar as informações com um vasto banco de dados. Nessa área entra o Machine Learning, afinal, isso somente será possível se a tecnologia já tiver sido propriamente treinada para reconhecer e categorizar o que foi dito pautado na lógica humana.
O seguinte passo seria apresentar o que foi encontrado ou performar uma ação baseando-se no que foi dito, de uma forma que a pessoa usuária seja capaz de compreender.
Quais as principais aplicações do NLU?
As aplicações do NLU (e, indiretamente, da NLP) são muito diversas. Elas podem auxiliar uma dúzia de setores que são impactados diretamente pela comunicação. Vamos ver algumas áreas que se beneficiam dessa atuação.
Mecanismos de busca
Apesar de não percebermos, o Entendimento de Linguagem Natural está presente em cada busca que fazemos em mecanismos de busca, como o Google. Afinal, o software precisa entender sobre o que estamos falando para trazer o melhor resultado. O avanço das pesquisas na área de NLU permitem que ferramentas como o Google consigam compreender ainda mais quais são nossas intenções com determinada busca, a ponto de até mesmo sugerir temas relacionados.
Atenção a clientes
Uma das atuações mais presentes do NLU atualmente no mercado está no atendimento de pessoas consumidoras. Graças a ele, é possível poupar muito tempo e recursos, proporcionando um atendimento melhor para clientes 24 horas por dia, sete dias na semana. No geral, NLU está envolvido no processo de:
- Reconhecer a exigência de uma pessoa consumidora, direcionando-a para o departamento correto;
- Responder a questões genéricas mais genéricas que não exigem a atenção de uma pessoa;
- Agendar consultas, reuniões, etc.
Tradução
Softwares de tradução de idiomas também se beneficiam dessa tecnologia. Com a detecção e compreensão da fala humana, é possível traduzir de maneira mais precisa uma determinada sentença, levando em consideração particularidades presentes na língua de pessoas nativas, como gírias e desvios da norma padrão.
Chatbots
NLU também é utilizado na construção de aplicações destinadas à interação entre ser humano e máquina. Exemplos de chatbots famosos são a Google Assistente, a Siri e a Alexa. Por meio dessas aplicações que são “secretárias” digitais, é possível realizar uma série de ações apenas por comando de voz.
Análise de sentimentos
Um dos grandes desafios da era digital é que grande parte da comunicação que se dá virtualmente é por meio de linguagem escrita. Só que, por conta da ausência dos elementos não verbais, muito do sentido se perde. O software que utiliza NLU pode ser treinado para reconhecer quando um comentário ou mensagem tem uma intenção escondida ou quando é sarcástico, por exemplo.
Interpretação textual
Ao conseguir analisar e compreender a linguagem humana, algumas ferramentas na edição de textos podem ser facilitadas. Uma delas é a interpretação e análise. Por meio da NLU, é possível pedir para um software analisar determinado documento, resumi-lo e entregar somente os pontos realmente importantes.
Quais as diferenças entre NLU e NLG?
NLG é uma sigla que compreende o termo Natural Language Generation, ou Geração de Linguagem Natural. Juntamente com NLU, ambas formam dois dos principais pilares do NLP.
Se pensarmos que NLU significa a metodologia pelo qual uma máquina consiga ser capaz de apreender a linguagem humana e toda sua faceta, devemos presumir que deva existir outra área responsável por fazer com que essa máquina seja capaz de responder, ou seja, traduzir a informação em si para a linguagem da pessoa usuária de uma forma que ela seja capaz de compreender.
Esse outro lado é a NLG. Ou seja, NLU e NLG trabalham em conjunto. Essa última é importante para que o resultado esperado pela pessoa usuária seja entregue de uma forma que imite a maneira humana de falar, fazendo com que pareça que há outra pessoa do outro lado da tela se comunicando com ela. Porém, isso somente é possível se, anteriormente, a inserção de um comando ou intenção tenha sido devidamente entendida e processada.
Quais as vantagens de usar NLU na sua empresa?
Diversas empresas estão incluindo NLP, NLU e NLG como ferramentas para aumentar a produtividade de determinadas áreas de setores. Geralmente, a grande aplicação de NLU está na área de atendimento às pessoas consumidoras, em que é possível tornar esse processo menos burocrático e entregar uma melhor experiência.
Uma das grandes vantagens nessa tecnologia é que ela permite a utilização humana somente quando realmente necessário, poupando recursos econômicos e tempo. Com NLU, é possível criar chatbots de atendimento que respondem a perguntas básicas e mais frequentes, liberando as linhas de atendimento para situações que realmente precisam de uma atenção especializada.
Além disso, esse entendimento ainda auxilia na coleta de feedbacks e dados que poderão auxiliar na encontrar novas oportunidades e dar insights sobre a visão da empresa no mercado. Afinal, é mais fácil conseguir opiniões a partir de algo que se assemelhe à comunicação humana do que a partir de formulários e enquetes.
Quais os principais desafios de usar NLU na sua empresa?
Os desafios da utilização de NLU em uma empresa são semelhantes aos de aplicar Machine Learning, já que é uma área correlacionada. Esses desafios são:
- São necessários muitos dados para treinar um software responsável por essa área;
- Pode ser difícil diferenciar informações sensíveis de não sensíveis;
- Essa área exige espaço para muitos testes e experimentações;
- Pode levar algum tempo até que a implementação seja de fato feita;
- Será necessário uma equipe especializada em Data Science, o que pode não ser tão barato para empresas pequenas ou recentes no mercado.
Exemplo de uso do NLU na prática!
Já mostramos, em tópicos acima, como funciona no geral uma aplicação que utiliza NLU. Nesse tópico, vamos demonstrar com um exemplo prático como isso aconteceria caso você estivesse usando uma aplicação.
É importante ter em mente que quebramos em passos simples para que fique mais didática a compreensão de como a aplicação funciona de uma maneira geral. No entanto, a forma como o NLU funcionará dependerá de cada algoritmo, podendo não ser exatamente dessa forma e nem nesses passos em específico, afinal, muitos deles podem ocorrer inclusive simultaneamente.
PASSO 1: A REQUISIÇÃO
Nesse passo, haverá o input ou a inserção de dados na aplicação. Isso significa que você proporcionará uma sentença para tal software com uma determinada intenção.
No nosso exemplo, vamos considerar um software que seja assistente virtual. Tal software utiliza reconhecimento de voz, ou seja, o input será uma frase oral. Vamos supor que alguém tenha dito ao software:
“Como posso aprender programação rápido?”
Pode parecer fácil, mas aqui já existe um grande trabalho. Linguisticamente, quando falamos, não cumprimos com as mesmas regras do sistema do que quando escrevemos. As letras que constituem uma palavra não são exatamente correspondentes aos sons (fones) que executamos quando falamos. A máquina reconheceria algo como:
“comu póssaprender programaçãu rápidu?”
Veja, com isso, que não falamos como escrevemos. O som ao final de palavras são mais fracos, próximos ao som de um “u”, enquanto palavras que terminam e começam com vogais podem acabar se juntando e formando um grande bloco de som.
A máquina, portanto, terá o desafio de comparar o som com os léxicos apresentados, deduzir como quebrar blocos em léxicos diferentes, compreender onde começa uma palavra e termina outra, além de compreender quando a pessoa começou a falar e quando ela terminou.
PASSO 2: COLOCANDO A LINGUAGEM EM CONTEXTO
Logo depois, o que a aplicação precisará fazer é compreender qual é a intenção por trás do pedido. Logo, haverá uma análise semântica do que foi dito. Isso significa que, por meio dos elementos da frase, ela tentará extrair um sentido. Para isso, ela identificará quais desses elementos são entidades que podem dar pistas sobre o contexto.
No nosso exemplo, a palavra “programação” indica que a pessoa possivelmente está procurando informações sobre esse conceito. Por meio da lógica do algoritmo, isso ajudará a colocar a aplicação no caminho certo para decifrar a sentença.
PASSO 3: ANÁLISE SINTÁTICA
A aplicação tentará analisar a fundo cada elemento do que foi dito, após ter reconhecido e analisado o contexto geral. Ela usará informações nas quais ela já tem conhecimento para comparar a sentença e, por meio de uma lógica, deduzirá a função sintática de cada elemento. Então, ela terá algo como:
- Como [Cumpre com função de advérbio, e, quando usado no início geralmente trata-se de uma pergunta, logo, possivelmente a intenção é receber uma determinada informação]
- posso [verbo. Na sentença em questão, vem antes de outro verbo, logo, possivelmente cumpre função de auxiliar.]
- aprender [verbo principal da oração. Indica que a pessoa busca alguma informação sobre algo.]
- programação [entidade central. É sobre o que a pessoa usuária quer saber;]
- rápido [adjetivo. Qualifica algo na sentença]
Após essa análise e a comparação com as informações disponíveis, a aplicação será capaz de compreender que a intenção da pessoa é “aprender programação rápido”. Com isso, ela realizará a ação de usar essas palavras-chave em um mecanismo de busca. Ainda, a aplicação deverá realizar mais uma vez o processo de NLU para interpretar e sumarizar a informação do resultado da pesquisa encontrada, entregando uma resposta que seja coerente com o que foi perguntado pela pessoa usuária.
PASSO 4: NLG
Em tese, a NLU termina no passo anterior. Afinal, a aplicação já terá reconhecido o que foi dito e chego a uma conclusão. Dessa forma, ela fará uma transição para um sistema de Geração de Linguagem Natural, em que ela, por exemplo, simulará os sons realizados pela voz humana, gerando uma resposta a partir dos resultados da pesquisa que ela encontrou.
Quais os principais serviços de NLU?
Algumas das grandes corporações da área de tecnologia já começaram a trabalhar em serviços que envolvem NLP, NLU e NLG. Grande parte deles já está disponível para a contratação e implementação. Alguns dos serviços principais são:
IBM Watson
Watson é um sistema de reconhecimento e processamento de linguagem natural desenvolvido pela empresa IBM que inicialmente se tornou bastante famoso por participar do programa de televisão de perguntas e respostas Jeopardy!, ganhando o prêmio final contra antigos participantes do show.
Atualmente, a tecnologia se converteu em um modelo de Inteligência Artificial para gerenciamento de empresas, auxiliando na gestão, na predição de resultados, no processamento de dados não estruturados e influenciando na tomada de decisões.
LUIS
LUIS é um modelo de NLP criado pela Microsoft que permite que empresas e pessoas desenvolvedoras possam criar seu próprio modelo, até mesmo aquelas que não têm experiência em Machine Learning. Pontos positivos desse serviço são as funcionalidades internas que permitem um desenvolvimento mais simples, a disponibilização de uma rede segura para dados e a possibilidade de revisar e melhorar modelos mesmo após tê-los finalizado.
O NLU é uma das tecnologias disruptivas que abrangem áreas multidisciplinares, como Linguística e Inteligência Artificial. Quanto mais nos aproximarmos do conhecimento de como nosso cérebro funciona no processamento da linguagem, melhorar poderão ser nossos modelos.
Os limites para a utilização do NLU no futuro ainda são incertas, devido à grande proporção de questões que essa tecnologia viabiliza. Talvez, em alguns anos, ele possa ser utilizada para questões ainda mais abrangentes, como enviar mensagens por conta própria, gerenciar processos mais complexos e até mesmo responder a comentários e mensagens em redes sociais!
Gostou de aprender sobre NLU? Continue se aperfeiçoando e conhecendo tecnologias disruptivas aprendendo agora um pouco sobre Internet das coisas, área que se beneficia bastante da tecnologia de NLU!
