Neste case, vamos explorar como a nossa prova de conceito superou barreiras linguísticas, tecnológicas e de complexidade, abrindo um novo caminho para a eficiência e a acessibilidade no manuseio de contratos.
A gestão de contratos é um verdadeiro desafio. Em um cenário em que um simples documento pode abranger centenas de páginas, em diferentes idiomas, a tarefa de encontrar informações específicas torna-se não apenas tediosa, mas também propensa a erros.
E se pudéssemos utilizar as mais modernas tecnologias para conversar com os contratos?
A ideia parece simples. Mas a execução exigiu muita inovação e tecnologia de ponta.
Nosso objetivo era claro: criar um chatbot que permitisse aos usuários extrair informações de contratos de maneira rápida, precisa e, acima de tudo, intuitiva.
A ferramenta que desenvolvemos não apenas facilita a localização de dados relevantes em contratos extensos, mas também supera barreiras linguísticas, tornando a interpretação de documentos em diferentes idiomas algo descomplicado e acessível.
Acompanhe a seguir detalhes deste projeto.
O Poder das Large Language Models
(LLMs) na Interpretação de Contratos
As LLMs são sistemas de inteligência artificial avançados, treinados em enormes conjuntos de dados textuais, capazes de entender e gerar linguagem humana de maneira natural e precisa. Adotando uma LLM em nossa solução, oferecemos aos usuários uma ferramenta poderosa, que não só entende e sintetiza informações de contratos, mas também facilita a interação com esses documentos de forma intuitiva e eficaz – e em seu idioma nativo.
Apesar das vantagens significativas das LLMs, ainda existem desafios significativos ao trabalhar com elas, especialmente em cenários com um grande volume de documentos.
Principais Desafios
Inicialmente, o sistema identifica palavras-chave e conceitos relevantes contidos no prompt. Estes são buscados na base de vetores por segmentos de contratos que tenham uma relação semântica com a consulta, identificando semelhanças e conexões entre eles.
Recuperação de conjunto de segmentos que aparentam ter a maior relevância para a pergunta. Etapa fundamental, já que é necessário restringir o número de documentos retornados devido às restrições computacionais.
O MMR, Maximal Marginal Relevance, é uma técnica que aprimora a seleção de documentos, equilibrando relevância e diversidade. Ao escolher segmentos de contratos, o MMR busca não só a pertinência ao assunto, mas também a unicidade entre os documentos selecionados. Isso minimiza a perda de informações importantes, reduz o viés de seleção e diminui redundâncias.
Com a pergunta e o contexto (o conjunto de trechos pertinentes do contrato) em mãos, o ChatGPT processa essa informação. Graças ao seu treinamento avançado em linguagem natural e capacidade de entender e gerar texto, o ChatGPT analisa o contexto fornecido, relaciona-o com a pergunta e trabalha para gerar uma resposta baseada no contrato.
O resultado é uma resposta gerada pelo agente que não apenas responde à pergunta feita, mas o faz com um entendimento profundo e específico do contexto fornecido pelos documentos contratuais, evitando problemas graves como a perda de informações relevantes, o viés na seleção de conteúdo e a redundância de informações – sanados pela implementação da técnica de Maximal Marginal Relevance (MMR).
Python
GPT 4
PyPDF
LangChain
LLMs
IA
Maximal Marginal Relevance
Pinecone
Dados Vetoriais
Retrieval Augmented Generation