Crie um sistema de perguntas e respostas de IA de nível empresarial em 5 minutos: comece com a solução FastGPT de código aberto puro

(0 comments)

Na era digital de hoje, a demanda das empresas por serviços inteligentes está crescendo dia a dia, e cenários de aplicativos como atendimento ao cliente de IA e perguntas e respostas sobre conhecimento do comerciante estão se tornando cada vez mais comuns. Muitos amigos me relataram que precisam construir um sistema semelhante de perguntas e respostas dentro da empresa, na esperança de encontrar soluções de código aberto e entender como integrá-las ao código existente. Neste vídeo, vou orientá-lo a usar a estrutura de código aberto FastGPT para implementar um sistema de perguntas e respostas de conhecimento interno da empresa. Na verdade o processo não é complicado, vamos dar uma olhada.

Análise da estrutura FastGPT

FastGPT é um sistema de perguntas e respostas de base de conhecimento baseado no modelo de linguagem grande LLM e tem muitas funções práticas. Ele não apenas fornece processamento de dados pronto para uso e funções de chamada de modelo, mas também executa orquestração de fluxo de trabalho por meio da visualização de processos para realizar cenários complexos de perguntas e respostas. No diagrama de arquitetura, o lado esquerdo é responsável pelos dados principais e armazenamento de dados vetoriais. O gateway do modelo é construído por meio de uma API intermediária. A parte inferior pode conectar vários modelos grandes, e até mesmo modelos grandes de código aberto implantados localmente podem ser usados. A seleção é muito rica.

Processo de implantação do sistema

Seleção de servidor

Devido à alta demanda por recursos de GPU para operações de modelos grandes, se uma CPU pura for usada, a resposta às perguntas e respostas poderá levar mais de um minuto. Portanto, desta vez escolhi um servidor GPU-first e usei a plataforma de computação em nuvem inteligente GPUEZ. Nesta plataforma alugamos uma instância com 48G de memória de vídeo sob demanda. Por se tratar de um projeto de demonstração, optei por pagar conforme o uso, alugá-lo por uma hora e especificar a imagem base. Para pesquisa e exploração científica relacionadas ao aprendizado de máquina e inteligência artificial, a plataforma é muito conveniente de usar. Depois que a instância estiver em execução, a conexão SSH e o modo Jupiter Lab serão suportados. Após entrar, selecione terminal, semelhante ao console de login SSH. Você pode inserir comandos LINUX e obter feedback.

Instalação FastGPT

Para instalar o FastGPT, usamos o método docker compose, que é adequado para sistemas LINUX, Mac OSX e Windows. A operação é simples e pode ser chamada de “instalação sem cérebro”. A única configuração necessária é o acesso do modelo a uma única plataforma de API. Tomando como exemplo o acesso a um grande modelo de bem-estar público nacional, não é difícil acompanhar os documentos fornecidos pela FastGPT.

Construir base de conhecimento

  1. Configure o proxy e crie uma nova base de conhecimento : Configure a porta do proxy na nuvem de computação inteligente e obtenha o link do proxy para acesso. Após entrar no sistema, clique em Nova Base de Conhecimento à esquerda, selecione a base de conhecimento geral padrão, escolha um nome que seja fácil de lembrar e mantenha os demais como padrão.
  2. Conjunto de dados de configuração : suporta Word, PDF, importação de conteúdo estático de site e também pode personalizar conteúdo manuscrito. Selecione upload de arquivo local. Se você tiver vários arquivos, poderá carregá-los várias vezes. Após o upload, você pode testar os efeitos de segmentação e recuperação. Graças à GPU, a capacidade de resposta é muito rápida, em contraste com a lentidão dos testes anteriores de CPU.
  3. Adicione um shell de aplicativo à base de conhecimento : Clique em Workbench para criar um novo aplicativo, dê um nome a ele e mantenha outras configurações padrão. Em seguida, escreva a palavra prompt. Preparei modelos de prompt de palavras para todos com base no escopo da base de conhecimento usada atualmente online. Você pode ajustá-los conforme necessário. Insira perguntas para testar a velocidade de resposta e o efeito da resposta. A experiência geral é boa.

Método de integração de sistema

  1. Incorporação de página : FastGPT fornece uma janela sem login que pode ser aberta diretamente no navegador ou incorporada na página por meio do componente IFRAME. Copie o código específico para a página existente e um ícone flutuante aparecerá no canto inferior direito. É muito conveniente iniciar uma conversa com apenas um clique.
  2. Integração de código : se precisar de mais personalização, você pode usar a integração de código. Primeiro, crie uma nova chave de API para autenticação de interação de interface. Infelizmente, FastGPT não fornece exemplos de código ou SDK, apenas exemplos de comandos curl. Podemos converter o comando curl em código java através de um site específico, copiá-lo para o IDA e executá-lo. O efeito de acesso é bom e a velocidade é rápida.

Vantagens da plataforma de computação em nuvem inteligente GPUEZ

A plataforma de computação em nuvem inteligente GPUEZ usada desta vez oferece uma excelente experiência. Ele suporta pagamento conforme o uso, flexível e conveniente; grande memória de vídeo de cartão único, como 32G e 48G, é rara em outras plataformas; fornece um ambiente pré-instalado e imagens feitas por você mesmo podem ser salvas e reutilizadas; ele possui um rico conjunto de dados de aprendizado de máquina e treinamento de modelo. É de grande ajuda para a pesquisa e exploração científica. A plataforma coopera com professores e estudantes de diversas universidades de todo o país e investigadores de instituições de investigação científica, por isso é segura, estável e garantida. Registre-se agora para obter uma recompensa de teste de 5 yuans e um desconto de consumo de 20%. O link foi colocado na seção de comentários. Amigos que precisam de aluguel de poder de computação podem tentar.

Por meio das etapas acima, aprendemos a usar FastGPT para construir um sistema interno de perguntas e respostas de base de conhecimento para a empresa. Todo o processo é simples e fácil de entender. Espero que todos possam tentar construir seu próprio sistema de perguntas e respostas de IA de nível empresarial. Se você tiver alguma dúvida ou ideia, deixe uma mensagem na área de comentários para compartilhar. Vejo você no próximo vídeo!

Atualmente sem classificação

Comentários


Atualmente não há comentários

Faça login antes de comentar: Entrar

Postagens recentes

Arquivo

2025
2024
2023
2022
2021
2020

Categorias

Tag

Autores

Feeds

RSS / Átomo