Na era digital de hoje, a demanda das empresas por serviços inteligentes está crescendo dia a dia, e cenários de aplicativos como atendimento ao cliente de IA e perguntas e respostas sobre conhecimento do comerciante estão se tornando cada vez mais comuns. Muitos amigos me relataram que precisam construir um sistema semelhante de perguntas e respostas dentro da empresa, na esperança de encontrar soluções de código aberto e entender como integrá-las ao código existente. Neste vídeo, vou orientá-lo a usar a estrutura de código aberto FastGPT para implementar um sistema de perguntas e respostas de conhecimento interno da empresa. Na verdade o processo não é complicado, vamos dar uma olhada.
FastGPT é um sistema de perguntas e respostas de base de conhecimento baseado no modelo de linguagem grande LLM e tem muitas funções práticas. Ele não apenas fornece processamento de dados pronto para uso e funções de chamada de modelo, mas também executa orquestração de fluxo de trabalho por meio da visualização de processos para realizar cenários complexos de perguntas e respostas. No diagrama de arquitetura, o lado esquerdo é responsável pelos dados principais e armazenamento de dados vetoriais. O gateway do modelo é construído por meio de uma API intermediária. A parte inferior pode conectar vários modelos grandes, e até mesmo modelos grandes de código aberto implantados localmente podem ser usados. A seleção é muito rica.
Devido à alta demanda por recursos de GPU para operações de modelos grandes, se uma CPU pura for usada, a resposta às perguntas e respostas poderá levar mais de um minuto. Portanto, desta vez escolhi um servidor GPU-first e usei a plataforma de computação em nuvem inteligente GPUEZ. Nesta plataforma alugamos uma instância com 48G de memória de vídeo sob demanda. Por se tratar de um projeto de demonstração, optei por pagar conforme o uso, alugá-lo por uma hora e especificar a imagem base. Para pesquisa e exploração científica relacionadas ao aprendizado de máquina e inteligência artificial, a plataforma é muito conveniente de usar. Depois que a instância estiver em execução, a conexão SSH e o modo Jupiter Lab serão suportados. Após entrar, selecione terminal, semelhante ao console de login SSH. Você pode inserir comandos LINUX e obter feedback.
Para instalar o FastGPT, usamos o método docker compose, que é adequado para sistemas LINUX, Mac OSX e Windows. A operação é simples e pode ser chamada de “instalação sem cérebro”. A única configuração necessária é o acesso do modelo a uma única plataforma de API. Tomando como exemplo o acesso a um grande modelo de bem-estar público nacional, não é difícil acompanhar os documentos fornecidos pela FastGPT.
A plataforma de computação em nuvem inteligente GPUEZ usada desta vez oferece uma excelente experiência. Ele suporta pagamento conforme o uso, flexível e conveniente; grande memória de vídeo de cartão único, como 32G e 48G, é rara em outras plataformas; fornece um ambiente pré-instalado e imagens feitas por você mesmo podem ser salvas e reutilizadas; ele possui um rico conjunto de dados de aprendizado de máquina e treinamento de modelo. É de grande ajuda para a pesquisa e exploração científica. A plataforma coopera com professores e estudantes de diversas universidades de todo o país e investigadores de instituições de investigação científica, por isso é segura, estável e garantida. Registre-se agora para obter uma recompensa de teste de 5 yuans e um desconto de consumo de 20%. O link foi colocado na seção de comentários. Amigos que precisam de aluguel de poder de computação podem tentar.
Por meio das etapas acima, aprendemos a usar FastGPT para construir um sistema interno de perguntas e respostas de base de conhecimento para a empresa. Todo o processo é simples e fácil de entender. Espero que todos possam tentar construir seu próprio sistema de perguntas e respostas de IA de nível empresarial. Se você tiver alguma dúvida ou ideia, deixe uma mensagem na área de comentários para compartilhar. Vejo você no próximo vídeo!
Compartilhar no Twitter Compartilhar no Facebook
Comentários
Atualmente não há comentários