Erstellen Sie in 5 Minuten ein KI-Frage- und Antwortsystem auf Unternehmensebene: Beginnen Sie mit der reinen Open-Source-Lösung FastGPT

(0 comments)

Im heutigen digitalen Zeitalter wächst die Nachfrage von Unternehmen nach intelligenten Diensten von Tag zu Tag und Anwendungsszenarien wie KI-Kundenservice und Händlerwissen-Fragen und -Antworten werden immer häufiger. Viele Freunde haben mir berichtet, dass sie ein ähnliches Frage- und Antwortsystem innerhalb des Unternehmens aufbauen müssen, in der Hoffnung, Open-Source-Lösungen zu finden und zu verstehen, wie man diese in vorhandenen Code integriert. In diesem Video zeige ich Ihnen, wie Sie mit dem Open-Source-Framework FastGPT ein unternehmensinternes Frage- und Antwortsystem für Wissen implementieren. Tatsächlich ist der Prozess nicht kompliziert, werfen wir einen Blick darauf.

FastGPT-Framework-Analyse

FastGPT ist ein Wissensdatenbank-Frage- und Antwortsystem, das auf dem großen LLM-Sprachmodell basiert und über viele praktische Funktionen verfügt. Es bietet nicht nur sofort einsatzbereite Datenverarbeitungs- und Modellaufruffunktionen, sondern führt auch eine Workflow-Orchestrierung durch Prozessvisualisierung durch, um komplexe Frage- und Antwortszenarien zu realisieren. Aus dem Architekturdiagramm geht hervor, dass die linke Seite für die Kerndaten- und Vektordatenspeicherung verantwortlich ist. Das Modell-Gateway wird über eine API in der Mitte erstellt. Der untere Teil kann verschiedene große Modelle verbinden, und sogar lokal bereitgestellte Open-Source-Großmodelle können verwendet werden. Die Auswahl ist sehr reichhaltig.

Systembereitstellungsprozess

Serverauswahl

Aufgrund des hohen Bedarfs an GPU-Ressourcen für große Modelloperationen kann die Frage- und Antwortantwort bei Verwendung einer reinen CPU mehr als eine Minute dauern. Daher habe ich mich dieses Mal für einen GPU-First-Server entschieden und die GPUEZ-Intelligent-Computing-Cloud-Plattform verwendet. Auf dieser Plattform mieten wir bei Bedarf eine Instanz mit 48G Videospeicher. Da es sich um ein Demoprojekt handelt, habe ich mich für die Bezahlung nach Bedarf entschieden, es für eine Stunde gemietet und das Basisbild angegeben. Für wissenschaftliche Forschung und Erkundung im Zusammenhang mit maschinellem Lernen und künstlicher Intelligenz ist die Plattform sehr benutzerfreundlich. Nachdem die Instanz ausgeführt wurde, werden sowohl die SSH-Verbindung als auch der Jupiter Lab-Modus unterstützt. Wählen Sie nach der Eingabe das Terminal aus, ähnlich wie bei der SSH-Anmeldekonsole. Sie können LINUX-Befehle eingeben und Feedback erhalten.

FastGPT-Installation

Um FastGPT zu installieren, verwenden wir die Docker-Compose-Methode, die für LINUX-, Mac OSX- und Windows-Systeme geeignet ist. Der Vorgang ist einfach und kann als „hirnlose Installation“ bezeichnet werden. Die einzige erforderliche Konfiguration ist der Modellzugriff auf eine einzelne API-Plattform. Am Beispiel des Zugangs zu einem großen inländischen Gemeinwohlmodell ist es nicht schwierig, den von FastGPT bereitgestellten Dokumenten zu folgen.

Wissensdatenbank aufbauen

  1. Konfigurieren Sie den Proxy und erstellen Sie eine neue Wissensdatenbank : Konfigurieren Sie den Proxy-Port in der Intelligent Computing Cloud und erhalten Sie den Proxy-Link für den Zugriff. Klicken Sie nach dem Aufrufen des Systems links auf „Neue Wissensdatenbank“, wählen Sie die standardmäßige allgemeine Wissensdatenbank aus, wählen Sie einen leicht zu merkenden Namen und behalten Sie die anderen als Standard bei.
  2. Konfigurationsdatensatz : Unterstützt den Import von Word-, PDF- und statischen Website-Inhalten und kann auch handschriftliche Inhalte anpassen. Wählen Sie den lokalen Datei-Upload. Wenn Sie mehrere Dateien haben, können Sie diese mehrmals hochladen. Nach dem Hochladen können Sie die Segmentierungs- und Abrufeffekte testen. Dank der GPU ist die Reaktionsfähigkeit sehr schnell, im Gegensatz zur Trägheit früherer CPU-Tests.
  3. Fügen Sie der Wissensdatenbank eine Anwendungs-Shell hinzu : Klicken Sie auf Workbench, um eine neue Anwendung zu erstellen, geben Sie ihr einen Namen und behalten Sie andere Standardeinstellungen bei. Schreiben Sie als Nächstes das Aufforderungswort. Basierend auf dem Umfang der derzeit online genutzten Wissensdatenbank habe ich für alle prompte Wortvorlagen vorbereitet. Sie können sie nach Bedarf anpassen. Geben Sie Fragen ein, um die Antwortgeschwindigkeit und den Antworteffekt zu testen. Das Gesamterlebnis ist gut.

Systemintegrationsmethode

  1. Seiteneinbettung : FastGPT bietet ein anmeldefreies Fenster, das direkt im Browser geöffnet oder über die IFRAME-Komponente in die Seite eingebettet werden kann. Kopieren Sie den spezifischen Code auf die vorhandene Seite. In der unteren rechten Ecke wird ein schwebendes Symbol angezeigt. Es ist sehr praktisch, mit nur einem Klick ein Gespräch zu beginnen.
  2. Code-Integration : Wenn Sie weitere Anpassungen benötigen, können Sie die Code-Integration verwenden. Erstellen Sie zunächst einen neuen API-Schlüssel für die Authentifizierung der Schnittstelleninteraktion. Leider stellt FastGPT keine Codebeispiele oder SDKs zur Verfügung, sondern nur Beispiele für Curl-Befehle. Wir können den Curl-Befehl über eine bestimmte Website in Java-Code konvertieren, ihn nach IDA kopieren und ausführen. Der Zugriffseffekt ist gut und die Geschwindigkeit ist hoch.

Vorteile der intelligenten Computing-Cloud-Plattform GPUEZ

Die diesmal verwendete GPUEZ-Intelligent-Computing-Cloud-Plattform bietet eine hervorragende Erfahrung. Es unterstützt Pay-as-you-go, flexibel und praktisch; große Einzelkarten-Videospeicher wie 32G und 48G sind auf anderen Plattformen selten, es bietet eine vorinstallierte Umgebung und selbst erstellte Bilder können gespeichert und wiederverwendet werden; Es verfügt über einen umfangreichen Satz an maschinellen Lern- und Modelltrainingsdaten. Es ist eine große Hilfe für die wissenschaftliche Forschung und Erforschung. Die Plattform arbeitet mit Lehrkräften und Studierenden vieler Universitäten im ganzen Land sowie Forschern wissenschaftlicher Forschungseinrichtungen zusammen und ist daher sicher, stabil und garantiert. Registrieren Sie sich jetzt, um eine Testprämie von 5 Yuan und einen Verbrauchsrabatt von 20 % zu erhalten. Der Link wurde im Kommentarbereich platziert. Freunde, die Rechenleistung mieten möchten, möchten es vielleicht einmal ausprobieren.

Durch die oben genannten Schritte haben wir gelernt, mit FastGPT ein internes Wissensdatenbank-Frage- und Antwortsystem für das Unternehmen aufzubauen. Der gesamte Prozess ist einfach und leicht zu verstehen. Ich hoffe, dass jeder versuchen kann, sein eigenes KI-Frage- und Antwortsystem auf Unternehmensebene aufzubauen. Wenn Sie Fragen oder Ideen haben, hinterlassen Sie bitte eine Nachricht im Kommentarbereich zum Teilen. Wir sehen uns im nächsten Video!

Derzeit nicht bewertet

Kommentare


Derzeit liegen keine Kommentare vor

Bitte melden Sie sich an, bevor Sie kommentieren: Login

kürzliche Posts

Archiv

2025
2024
2023
2022
2021
2020

Kategorien

Stichworte

Autoren

Einspeisungen

RSS / Atom