Intelligente Lösungen
in neuer Dimension

FastChat - Erste Experimente

Hier beschreibe ich meine ersten Startversuche mit FastChat. Dabei handelt es sich um so eine Art ChatGPT. Wirklich brauchbar ist das für mich aktuell noch nicht, die Geschwindigkeit ist sehr langsam und die Antwortqualität ist auch nicht super!

Getestet unter Ubuntu-20.04 ohne spezielle Hardware. Viel Hauptspeicher ist notwendig, grob 30GB Hauptspeicher und 20GB Plattenplatz!

Plattenbereich einrichten

1

mkdir /data/FastChat

Repo clonen

1
2

cd /data/FastChat
git clone https://github.com/lm-sys/FastChat.git

Pfade umbiegen

1
2
3
4
5
6

OLD_HOME="${HOME}"
HOME=/data/FastChat/home-uli
export HOME
mkdir -p "${HOME}
PATH="$(echo "${PATH}"|sed -e "s,${OLD_HOME},${HOME},g")"
export PATH

PIP3 installieren und aktualisieren

1
2

sudo apt install python3-pip
pip3 install --upgrade pip

FastChat-Pakete installieren

1
2
3
4

cd /data/FastChat/FastChat
pip install -e ".[model_worker,webui]"
  # ... lädt sehr viele und sehr große Dateien herunter
  # $HOME/.cache

FastChat starten und testen

1
2
3
4
5
6
7
8
9
10
11
12
13

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5  --device cpu
  # ... lädt sehr viele und sehr große Dateien herunter
  # $HOME/.cache und .local
...
USER: Was gibt es tolles in Stuttgart?
ASSISTANT: Es gibt viele tolle Sehenswürdigkeiten in Stuttgart! Hier sind einige Vorschläge:
1. Schlossplatz: Dieser Platz ist der zentrale Platz der Stadt und birgt viele historische Gebäude wie das Schloss, die Kathedrale und das Rathaus.
2. Mercedes-Benz Museum: Das Museum befindet sich am Wilhelmsplatz und zeigt die Geschichte des Automobils von den Anfängen bis zur Gegenwart.
3. Porsche Museum: Das Porsche Museum befindet sich ebenfalls am Wilhelmsplatz und zeigt die Geschichte des renommierten Automobilherstellers Porsche.
4. Cannstatter Wasen: Dieses Volksfest, das alljährlich im September stattfindet, ist das größte Volksfest in Deutschland und zieht viele Besucher an.
5. Wilhelma: Das Zoologisch-Botanische Museum ist ein musterseitses Museum, das die Tier- und Pflanzenwelt der Welt beherbergt.
Ich hoffe, diese Vorschläge helfen Ihnen bei Ihrer Planung für Ihren Besuch in Stuttgart.
USER:

Probleme

AttributeError: module ‘google.protobuf.descriptor’ has no attribute ‘_internal_create_key’

Fehlermeldung erscheint beim Start von FastChat. Abhilfe: pip install --upgrade protobuf

Links

Historie

  • 2023-12-19 – Erste Version