#030 Large Language Models für finanzielle Anforderungen
Sprachmodelle für finanzielle Anwendungen haben wir besondere Herausforderungen. In diesem Artikel wollen wir diese kurz vorstellen und verschiedene Optionen benennen.
Sprachmodelle für finanzielle Anwendungen haben wir besondere Herausforderungen. In diesem Artikel wollen wir diese kurz vorstellen und verschiedene Optionen benennen.
Einsatzmöglichkeiten für Finanzmodelle sind unter anderem:
- Portfolioanalyse
- Risikoanalyse
- Betrugserkennung
- Vorhersagen für Kursentwicklung
- Benchmarking
- Kreditausfallanalyse
- Kontenanalysen
Herausforderungen für Finanz-LLMs
Ein “normales” LLM wird in der Regel einmalig trainiert un besteht dann. Das sich ständige wandelnde Marktumfeld in der Finanzbranche bringt dabei neue Herausforderungen mit sich. Laut dem Artikel “FinGPT: open-source LLM for finance” sind diese besonderen Herausforderung für Finanzmodelle u.a.:
- Hohe zeitliche Sensitivität. Der Markt und die Investorenstimmung ändern sich sehr schnell, was nur ein sehr begrenztes Zeitfenster für Entscheidungen lässt.
- Hohe Dynamik, der Markt und die Nachrichten ändern sich ständig (was es schwierig macht, ein Modell zu erstellen und teuer wäre, es regelmäßig neu zu trainieren).
- Niedriges Signal-Rausch-Verhältnis (SNR). bedeutet, dass es nur wenige Nachrichten gibt, die wirklich relevant sind, und der Großteil davon nur Rauschen ist (was es jedoch schwierig macht, relevante Informationen aus dem Modell zu extrahieren).
Finanzmodelle
Für den Einsatz in der Finanzbranche wurden dedizierte Large Language Models trainiert. Beispiele dafür sind das proprietäre BloombergGPT und das Open Source Model FinGPT:
BloombergGPT:
BloombergGPT ist ein Sprachmodell mit 50 Milliarden Parametern, das auf einer breiten Palette von Finanzdaten trainiert wurde. Der Token-Satz in der Größe von 363 Milliarden wurde auf Basis von Bloombergs umfangreichen Datenquellen erstellt. BloombergGPT wurde anhand von standardisierten LLM-Benchmarks, offenen Finanz-Benchmarks und einer Reihe interner Benchmarks validiert.
FinGPT: Open-Source Financial Large Language Model
FinGPT ist ein weiteres Large Language Model für den Finanzsektor, das jedoch Open Source ist. Durch gemeinsame Anstrengungen innerhalb der Open-Source-AI4Finance-Community zielt FinGPT darauf ab, Finanz LLMs zu demokratisieren und neue Möglichkeiten im Bereich Open Finance zu erschließen.
Zusammenfassung
Zusammenfassend lässt sich sagen, dass Modelle und Herausforderungen zukünftig hauptsächlich von spezialisierten Anbietern bereitgestellt werden, da die Komplexität als sehr hoch einzuschätzen ist. Die Auswahl des Modells sowie das fortlaufende Training und Feintuning stellen eine technische Herausforderung dar. Im täglichen Arbeitsumfeld können kontextbezogene Prompts nur durch eine tiefe Systemintegration sinnvoll eingesetzt werden.
Links
https://levelup.gitconnected.com/fingpt-open-source-llm-for-finance-e8ec10d0bf40
https://arxiv.org/abs/2303.17564
https://huggingface.co/docs/transformers/model_doc/bloom