appricot’s diary

日々の勉強のメモ

LLM

Can ChatGPT Decipher Fedspeak? ==> 読後メモ

概要 こちらの論文を要約。FOMCのアナウンス文書を、ChatGPTを用いて、鳩派と鷹派に分類する論文。 papers.ssrn.com ChatGPTを用いたFOMC文書の分類 2010-2020年の間に実施されたFOMCのアナウンスを利用。FOMCは年8回。 そこからダンラムに500文を選び、Poli…

Can ChatGPT Forecast Stock Price Movements? ==> 読後メモ

概要 以下の論文を要約。 papers.ssrn.com ChatGPTで、株価を予測。 各News headlineに対して、企業の株価の観点でPositive, Negative, Neutralというラベルを付与。この結果と、株価のDaily Returnに相関があることを確認。 ChatGPTによる結果は、既存のSen…

LoRA: Low-Rank Adaptation of Large Language Models ==> 読後メモ

論文 arxiv.org 目的 いかに、少ないメモリー量・計算量で、LLMを各問題に特化させるか? 先行研究(LLMを各問題に特化させる方法) Fine-Tunning (FT):全てのパラメータを問題に合わせて微調整。 Parameter-Effecient Fine Tunning (PEFT): Adapter:問題…

Quants-GAN ==> 読後メモ

論文 arxiv.org GANとは GeneratorとDiscriminatorの2モデルを定義 Generatorは、模擬しようとしているデータを生成 Discriminatorは、来たデータが、Generatorによるデータか、本物のデータか判別。 この論文の目的 Asset return(今日の終値と昨日の終値の…

金融系に特化したLLM

金融系に特化したLLMとして、FinGPTとBloombergGPTがある。両者について、メモ。 FinGPTの特徴 arxiv.org Pre-trained model(LLM)は、既製品を利用。具体的にはMetaによるLLaMAなど。 BloombergGPTは、LLMの部分も、金融データを使って自前でやっている。そ…