appricot’s diary

日々の勉強のメモ

投資における為替ヘッジの影響

概要 昨今、円安によって、海外資産が購入しづらい。このまま円安が続けばよいが、将来的に円高に触れる可能性も考えると、為替ヘッジしたくなる。 では、為替ヘッジの影響がどれぐらいなのか?を調査。調査日は2023年9月30日。日米間の場合、両国の金利差が…

Can ChatGPT Decipher Fedspeak? ==> 読後メモ

概要 こちらの論文を要約。FOMCのアナウンス文書を、ChatGPTを用いて、鳩派と鷹派に分類する論文。 papers.ssrn.com ChatGPTを用いたFOMC文書の分類 2010-2020年の間に実施されたFOMCのアナウンスを利用。FOMCは年8回。 そこからダンラムに500文を選び、Poli…

Can ChatGPT Forecast Stock Price Movements? ==> 読後メモ

概要 以下の論文を要約。 papers.ssrn.com ChatGPTで、株価を予測。 各News headlineに対して、企業の株価の観点でPositive, Negative, Neutralというラベルを付与。この結果と、株価のDaily Returnに相関があることを確認。 ChatGPTによる結果は、既存のSen…

Model Cards for Model Reporting

論文 arxiv.org Machine Learningモデルについて、どのようなドキュメントを残すべきか?を扱った論文。論文を執筆したのはGoogle所属のひとたち。 概要 MLモデルについて、そのパフォーマンス等を共有するための共通のドキュメンテーションフォーマットがな…

Offline Evaluation to Make Decision About Playlist Recommendations Algorithms ==> 読後メモ

論文 https://pchandar.github.io/files/papers/Gruson2019.pdf Spotifyの中の人による、オフラインでのレコメンドエンジン評価方法に関する論文。 Off-policy Evaluationの実例を勉強したいな・・と思い、選択。 背景 オフライン評価の問題点は、オンライン…

Causal Effect Estimation: Recent advances, Challenges, and Opportunities ==> 読後メモ

論文 2023年にPublishされたCausal effect estimationにおけるサーベイ論文を、以下要約。主に、今現在、研究課題となっている部分を中心にPick-up。 arxiv.org 用語の整理 Confounder (交絡因子): TreatmentとOutcomeの両方に影響を与える変数 Counterfactu…

Generating synthetic data in finance: opportunities, challenges and pitfalls ==> 読後メモ

論文 https://www.jpmorgan.com/content/dam/jpm/cib/complex/content/technology/ai-research-publications/pdf-8.pdf J. P. Morganから2020年に出ている論文を、以下、要約。プライバシー問題を回避するためのデータ生成技術についてサーベイした論文。 問…

Challenges And Opportunities In Media Mix Modeling ==> 読後メモ

論文 こちらの論文を要約。2017年にGoogle Researchが出したMMM (Media Mix Modeling)に関するサーベイ論文。 research.google MMM(Media Mix Modeling or Marketing Mix Modeling)とは 広告主が広告投資の効果を計測するためのモデル 時系列の集計データ…

To tune or note to tune? Adapting Pretrained Representations to Diverse tasks ==> 読後メモ

論文 こちらの論文の内容を、要約。 arxiv.org 概要 Tranfer Learningは、2つのStageから構成 Pre-training: 汎用的な入力データのRepresentationを学習 (例:単語のベクトル表現を学習) Adaptation: そのRepresentationを新たな問題に提供 (例:そのベクト…

NetflixにおけるQuasi Experimentation (準実験) ==> 読後メモ

元の記事 Netflixにおける準実験について書かれた記事を、要約。 Quasi Experimentation at Netflix. Colin McFarland, Michael Pow, Julia… | by Netflix Technology Blog | Netflix TechBlog Key Challenges with Quasi Experiments at Netflix | by Netfl…

Netflixにおける因果推論の利用例 ==> 読後メモ

Netflixにおける因果推論の利用例が、以下のBlog記事にまとめられていたので、内容を要約。因果推論の応用先(What)を知るのに役立つ記事。ただ、因果推論をどのように応用したか(How)の部分は、あまり語られておらず。。。以下、一部、文脈からの推測を含め…

Adapted Tree Boosting for Transfer Learning ==> 読後メモ

論文 arxiv.org 概要 Alipayでの不正検知に、Transfer Learning(転移学習)を適用。 通常、Transfer Learningといえば、ニューラルネットワークを用いたものが多いが、この論文では、XGBを利用。 Transfer Learningの分類 Instance based methods Source Doma…

LoRA: Low-Rank Adaptation of Large Language Models ==> 読後メモ

論文 arxiv.org 目的 いかに、少ないメモリー量・計算量で、LLMを各問題に特化させるか? 先行研究(LLMを各問題に特化させる方法) Fine-Tunning (FT):全てのパラメータを問題に合わせて微調整。 Parameter-Effecient Fine Tunning (PEFT): Adapter:問題…

Building a Credit Risk Model using Transfer Learning and Domain Adaptation ==> 読後メモ

Paper Title: Building a Credit Risk Model using Transfer Learning and Domain Adaptation Frontiers | Credit Risk Modeling Using Transfer Learning and Domain Adaptation Summary 概要 Transfer learningをCredit Scoringに応用 前提: Source Domai…

Quants-GAN ==> 読後メモ

論文 arxiv.org GANとは GeneratorとDiscriminatorの2モデルを定義 Generatorは、模擬しようとしているデータを生成 Discriminatorは、来たデータが、Generatorによるデータか、本物のデータか判別。 この論文の目的 Asset return(今日の終値と昨日の終値の…

TransBoost: A Boosting-Tree Kernel Transfer Learning Algorithm for Improving Financial Inclusion ==> 読後メモ

Paper Title: TransBoost: A Boosting-Tree Kernel Transfer Learning Algorithm for Improving Financial Inclusion [2112.02365] TransBoost: A Boosting-Tree Kernel Transfer Learning Algorithm for Improving Financial Inclusion Summary 概要 Gradie…

Learning Triggers for Heterogenous Treatment Effects ==> 読後メモ

Paper Learning Triggers for Heterogeneous Treatment Effects 概要 Causal Tree (https://arxiv.org/abs/1504.01132 , Athey and Imbens 2016)に対して、以下2つの改良を実施。 改良1: 介入が連続値で定義されても大丈夫なように改良。 通常のCausal Tree…

金融系に特化したLLM

金融系に特化したLLMとして、FinGPTとBloombergGPTがある。両者について、メモ。 FinGPTの特徴 arxiv.org Pre-trained model(LLM)は、既製品を利用。具体的にはMetaによるLLaMAなど。 BloombergGPTは、LLMの部分も、金融データを使って自前でやっている。そ…

Employing Explainable AI to Optimize the Return Target Function of a Loan Portfolio ==> 読後メモ

Paper www.frontiersin.org Preparation ローン審査で、Defaultするユーザを予測するモデルを考える。 False Positive Rate = ローンでDefault「しない」ユーザに占める、Default「する」と予測されたユーザの割合。誤陽性とも呼ぶ。低いほどよい。 True Pos…

The Science of Pricing Experimentation at Amazon ==> 読後メモ

Paper American Economic Association https://www.aeaweb.org/conference/2023/program/paper/4frnFS39 Joseph Cooprider, Shima Nassiri, "The Science of Pricing Experimentation at Amazon", ASSA 2023 Annual Meeting, 2023 Summary 目的 新たに導入す…

Estimation and Inference of Heterogeneous Treatment Effects using Random Forest ==> 読後メモ

Paper arxiv.org Summary Causal Treeを、Random Forestのようにアンサンブル学習とした論文 Recursive partitioning for heterogeneous causal effects ==> 読後メモ - appricot’s diary 前提知識の準備 Sampling without replacement: 非復元抽出。重複を…

Operationalizing Machine Learning: An Interview Study ==> 読後メモ

Paper arxiv.org Summary 概要 機械学習のモデルを運用するにあたり、必要なTipsを集めた論文。 企業で機械学習を利用している19名へのインタビューを元に構成。 (4.3.4) 機械学習のコードの変更は、可能な限り小さく抑える モデルに微修正が必要な場合、モ…

Uplift Modelingの手法分類

最近、Uplift Modelingという単語をよく耳にするので、概要を、ざっくりメモ。間違いなどあれば、お気軽にご指摘ください。 Uplift Modelingとは Xは、各ユーザの属性 Wは、各ユーザに対する介入。例えば、クーポン発行する(1)、しない(0)。 Yは、各ユーザの…

Recursive partitioning for heterogeneous causal effects ==> 読後メモ

Paper arxiv.org Preparation 決定木(CART) 与えられたデータ(X,Y)について、葉ノードに含まれるデータ(Y)が均質になるように、木を作っていく。 例えば、あるデータを男性、女性に分類するタスクがあったとして、ある葉は男性ばかり、ある葉は女性ばかり…

各種確率の英語名

いつも、英語名を忘れるので、メモ。 Joint Distribution=P(X, Y) Marginal Distribution=P(X)、P(Y) Conditional Distribution=P(X|Y)、P(Y|X)

Causal Inference and Uplift Modeling / A review of the literature ==> 読後メモ

Paper Causal Inference and Uplift Modeling / A review of the literature https://proceedings.mlr.press/v67/gutierrez17a/gutierrez17a.pdf 概要 定義 Y_i(1) = 顧客iに対する、介入ありの場合の効果 Y_i(0) = 顧客iに対する、介入なしの場合の効果 τ_i…