kadode fine tuning
自分の日記を学習させていい感じの言語モデルを作りたかった
🚀
ローンチ日
2022/10/25
🙎
開発形態
個人開発
🍽
ジャンル
課題・検証・実験
🏹
誰のために作った?
かどで日記ユーザー
技術
Python
GPT-2
タイトルの生成補助
目的
私が制作している「かどで日記」という日記管理サービスのユーザ体験向上のために行いました。日記に特化した独自の言語モデルを作ることで目次の自動生成を試みたかった形です……
背景
独自モデルによるかどで日記の機能価値向上は難しい
こだわり
rinnna社のGPT2モデルを用いて、自身の日記1275日分(2MB程度の文字でfine tuningさせました!
時代はGPT4になっちゃって、そもそも今となっては過去の産物ですね……
ギャラリー
![kadode fine tuning](https://prod-files-secure.s3.us-west-2.amazonaws.com/3ee8493d-1ff5-4e43-b584-649e8361ac9f/345cf9de-f829-4084-81cd-38caa01cb382/197667477-8ef24c54-5c8d-4d90-b7da-7e154f9aa420.jpg?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AKIAT73L2G45HZZMZUHI%2F20240727%2Fus-west-2%2Fs3%2Faws4_request&X-Amz-Date=20240727T092551Z&X-Amz-Expires=3600&X-Amz-Signature=aa2f73fab09a93e8fc5ebadc3b0dcb522c3853115c109a9aef87103e1578fa19&X-Amz-SignedHeaders=host&x-id=GetObject)
![kadode fine tuning](https://prod-files-secure.s3.us-west-2.amazonaws.com/3ee8493d-1ff5-4e43-b584-649e8361ac9f/424a688d-26c3-4f3e-bdaa-b47b391e291a/197664065-25271426-e2a0-48dd-9af4-f5c3a59f9c9f.png?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Content-Sha256=UNSIGNED-PAYLOAD&X-Amz-Credential=AKIAT73L2G45HZZMZUHI%2F20240727%2Fus-west-2%2Fs3%2Faws4_request&X-Amz-Date=20240727T092551Z&X-Amz-Expires=3600&X-Amz-Signature=8d4136945b8adbbd87d8fce014379a23645a580e2337cfc1071f3174dad80263&X-Amz-SignedHeaders=host&x-id=GetObject)