>>211
事前学習は分からんけどインストラクションチューニングはLLM-jpの参考にすれば割と簡単にできると思う
https://github.com/llm-jp/llm-jp-sft
DPO用のも用意されてる
https://github.com/llm-jp/llm-jp-dpo