0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:48:59.66ID:???0 !extend::vvvvv:1000:512 !extend::vvvvv:1000:512 AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2以降 本スレ なんJLLM部 ★6 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
0002名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:50:26.11ID:???0 初心者は導入しやすいKoboldcppから始めるのをお勧め (1)ここで最新版のKoboldcpp.exeをダウンロード https://github.com/LostRuins/koboldcpp/releases (2)ここで良さげなggufモデルをダウンロード https://huggingface.co/models?sort=modified&search=gguf この2つのファイルだけで動く
0003名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:52:49.51ID:???0 日本語特化モデル作ってるとこのまとめ https://huggingface.co/pfnet https://huggingface.co/stabilityai https://huggingface.co/elyza https://huggingface.co/cyberagent https://huggingface.co/rinna https://huggingface.co/llm-jp
0005名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:00:16.52ID:???0 Koboldの設定や使い方は英語だけどここが詳しい https://github.com/LostRuins/koboldcpp/wiki
0006名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:01:22.12ID:???0 今期待の日本語特化モデル TheBloke/japanese-stablelm-instruct-beta-70B-GGUF ・ Hugging Face https://huggingface.co/TheBloke/japanese-stablelm-instruct-beta-70B-GGUF
0007名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:01:56.06ID:???0 oobabooga/text-generation-webui これもKoboldAIに並んで有用な実行環境やで https://github.com/oobabooga/text-generation-webui
0008名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:02:23.54ID:???0 stabilityai/japanese-stablelm-instruct-gamma-7b 比較的小サイズで高性能なおすすめの日本語モデルやで https://huggingface.co/stabilityai/japanese-stablelm-instruct-gamma-7b
0009名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:02:48.96ID:???0 ●多くのモデルには「base」と「instruct」の2種類があるで baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
0010名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:03:14.11ID:???0 ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
0011名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 22:03:36.26ID:???0 ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで 量子化モデルにはGGUFやGPTQなどの種類があるで 基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
