なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/ https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/ LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。 >>431 >>485 128GBでQ5で使える170Bくらいの良い感じのモデルが欲しい LM Studioでとりあえず色々なモデルダウンロードしてるんだけど 何も考えずに ollama 使ってたけど直接 llama-server 叩いたほうが速いうえに webui も付いてたんだね GLMくらいのサイズのMoEで要らないエキスパートを外せれば128GBでも動きそうだが 米欧中のモデルって中身がほとんど英語と中国語だから >>487 >>480 予算という制限は最優先だけろうけど64GBはちょっとつらい オープンなモデルで見ると中国製はまだ日本語わかる方で英語圏のはマジで日本語知らない DRAM市場は価格変動が激しく、利益率が低いことで知られています。 >>489 >>484 >>498 >>487 のニキと何が違うんやろ >>499 >>500 >>500 openRouterのGLM4.7はプレフィルにここの<think>のやつを入れたらだいだいOKだな 帰ってくることになるから × >>503 ノベルはどこでみんなプロンプト勉強してるんだろ あと、ノベルに限らずLLMへの質問の仕方で回答かなり変わるしイマイチかん所が分からない Grok先生とのレスバが最強でしょ >>56 https://aicharactercards.com/ モデルの進化に伴ってプロンプトの書き方は意味を失っていって、適切なコンテキストを渡せるかどうかの話になっていくから、今からプロンプト頑張っても1年2年で賞味期限切れになる気がする そもそもプログラム言語が書けなくても色々やらせられるのが画期的だったんだからそれを学ぶってのも変な話なんだよな ある程度は同レベルじゃないと会話が通じないのと同じで、AIに高度なことをさせようと思ったら自分自身にも知識が必要という AntiGravity時代やから的外れなコードやドキュメントを指示出しで軌道修正するスキルが一番大事や GLM4.7を量子化無しで動かしたいなあ >>509 >>511 >>514 >>518 チャッピーとかみんなマークダウン形式でやり取りしてる >>520 >>521 チャッピーとかは頭いいから、適当に書いても組みとっていくれるけど >>522 >>522 絵は長らくdanbooru語で書かなきゃいかんかったから変にプロンプトぢから必要なだけで やりたいことやモデルにもよるけど、AIが得意な言語に合わせるのは重要だぞ >522 >>522 MiniMax-M2.1って出てんねんな MiniMaxは日本語全然ダメやね >>524 ,525 >>527 >>528 >>529 自分もコミュ力ないから画像認識モデルに画像投げて「過激で性的なストーリーを」で終わりよ >>532 BTO受注停止騒ぎの直前に新規にPCの発注をかけてたけど PC新調しようかと思ったらネット注文不可 流石に2週間遅くないか 新しいモデルを作ったで 小説生成支援アプリのproject wannabeと合わせて使ってみてほしいやで https://huggingface.co/kawaimasa/Wanabi-Novelist-24B-GGUF >>538 mradermacher/Mistral-Large-3-675B-Instruct-2512-i1-GGUF ヒイヒイ言いながらddr4 3200 32gbを中古で買い集めて128GBにしたよ >>543 >>538 http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>533 >>534 >>545 http://localhost:5001" ;のメッセージを確認し、5001以外のportが使われている場合は設定→KoboldCpp設定→KobldCpp API portをkoboldcppの表示に合わせる >>547
