なんJLLM部 避難所 ★10
Mac買い替えるんだけど、流石に128GBとかは買えないから買えて64GBなんだけどローカルのモデル動かすには中途半端なサイズなのかな？ LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。 >>431 >>485 128GBでQ5で使える170Bくらいの良い感じのモデルが欲しい LM Studioでとりあえず色々なモデルダウンロードしてるんだけど 何も考えずに ollama 使ってたけど直接 llama-server 叩いたほうが速いうえに webui も付いてたんだね GLMくらいのサイズのMoEで要らないエキスパートを外せれば128GBでも動きそうだが 米欧中のモデルって中身がほとんど英語と中国語だから >>487 >>480 予算という制限は最優先だけろうけど64GBはちょっとつらい オープンなモデルで見ると中国製はまだ日本語わかる方で英語圏のはマジで日本語知らない DRAM市場は価格変動が激しく、利益率が低いことで知られています。 >>489 >>484 >>498 >>487 のニキと何が違うんやろ >>499 >>500 >>500 openRouterのGLM4.7はプレフィルにここの<think>のやつを入れたらだいだいOKだな 帰ってくることになるから × >>503 ノベルはどこでみんなプロンプト勉強してるんだろ あと、ノベルに限らずLLMへの質問の仕方で回答かなり変わるしイマイチかん所が分からない Grok先生とのレスバが最強でしょ >>56 https://aicharactercards.com/ モデルの進化に伴ってプロンプトの書き方は意味を失っていって、適切なコンテキストを渡せるかどうかの話になっていくから、今からプロンプト頑張っても1年2年で賞味期限切れになる気がする そもそもプログラム言語が書けなくても色々やらせられるのが画期的だったんだからそれを学ぶってのも変な話なんだよな ある程度は同レベルじゃないと会話が通じないのと同じで、AIに高度なことをさせようと思ったら自分自身にも知識が必要という AntiGravity時代やから的外れなコードやドキュメントを指示出しで軌道修正するスキルが一番大事や GLM4.7を量子化無しで動かしたいなあ >>509 >>511 >>514 >>518 チャッピーとかみんなマークダウン形式でやり取りしてる >>520 >>521 チャッピーとかは頭いいから、適当に書いても組みとっていくれるけど >>522 >>522 絵は長らくdanbooru語で書かなきゃいかんかったから変にプロンプトぢから必要なだけで やりたいことやモデルにもよるけど、AIが得意な言語に合わせるのは重要だぞ >522 >>522 MiniMax-M2.1って出てんねんな MiniMaxは日本語全然ダメやね >>524 ,525 >>527 >>528 >>529 自分もコミュ力ないから画像認識モデルに画像投げて「過激で性的なストーリーを」で終わりよ >>532 BTO受注停止騒ぎの直前に新規にPCの発注をかけてたけど PC新調しようかと思ったらネット注文不可 流石に2週間遅くないか 新しいモデルを作ったで 小説生成支援アプリのproject wannabeと合わせて使ってみてほしいやで https://huggingface.co/kawaimasa/Wanabi-Novelist-24B-GGUF >>538 mradermacher/Mistral-Large-3-675B-Instruct-2512-i1-GGUF ヒイヒイ言いながらddr4 3200 32gbを中古で買い集めて128GBにしたよ >>543 >>538 http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>533 >>534 >>545 http://localhost:5001" ;のメッセージを確認し、5001以外のportが使われている場合は設定→KoboldCpp設定→KobldCpp API portをkoboldcppの表示に合わせる >>547 >>547 >>545 で書いたようなエラーが出てしまいました http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>549 http://localhost:5001 が開けるか（5001は手元のport番号に合わせる） 3090(24GB)x2＋メインメモリ128GBで、Qwen235B-A22Bも123B系も0.5t/sくらいなんだが、もうちょい早くならんもんかね >>551 >>550 >>555 の続き >>552 価格コムでVRAM16GBで見てたら >>555 >>558 https://i.imgur.com/jd8G4zK.png 8枚64万円とそれを動かす巨大リグをなんとか構築しても128GBにしかならない、という時点でどうもこうもないような >>563 VRAM128GBとメインメモリ128GBあれば大抵のことはできる パフォーマンス重視ならllama.cppを直接叩いたほうが良いのでは ただデカいモデルが動かせれてコンテキスト出力されるまでの時間が5分とかかかってもいいなら4枚刺しが正解と実際に検証した俺が言ってみる 画像や音声生成は苦しいがLLM目的ならradeonも選択肢に入るんやで。 >>555 >>561 >>555 様の言われたとおり、 >>565 >>567 5060tiのメモリ帯域はそこまで速くないからなぁ… 画像/動画生成用途ならGPGPU性能が物を言うし LLM用途しかしないなら、Mac Studio（512GB）が最強やろな 以前なら150万あったらxeonでメモリ1tb載せられた・・・ 今の状況で512GBのMacとかいくらになるんだ 5060Ti の帯域が狭いなら5070 Tiとか？これでも5090と比べたら半値でVRAM(16+16)確保できる >>562 >>562
