なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured 今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？
Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと 今ローカルで使える最強のモデルでもgemini 2.5 flashあたり
今の最新のgemini超えるにはメモリがどうとかって話ではなくて不可能 あのgrok2さんが500GBぐらいあるからね
まあサイズが性能ではないけど >>779
Gemini2.5fでも魅力的だが、その場合は256GB？ GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね
Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな GLM 4.5ならともかく、4.6か4.7ならGemini2.5fは越えてるだろ >>774-776
おおきに macOS上LM Studioでちゃんと翻訳できましたわ 2.5fに並んだとき、2.5fの破壊的コスパに敗北する >>761
これ試してみたけどワイの環境で17token/sから20token/sになったわ
いやー実装してる人ら凄いなぁ koboldcpとSillyTavernでロールプレイやってるんだけど少しガード固めのモデルないかな
今はjapanese textgen moe 2x7b nsfwってやつが一番いい感じなんだけど
ずっと同じだと飽きるんでこれに似た感じのないかな
aratakoのrobinhoodとかMistralPrism-24Bとか使ってみたんだけど
すぐエロモードに入ってあんまり面白くないんだよね
１０G前後の軽いやつで何かいいのないかな >>787
コスパはそうなんだろうけど、クラウドサービスである以上いつでも規制きつくなるしな。GPT5.2はそれで死滅した。
多少お金掛かってもローカルで実現できるならそれに越したことはない 何だかんだでチャッピーのエロ解禁はまだまだ伸びそうだな
Grok先生を叩くとは許せん チャッピーってエロ抜きの美しい文章を書くことしか、他のLLMに勝ってないな
基本、Geminiの方が全体的にすごい、エロならGrok、エクセルとかで便利なコパイロット コパイロットは推論の性能というより利便性の向上を目指してるだけだからな 別にそんなことは...有料版使うのが当たり前で無料版はお試しなのはどのLLMも同じことですし
むしろ無料版の比較では上のほうでは Qwen3-Thinkingは日本語で思考させると"Wait," ループに入らず割と快適になった 半年ぐらい前にQwen-235B-A22B-Instruct-2507の性能に度肝を抜かれた以来なんですが
今アツいモデルあったら教えて欲しいです
環境はVRAM24GB、DRAM96GB
LMStudio愛用のローカルLLM初心者です こういうのでいいんだよこういうので
って感じになれるポテンシャルを感じる
追加学習が簡単そうだし
https://youtu.be//2u_EfhEktgQ GLM 4.7 Flashが来た
30B-A3Bらしい glm4.7flashはqwen3-30b-a3bとgpt-oss-20bに対して全領域で明確に上回っとるのか
後発だから当たり前ではあるんやけどこのサイズじゃこの2つが今まで長い間幅利かせとったから
ようやくいい感じの次世代がでてきたという感じやな 