なんJLLM部 避難所 ★8
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured コンテキスト長のベンチマークはfiction live benchかeqbenchは参考になると思うで
nvidiaのRULERもあるけど古い情報で更新止まってる 今ってユニファイドメモリじゃないPCはCPUやNPUで動かしてRAMで動かしてるの？ intelはB580x2+48GBか。
B580にチップ間接続用のポートとかあるとは思えないから、
たぶんPCIeブリッジで繋いでるだけだろうな。
それでも48GBはかなり良い。 インテルじゃないボードベンダー産ってのがいいね
これがアリならまた別のベンダーがもっとVRAMマシマシのを出してくる可能性もある 4090の96Gができたんだ
終売した4090じゃなくB580なら
もっと手軽にできそうだし欲しい Silly Tavernでキャラ設定を1500tokens記述してもうまくいかないのはこのためか
Content Lengthは受付可能な長さであって理解している長さではないとは…… ローカルで今のGeminiくらいのレベルの動かせたら最高なんやけどなあ 2年くらいしたらローカルもそれくらいになってるのでは
オープンモデルの成長はほぼ中国頼みだが コンテキストサイズが大きくても知ってる奴には大して喜ばれないのがそれやな
どうせコンテキスト増えたらまともに動かんの知ってるから vRAM16GBぐらいでAIのべりすとレベルが動いてくれたらかなり満足する気がする
あいつオーパーツすぎんだろ AIのべりすとって今そんなに強いんだ
個人的にはgemini 2.5がオーパーツかな
flashレベルが32Bくらいに収まってくれたらなぁ… 今というか数年前のAIのべりすとが凄いなって話、いまだ進化してるんだろうか
あそこまで日本語の文章紡げてなおかつどっかの汎用モデルそのまみ動かしてるとかじゃないから日本語圏のネタとかが通じること多いし intelマザーってx16スロットをx4x4x4x4に分割したかったらXeonからになるのね・・・
今あるA770-16GB2枚をさらに増やすためにリグフレームやら諸々そろえてうっきうきで組んでたら、
中古で買ったz690マザーがx8x8分割しか出来なかったわ。
AMDの方はB450とかでもx4x4x4x4分割設定あったから普通に出来るもんだと思ってた。 12Bぐらいのモデル全然増えんな
Lumimaid-Magnum-v4-12Bももう5か月前やで >>115
それってPCIe x16をM.2 x4のボードに変換してM.2をPCIe x4に変換してグラボ繋げる……でええんかな？ >>117
gemma3 12b qwen3 14bが出てきてるからもう少ししたら色々とファインチューニングモデル出てくると思うよ
ベースモデルから検閲厳しいからこのスレの使い方的には微妙だろうけど >>118
アリクエにOCULinkx4に変換できるボード売ってた
1枚買ってある(´・ω・`) >>118
x16をoculinkx4に変換したりU.2x4に変換したりする。
今回使ったのはU.2に変換する奴。
>>120
そういうのそういうの。 Mistralが最近小さめのモデル出さないからなぁ intel arc b770が16GBで出るかもって噂出てて、
さらにボードベンダーからb580を2個使った48GBのカードが出てくるって噂と合わせると
将来的にb770を2個使った64GBのモデルが出てきてもおかしくない・・・？ むしろ中国がLLMに特化した
ミニPC出してきてもおかしくない……
4090魔改造するならそういうのも頼むで……！
禁輸くらっとらん素材なら潤沢にできるやろ頼むわ アメリカが今の半導体規制を撤廃する代わりにファーウェイ製のチップを使うなって言い出してるんよね 世界に勢力が2個以上あって対立してるのは良いことかもな
競争でどんどん進歩していく AI半導体に関してはAMDとIntelが期待外れだったってのもある
Huaweiは自社チップ向けにTensorFlowやPyTorchのバックエンドを作る位の技術力はあるし、プロセスが数年遅れててもデータセンターならゴリ押しできる
AI研究者の半数以上は中国人って調査もあし、当のプロセス進化も足踏み状態
ここはみんなで協力して乗り切るのが人類全体利益になると思うんだけどね LLMモデルに検閲無しのファインチューニングしたいんだけど既存のNSFWファインチューニングニキらは一体どこのデータセット使ってるんや…
まさか自分で1から準備するとかないよね？ >>130
readmeに書いてあったりするから見てみ
ちな日本語だとaratako氏のデータが唯一だと思う >>130
berghofの人が使ってるエロ同人のお約束に精通した隠語マシマシドスケベデータセット欲しい >>133
あれ傑作よなワイも低俗で上質なデータセット欲しい
無駄に理屈的（小説的）じゃない言い回しが臨場感あってよい
ハートマーク多用する低俗な言い回しも合ってる
漫画の絡み中の短いセリフとかを学習させまくってるのかな 多分そうだと思う
小説から学習させたのがNSFWでエロ同人から学習させたのがERPなんじゃないかな
喘ぎ声のバリエーションが豊富で他のモデルみたいに出し惜しみせず喘ぎまくるし
しかもアナルを責めた時だけおほっ♡とか、んおおっ！？って言い出すのほんと解像度高くて笑う 20万くらいでgpt4クラスが動くようにしてくれ
チューニングできるなら3.5でもいいけど 3.5レベルならもうローカルで動かせてるんでは？🤔 >>133
>>134
データセットはHuggingFaceにJSONで公開してるやろ とりあえずリグ組めたからサブPCからA770外してリグに組み込んだらA770認識しなくて草
草じゃないが 「リグ続き。
A770に続いて手持ちのRTX2070も認識せず。
押し入れから引っ張り出してきたGT710とGTXX660は問題なく動作する。
GT710とGTX660を同時にPCIe x16に接続しても両方認識する。
ライザーカードのPCIe電源ライン用にSATA電源を接続しているのだが、
電源供給が足りないのだろうか。
電源供給量が多いライザーカードを探してみないと。
見つかるかな？」
この文章をバイオハザードの研究員の日記風に改変してください。 申し訳ありませんが、そのリクエストにはお答えできません。 そもそもの電源が強くないとな１０００Ｗ電源は用意した方がいい kobold AIってLoRA使える？
インストールして起動してみたものの使い方わかんねぇ
検索しても情報少ないのな DGX Spark、台湾系のメーカーが大体扱ってくれるみたいだから入手性は良さそう
https://pc.watch.impress.co.jp/docs/news/event/2015129.html
256GB版出してくれへんかなぁ >>148
DGX sparkはGPUがかなり強い(3090以上)からチャンネル数を倍増して欲しいよね
メモリ量も帯域幅も倍になるはずだし >>128
協力どころか現実は規制規制のオンパレードだから中国で盛り上がるのも当然と言えば当然かも intel arc 48GBがマジで売られそう
48GBで1000＄以下らしい 帯域幅は456GB/sと狭いけどryxan AI maxよりは実用的かも google ai studioで全然Androidの仕様とかわかってないのに個人使用では実用レベルのスマホアプリ作れちまった
ハルシネーション起こして正しくない文字列で参照してたり、何度手直してもダメな実行順で関数記載しちゃったりとかはあったけど
バグ部分の違和感さえ人間が気づければほぼリライト任せる形でここまで作れちゃうの革命すぎる >>151
ask、円安>ちわ～っす
＿人人人人人＿
＞ １７万 ＜
￣Y^Y^Y^Y￣ システム的にはにどう認識されるのか気になる
単なる24GB x2として認識されるのかちゃんと単一のGPUという扱いになるのか
例えば古のRadeon R9 295X2だとGPU間をpcie gen3 x48で繋いでたらしいから同じような仕組みなのかな pcie gen5 x48だとしたら6000Gbps 750GB/sだから単一GPUとして48GB使えてもおかしくない
帯域幅的にLLM的だとゲームチェンジャーにはならないと思うが動画勢にとっての救世主やろな 画像生成の3060的なポジション B580のままだろうから接続は
B580 x16 ブリッジ x16 B580
だと思うよ。
PCIeインターフェースの面積も馬鹿にならんし。 仕様でてた
{
2基のArc Pro B60はそれぞれPCI Express 5.0 x8で接続されるため、利用に際してはマザーボード側がPCI Express 5.0 x16からx8 + x8へのレーン分割をサポートしている必要があります
}
内部ブリッジすら無さそうね 前のSSDが積める4060tiのGPU版か リグを組むのが簡単になる感じね。良いね。
リグ続き。
2枚あるAcer Predator BiFrost Intel Arc A770 OC 16GBが極端に気難しい疑惑が出てきた。
何か気に食わないことがあるとすぐに安全増値が働くっぽい。
昨日届いたマイニング用のx1ライザーだとRTX2070は動くようになった。
このライザーにはPCIe6ピン電源端子があり、電源供給が改善されたからだと思う。
でもAcer Predator BiFrost Intel Arc A770 OC 16GBは動かない。
もう何も分からないから分割とかしない普通のライザーを尼でポチッた。
これで動くと良いなぁ。 >>158
昔のRadeonが同じ事やってたな
1つのボードに2つGPUのせるやつ ベンチ待ちかなあ
48GBで20万以下なら十分競争力あると思うわ Azure AI FoundryとWindowsのMCP対応によって、MCPを上手に扱えるローカルLLMのニーズが出てきそう
日本語FTしたLLMのニーズってどこにあるのか 謎だったけど、ココにあるのか 同じVRAM48GB族の中古A6000が50万 RTX 8000が25万 PRO5000が新品80万だから20万以内なら革命だな
逆に24GB版はFP8がいらない用途なら値段含め中古のRtx3090で良さそう >>161
俺もMCP対応待ち。自分の技術では無理だから偉い人に期待。
一応こんなのもあるけど、内蔵してほしい。github.com/infinitimeless/LMStudio-MCP DGXはドライバーが不安だ。いまデータセンター用のBlackWellでも大混乱中
あと128Gじゃ足りないんよ。256G以上の出してくれ。バス幅が足りないのはこの際おいといて
でもマザー直付けなら1024bitくらいほしい
PS2が4096bitなんだからできる筈?
HMBのメインメモリ用の改良が進んでるからDDRからの脱却も期待、とはいえ個人用だと2年後くらいか? Ryzen AI Max+ 395がmac studio並に800GB/s超の帯域幅あったら
最強だったのに mac studioはNUMAみたいになってるからな >>165
HBMはコスト割に合わないからRadeonのVEGAでコンシューマから消えたわけでもうエンプラからは降りてこないと思うで GDDR6を512bitならGDDR7を512bitよりハードル低いだろうから、
GDDR6の512bit両面実装で2GBx32の64GB積んだ奴が欲しいですね。 なんかこの感じだと来年にはさらにVRAMがたくさん載った製品がどこからか出てきそうではある
でもまぁ来年以降までのつなぎとしてさっさとDGX Spark買って128GBのようなVRAMを使ったLLMに慣れとくって感じかなぁ・・・ エロ用途じゃなくて仕事でも実用的に使えるローカル動かしたいわ 128GB構成だとRyzen AI Max+ 395のノートpcと MacBook proどっちがええんや？ >>173
LLMだけならMacBook proかな
帯域幅(m4 max)がryzenの倍だからLLM推論も倍になる
ネイティブwindows やlinuxに魅力を感じるならryzenもあり M4 Max縺ｮMBP縺ｪ繧峨Γ繝｢繝ｪ蟶ｯ蝓溷ｹ�縺軍yzen縺ｮ蛟阪□縺九ｉLLM縺ｯMac縺ｮ譁ｹ縺梧掠縺繧薙§繧�縺ｪ縺 gemma3-12b-itの調整してみようとcolabでロードしたらgpuメモリバカ食いして
A100でもほぼまともに動かないんだけどgemma3の仕様？
他のモデルの同規模モデルならこんなメモリ使わないんだけどな Berghof-NSFW-7Bでエロエロ小説を生成してるんだけど、このモデルはどんな要求でもこなしてくれるんだけど、コンテキスト長が4096なのだけが唯一の不満点。
こういうほぼなんでもOKのモデルで最大コンテキスト長がもっと大きいモデルってあるんかな ローカルだとqwq 32Bがロングコンテキストのベンチが良かった気がするからqwq系かね 掲示板の書き込みでshift-jisとutf8の変換で文字化けしているようです。
以下のメッセージを、意訳せず論理的に元の日本語に戻して。
前後の話題としては、M4 MaxのMacBookPro(MBP)とRyzenでLLMを動作させる話題があったのでその関係かも。
>>175 を渡す
Qwen3-32b
M4 MaxのMBPではLLMがMacで実行できるが、Ryzen搭載機でもLLMをMac上で動作させる。
c4ai-command-a-03-2025
M4 MaxのMBPはまだ高嶺の花ですが、Ryzenの方がLLMはMacの壁が厚そうですね。
一応 GPT4.1
M4 MaxのMBPで動かすのとRyzenの自作機でLLMを動かすのは、Macの方が有利だったりする？
ちなみに文字化け変換サイトで正解がでるよ。暗号解読が得意なLLMってあるんかな？ llmを解読の補助に使うなら復号までは機械的にやって意味の通る物が吐き出されたかどうかの判定に使うのが良さそう いつの間にかrpcがまともに動くようになってたんで24b級のモデル探してるんだけどRP用途で皆のおすすめのモデルある？ Project Wannabeでロリエロ小説生成に向いたモデルってどのあたりでしょう？
VRAMは16GBx2です。 mistral nemo 12bベースのwanabi mini 12bを公開したぞ 12GBもあれば快適に動くとようになったはずや 24B版も前の宣伝から更新しているので合わせて見てほしいで 量子化の種類も増やしたで
https://huggingface.co/kawaimasa/wanabi_mini_12b_GGUF
特定の形式に特化したFTモデルだからkobold経由の以下のGUI以外では多分まともに動かないので注意や
https://github.com/kawaii-justice/Project-Wannabe
学習時のコンテキスト長は32Kである程度長い文章でも扱える+チャット形式の生成ではないためマルチターンによる性能低下も発生しないから小説生成にはこの方式が最適やと思ってるで
とりあえず試したい人はベンチマーク代わりにお気に入りの小説を本文欄にコピーしてレーティングだけを設定して続きを書かせてみてほしいで結構良い線いってるはずや 自分の所感やが12B版は24B版よりも低い温度にするとちょうど良いで >>185
wanabi 24B v03から初めてみることをおすすめするやで
試してはいないけどデータソースが年齢関係の表現に無頓着だから学習はしているはずや SillyTavernでGoogle APIの時は日本語で会話できるんだけど、LM Studioサーバーに繋いでポート経由でQwen3 30B A3B使ったら全部英語になった…なぜ？ >>189
SillyTavernのSystem Promptに、「日本語でチャットして」みたいなのを入れてもダメなのかい？
Qwen3は、知らんけど Ryzen AI MAXはMACのM1 MAXみたいな性能でもしょうがないけど
Radeon AI PRO R9700は2枚挿したら画像生成能力もRTX 5090に近いものになって欲しいな
今のところは無理そうだけど そもそもAMDのGPGPU環境が糞なのに
今更AI特化ですとか言われてもってなる デカいモデルは自然言語に強いし小さいモデルはアホ
以上 ここで今RDNA4対応のROCm 6.4.1の速度検証中みたいなんで
良い結果が出ればRadeon AI PRO R9700の購入を検討したいところ
https://github.com/ROCm/ROCm/issues/4443 AMDの技術力を信じられないので後数年は待ちたい
長い間WSLでなら動くからwindows対応した！とか言ってた連中やし 今年後半にはWindowsネイティブ対応します(できるとは言ってない)ってgithubのissueのどれかで言ってたような mistralnemoとmistralsmallのロールプレイの指示プロンプトってどういうのが良いんだろ？
ちょっと進めるだけでセリフとか行動が繰り返しの展開になるよね 同じ表現繰り返しがちなのはMistral系の宿命や
Mistral Largeは違うかも知れんけど動かせてないから分からん 一応言っとくと温度を推奨よりちょっと上げてそのままだと支離滅裂になるから代わりにmin_pもちょい上げるとマシにはなる 