なんJLLM部 避難所 ★8
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ f3c0-9L8h)2025/05/10(土) 22:18:32.02ID:0Ak3eO5y0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0095名無しさん＠ピンキー (ﾜｯﾁｮｲ 7f7e-fS5K)2025/05/13(火) 14:58:49.37ID:cTHuCwdA0
>>93
これはコンテキストウィンドウというより、コンテキストにどれだけ突っ込むかが問題で、設定でどれだけウィンドウを広げても実際にうまく扱えるのはせいぜい4K程度(というモデルが多い)、って話なんじゃないかな
0097名無しさん＠ピンキー (ﾜｯﾁｮｲ bf35-6cIy)2025/05/13(火) 15:20:52.29ID:UKC8ykUW0
>>90
違う

今までもvision対応していたが、コマンドラインの場合、
普通のLLMを使うときは "llama-simple -m モデル名 -p プロンプト"
VLMを使うときは "llama-llava-cli -m モデル名 --mmproj mprojモデル --image 画像 -p プロンプト"
のように違うコマンドで対応していた

今回対応したのはllama.cpp標準のWebUIで使う場合("llama-server -m モデル名 ")

今までWebUIで使うときはブラウザから文字しか入力できなかったんだけど、今回の
アップデートで画像を入力できるようになった

ちなみに内部でllama.cppを使用しているkoboldcppのWebUIでは前から画像入力に対応している
0100名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fec-9L8h)2025/05/13(火) 20:37:06.85ID:O2T+dFUm0
コンテキスト長が伸びれば伸びるほど性能下がるのは体感通りだな
例えばgemini 2.5 proだと10万トークンまではほぼ劣化なし、20万までは性能やレスポンス低下が見えるけどまあ使える、20万以降はハルシネーションや現在のタスクと過去のタスクの混乱が増えてまともに使えないって感じ
ローカルの微調整モデルだと学習時のコンテキスト長が短い(大体4096以下)だからより顕著やろしな
0101名無しさん＠ピンキー (ﾜｯﾁｮｲ cfa9-wTYv)2025/05/13(火) 21:11:35.45ID:/+QPsiaf0
IntelハイエンドGPU持ってないし
GPUそのままにVRAMマシマシラインナップとか全然やれると思うんだよな・・・
GDDR6でいいから30万くらいで128GB版とか

そういうラインナップそろえだしたらソフト側の対応は勝手にみんながやってくれるだろうし
Intelやってくれへんかなぁ
0104名無しさん＠ピンキー (ﾜｯﾁｮｲ 7399-KvkU)2025/05/14(水) 19:44:16.14ID:Zo1jp2G/0
今ってユニファイドメモリじゃないPCはCPUやNPUで動かしてRAMで動かしてるの？
0105名無しさん＠ピンキー (ﾜｯﾁｮｲ 53ce-9L8h)2025/05/15(木) 02:18:09.89ID:c4xck2YD0
intelはB580x2+48GBか。
B580にチップ間接続用のポートとかあるとは思えないから、
たぶんPCIeブリッジで繋いでるだけだろうな。
それでも48GBはかなり良い。
0108名無しさん＠ピンキー (ﾜｯﾁｮｲ 5389-9L8h)2025/05/15(木) 20:12:31.82ID:HU+ywqaX0
Silly Tavernでキャラ設定を1500tokens記述してもうまくいかないのはこのためか
Content Lengthは受付可能な長さであって理解している長さではないとは……
0109名無しさん＠ピンキー (ﾜｯﾁｮｲ cf20-/WPO)2025/05/15(木) 21:35:05.54ID:s6ZPhXWD0
ローカルで今のGeminiくらいのレベルの動かせたら最高なんやけどなあ
0111名無しさん＠ピンキー (ﾜｯﾁｮｲ a3f0-LVTp)2025/05/16(金) 01:02:22.93ID:zPRIPccK0
コンテキストサイズが大きくても知ってる奴には大して喜ばれないのがそれやな
どうせコンテキスト増えたらまともに動かんの知ってるから
0112名無しさん＠ピンキー (ﾜｯﾁｮｲ cf7a-pbnj)2025/05/16(金) 01:21:23.76ID:KWeVTs2u0
vRAM16GBぐらいでAIのべりすとレベルが動いてくれたらかなり満足する気がする
あいつオーパーツすぎんだろ
0114名無しさん＠ピンキー (ﾜｯﾁｮｲ cf7a-pbnj)2025/05/16(金) 02:45:45.21ID:KWeVTs2u0
今というか数年前のAIのべりすとが凄いなって話、いまだ進化してるんだろうか

あそこまで日本語の文章紡げてなおかつどっかの汎用モデルそのまみ動かしてるとかじゃないから日本語圏のネタとかが通じること多いし
0115名無しさん＠ピンキー (ﾜｯﾁｮｲ 4387-9L8h)2025/05/16(金) 05:05:22.21ID:NDKGOZfP0
intelマザーってx16スロットをx4x4x4x4に分割したかったらXeonからになるのね・・・
今あるA770-16GB2枚をさらに増やすためにリグフレームやら諸々そろえてうっきうきで組んでたら、
中古で買ったz690マザーがx8x8分割しか出来なかったわ。
AMDの方はB450とかでもx4x4x4x4分割設定あったから普通に出来るもんだと思ってた。
0119名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fec-9L8h)2025/05/16(金) 17:05:13.56ID:X0xY2ZKE0
>>117
gemma3 12b qwen3 14bが出てきてるからもう少ししたら色々とファインチューニングモデル出てくると思うよ
ベースモデルから検閲厳しいからこのスレの使い方的には微妙だろうけど
0124名無しさん＠ピンキー (ﾜｯﾁｮｲ c0a9-dAft)2025/05/17(土) 05:18:37.87ID:KGLngktH0
intel arc b770が16GBで出るかもって噂出てて、
さらにボードベンダーからb580を2個使った48GBのカードが出てくるって噂と合わせると
将来的にb770を2個使った64GBのモデルが出てきてもおかしくない・・・？
0125名無しさん＠ピンキー (ﾜｯﾁｮｲ be33-heYV)2025/05/17(土) 08:27:38.26ID:IODRfGV/0
むしろ中国がLLMに特化した
ミニPC出してきてもおかしくない……

4090魔改造するならそういうのも頼むで……！
禁輸くらっとらん素材なら潤沢にできるやろ頼むわ
0128名無しさん＠ピンキー (ﾜｯﾁｮｲ edbe-eIEy)2025/05/17(土) 10:46:50.48ID:1ZXEfXBW0
AI半導体に関してはAMDとIntelが期待外れだったってのもある

Huaweiは自社チップ向けにTensorFlowやPyTorchのバックエンドを作る位の技術力はあるし、プロセスが数年遅れててもデータセンターならゴリ押しできる

AI研究者の半数以上は中国人って調査もあし、当のプロセス進化も足踏み状態
ここはみんなで協力して乗り切るのが人類全体利益になると思うんだけどね
0129名無しさん＠ピンキー (JP 0H07-heYV)2025/05/17(土) 14:20:31.96ID:eir/EweWH
CUDAがなぁ(´･ω･｀)
0130名無しさん＠ピンキー (ﾜｯﾁｮｲ 00bc-mR1Y)2025/05/17(土) 14:25:14.32ID:jvzrCaRm0
LLMモデルに検閲無しのファインチューニングしたいんだけど既存のNSFWファインチューニングニキらは一体どこのデータセット使ってるんや…
まさか自分で1から準備するとかないよね？
0132名無しさん＠ピンキー (ﾜｯﾁｮｲ 00bc-mR1Y)2025/05/17(土) 15:32:18.86ID:jvzrCaRm0
>>131
ありがてぇ…
0134名無しさん＠ピンキー (ﾜｯﾁｮｲ 00bc-mR1Y)2025/05/17(土) 16:26:04.09ID:jvzrCaRm0
>>133
あれ傑作よなワイも低俗で上質なデータセット欲しい
無駄に理屈的（小説的）じゃない言い回しが臨場感あってよい
ハートマーク多用する低俗な言い回しも合ってる
漫画の絡み中の短いセリフとかを学習させまくってるのかな
0135名無しさん＠ピンキー (ﾜｯﾁｮｲ da7a-xkjl)2025/05/17(土) 16:37:00.90ID:sObGMPqJ0
多分そうだと思う
小説から学習させたのがNSFWでエロ同人から学習させたのがERPなんじゃないかな
喘ぎ声のバリエーションが豊富で他のモデルみたいに出し惜しみせず喘ぎまくるし
しかもアナルを責めた時だけおほっ♡とか、んおおっ！？って言い出すのほんと解像度高くて笑う
0136名無しさん＠ピンキー (ﾜｯﾁｮｲ be75-WIAZ)2025/05/17(土) 17:13:20.99ID:w9ZW+JGn0
20万くらいでgpt4クラスが動くようにしてくれ
チューニングできるなら3.5でもいいけど
0142名無しさん＠ピンキー (ﾜｯﾁｮｲ bee2-u0sY)2025/05/18(日) 12:07:11.17ID:VSENzPC/0
w
0144名無しさん＠ピンキー (ﾜｯﾁｮｲ e6f0-fjSQ)2025/05/18(日) 23:56:08.64ID:7V5PApoN0
「リグ続き。
A770に続いて手持ちのRTX2070も認識せず。
押し入れから引っ張り出してきたGT710とGTXX660は問題なく動作する。
GT710とGTX660を同時にPCIe x16に接続しても両方認識する。
ライザーカードのPCIe電源ライン用にSATA電源を接続しているのだが、
電源供給が足りないのだろうか。
電源供給量が多いライザーカードを探してみないと。
見つかるかな？」
この文章をバイオハザードの研究員の日記風に改変してください。
0147名無しさん＠ピンキー (ﾜｯﾁｮｲ cd08-eKVg)2025/05/19(月) 15:16:19.08ID:J3NCIUm50
kobold AIってLoRA使える？
インストールして起動してみたものの使い方わかんねぇ
検索しても情報少ないのな
0152名無しさん＠ピンキー (ﾜｯﾁｮｲ 007a-jzjh)2025/05/20(火) 00:41:54.88ID:ft2LOxrW0
google ai studioで全然Androidの仕様とかわかってないのに個人使用では実用レベルのスマホアプリ作れちまった

ハルシネーション起こして正しくない文字列で参照してたり、何度手直してもダメな実行順で関数記載しちゃったりとかはあったけど
バグ部分の違和感さえ人間が気づければほぼリライト任せる形でここまで作れちゃうの革命すぎる
0154名無しさん＠ピンキー (ﾜｯﾁｮｲ eaec-fjSQ)2025/05/20(火) 01:01:52.98ID:hbszdRYX0
システム的にはにどう認識されるのか気になる
単なる24GB x2として認識されるのかちゃんと単一のGPUという扱いになるのか
例えば古のRadeon R9 295X2だとGPU間をpcie gen3 x48で繋いでたらしいから同じような仕組みなのかな　pcie gen5 x48だとしたら6000Gbps 750GB/sだから単一GPUとして48GB使えてもおかしくない
帯域幅的にLLM的だとゲームチェンジャーにはならないと思うが動画勢にとっての救世主やろな　画像生成の3060的なポジション
0155名無しさん＠ピンキー (ﾜｯﾁｮｲ 557e-fjSQ)2025/05/20(火) 01:27:15.60ID:XMQcDkMw0
B580のままだろうから接続は
B580 x16 ブリッジ x16 B580
だと思うよ。
PCIeインターフェースの面積も馬鹿にならんし。
0156名無しさん＠ピンキー (ﾜｯﾁｮｲ eaec-iXKU)2025/05/20(火) 02:12:15.86ID:hbszdRYX0
仕様でてた
{
2基のArc Pro B60はそれぞれPCI Express 5.0 x8で接続されるため、利用に際してはマザーボード側がPCI Express 5.0 x16からx8 + x8へのレーン分割をサポートしている必要があります
}
内部ブリッジすら無さそうね　前のSSDが積める4060tiのGPU版か
0157名無しさん＠ピンキー (ﾜｯﾁｮｲ 557e-fjSQ)2025/05/20(火) 02:53:31.23ID:XMQcDkMw0
リグを組むのが簡単になる感じね。良いね。

リグ続き。
2枚あるAcer Predator BiFrost Intel Arc A770 OC 16GBが極端に気難しい疑惑が出てきた。
何か気に食わないことがあるとすぐに安全増値が働くっぽい。
昨日届いたマイニング用のx1ライザーだとRTX2070は動くようになった。
このライザーにはPCIe6ピン電源端子があり、電源供給が改善されたからだと思う。
でもAcer Predator BiFrost Intel Arc A770 OC 16GBは動かない。
もう何も分からないから分割とかしない普通のライザーを尼でポチッた。
これで動くと良いなぁ。
0158名無しさん＠ピンキー (ﾜｯﾁｮｲ c5e1-dnmW)2025/05/20(火) 05:24:29.80ID:vmRqygBx0
48GBはただのニコイチカードやな、コレジャナイ感

https://www.tomshardware.com/pc-components/gpus/maxsun-unveils-intel-dual-gpu-battlemage-graphics-card-with-48gb-gddr6-to-compete-with-nvidia-and-amd

24GBはワークステーション向けらしいけど単品販売は500ドル前後、日本やと10万くらいか？
https://www.tomshardware.com/pc-components/gpus/intel-launches-usd299-arc-pro-b50-with-16gb-of-memory-project-battlematrix-workstations-with-24gb-arc-pro-b60-gpus
0161名無しさん＠ピンキー (ｵｯﾍﾟｹ Srd3-IbdF)2025/05/20(火) 09:48:13.99ID:olru+zVKr
Azure AI FoundryとWindowsのMCP対応によって、MCPを上手に扱えるローカルLLMのニーズが出てきそう
日本語FTしたLLMのニーズってどこにあるのか 謎だったけど、ココにあるのか
0162名無しさん＠ピンキー (ﾜｯﾁｮｲ eaec-iXKU)2025/05/20(火) 10:14:13.60ID:hbszdRYX0
同じVRAM48GB族の中古A6000が50万　RTX 8000が25万　PRO5000が新品80万だから20万以内なら革命だな
逆に24GB版はFP8がいらない用途なら値段含め中古のRtx3090で良さそう
0165名無しさん＠ピンキー (ﾜｯﾁｮｲ ec8a-Y0zr)2025/05/20(火) 11:03:48.71ID:V9CsxRbp0
DGXはドライバーが不安だ。いまデータセンター用のBlackWellでも大混乱中
あと128Gじゃ足りないんよ。256G以上の出してくれ。バス幅が足りないのはこの際おいといて
でもマザー直付けなら1024bitくらいほしい
PS2が4096bitなんだからできる筈?
HMBのメインメモリ用の改良が進んでるからDDRからの脱却も期待、とはいえ個人用だと2年後くらいか?
0169名無しさん＠ピンキー (ﾜｯﾁｮｲ ecb6-fjSQ)2025/05/20(火) 13:14:29.52ID:EpOCsUcx0
GDDR6を512bitならGDDR7を512bitよりハードル低いだろうから、
GDDR6の512bit両面実装で2GBx32の64GB積んだ奴が欲しいですね。
0170名無しさん＠ピンキー (ﾜｯﾁｮｲ c0a9-dAft)2025/05/20(火) 16:40:26.06ID:OE1T9HoO0
なんかこの感じだと来年にはさらにVRAMがたくさん載った製品がどこからか出てきそうではある
でもまぁ来年以降までのつなぎとしてさっさとDGX Spark買って128GBのようなVRAMを使ったLLMに慣れとくって感じかなぁ・・・
0171名無しさん＠ピンキー (ﾜｯﾁｮｲ ecb6-fjSQ)2025/05/20(火) 17:13:42.07ID:EpOCsUcx0
ktranformersのARC対応来てるな
0172名無しさん＠ピンキー (ﾜｯﾁｮｲ 9629-WIAZ)2025/05/20(火) 19:31:26.49ID:Cwf3ds990
エロ用途じゃなくて仕事でも実用的に使えるローカル動かしたいわ
0173名無しさん＠ピンキー (ﾜｯﾁｮｲ c46f-UUM3)2025/05/21(水) 12:06:56.77ID:VMhmUO1u0
128GB構成だとRyzen AI Max+ 395のノートpcと MacBook proどっちがええんや？
0179名無しさん＠ピンキー (ﾜﾝﾐﾝｸﾞｸ MM2e-/5ow)2025/05/22(木) 10:22:36.52ID:T0sTcZ3bM
gemma3-12b-itの調整してみようとcolabでロードしたらgpuメモリバカ食いして
A100でもほぼまともに動かないんだけどgemma3の仕様？
他のモデルの同規模モデルならこんなメモリ使わないんだけどな
0180名無しさん＠ピンキー (ﾜｯﾁｮｲ fcfb-Bvsn)2025/05/22(木) 16:01:50.83ID:MqaDOyYa0
Berghof-NSFW-7Bでエロエロ小説を生成してるんだけど、このモデルはどんな要求でもこなしてくれるんだけど、コンテキスト長が4096なのだけが唯一の不満点。
こういうほぼなんでもOKのモデルで最大コンテキスト長がもっと大きいモデルってあるんかな
0181名無しさん＠ピンキー (ﾜｯﾁｮｲ e281-fjSQ)2025/05/22(木) 19:05:01.15ID:rh/uH6OR0
ローカルだとqwq 32Bがロングコンテキストのベンチが良かった気がするからqwq系かね
0182名無しさん＠ピンキー (ﾜｯﾁｮｲ 056b-Y0zr)2025/05/22(木) 21:05:39.26ID:PK2p9HAo0
掲示板の書き込みでshift-jisとutf8の変換で文字化けしているようです。
以下のメッセージを、意訳せず論理的に元の日本語に戻して。
前後の話題としては、M4 MaxのMacBookPro(MBP)とRyzenでLLMを動作させる話題があったのでその関係かも。
>>175 を渡す

Qwen3-32b
M4 MaxのMBPではLLMがMacで実行できるが、Ryzen搭載機でもLLMをMac上で動作させる。

c4ai-command-a-03-2025
M4 MaxのMBPはまだ高嶺の花ですが、Ryzenの方がLLMはMacの壁が厚そうですね。

一応 GPT4.1
M4 MaxのMBPで動かすのとRyzenの自作機でLLMを動かすのは、Macの方が有利だったりする？

ちなみに文字化け変換サイトで正解がでるよ。暗号解読が得意なLLMってあるんかな？
0183名無しさん＠ピンキー (ﾜｯﾁｮｲ 007a-jzjh)2025/05/23(金) 00:50:32.06ID:I8MvikNQ0
llmを解読の補助に使うなら復号までは機械的にやって意味の通る物が吐き出されたかどうかの判定に使うのが良さそう
0185名無しさん＠ピンキー (ﾜｯﾁｮｲ ef64-oPLX)2025/05/24(土) 00:07:54.07ID:bdaqM82G0
Project Wannabeでロリエロ小説生成に向いたモデルってどのあたりでしょう？
VRAMは16GBx2です。
0186名無しさん＠ピンキー (ﾜｯﾁｮｲ 3fec-oPLX)2025/05/24(土) 14:53:57.04ID:j2cdjv2K0
mistral nemo 12bベースのwanabi mini 12bを公開したぞ　 12GBもあれば快適に動くとようになったはずや　24B版も前の宣伝から更新しているので合わせて見てほしいで　量子化の種類も増やしたで
https://huggingface.co/kawaimasa/wanabi_mini_12b_GGUF
特定の形式に特化したFTモデルだからkobold経由の以下のGUI以外では多分まともに動かないので注意や
https://github.com/kawaii-justice/Project-Wannabe
学習時のコンテキスト長は32Kである程度長い文章でも扱える+チャット形式の生成ではないためマルチターンによる性能低下も発生しないから小説生成にはこの方式が最適やと思ってるで
とりあえず試したい人はベンチマーク代わりにお気に入りの小説を本文欄にコピーしてレーティングだけを設定して続きを書かせてみてほしいで結構良い線いってるはずや　自分の所感やが12B版は24B版よりも低い温度にするとちょうど良いで
0187名無しさん＠ピンキー (ﾜｯﾁｮｲ 3f02-oPLX)2025/05/24(土) 20:37:11.62ID:e3a5IQWJ0
>>186
いただきます
0189名無しさん＠ピンキー (ﾜｯﾁｮｲ e3c6-nh/d)2025/05/25(日) 02:03:12.82ID:YaNnPRND0
SillyTavernでGoogle APIの時は日本語で会話できるんだけど、LM Studioサーバーに繋いでポート経由でQwen3 30B A3B使ったら全部英語になった…なぜ？
0193名無しさん＠ピンキー (ﾜｯﾁｮｲ e39e-GcMG)2025/05/26(月) 12:14:43.03ID:mXH4e4ZZ0
Ryzen AI MAXはMACのM1 MAXみたいな性能でもしょうがないけど
Radeon AI PRO R9700は2枚挿したら画像生成能力もRTX 5090に近いものになって欲しいな
今のところは無理そうだけど
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況