なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 そもそもVRAMじゃないし何もかも間違ってるぞ
強いAPUに128GBメモリ版が出てその内96GBをVRAMとして振り分けられるってだけ
速度は所詮DDR5だから遅い
値段は最上位ノート扱いだろうから30万〜じゃね？ >>737
Strix Halo APUは256ビットのLPDDR5Xメモリコントローラーを備え、273 GB/sの帯域がある
通常のDDR5の5倍、M4 Maxの0.5倍くらいの帯域じゃない？ Haloが成功すればMaxだのUltraだのが出る流れかもしれない Intel ARC B580 VRAM12GBメモリ帯域456GB/sで249ドル
まあまあ安いな M4 Max 並みの帯域幅か。
53万するM4 MaxのMacbookPro だと
ユニファイドメモリ36GBから28GBほどGPU割当てできる。
ARCx2個分24GBだとするとGPUだけで500ドル？高くない？ あ、桁が違った。日本円で高くても販売価格10万くらいか。
安いな。 NemoMix-Unleashed-12B
エロ小説ならこれがお気に入り 次スレ立てる時はその辺のおすすめモデルを入れて>>7を更新したほうがいいな >>744
12歳になり切って百合エロチャしようと思ったらかたくなに拒んでくるんだが
初期設定しくったんやろか >>746
そのモデルは使ったことないが
最初に性格設定指定しとけば色々できる あんまり詳しくなくて興味本位で聞くんだけど
RTX4090買うよりRadeon7900xtx2,3枚買った方が速度は遅いけど色々できたりする？
てかこれやるくらいならmacでメモリ盛った方が捗る？ >>746
普通に12歳百合エロチャ出来るぞ
キャラの設定をミスってるかキャラの性格に合わない攻め方をしてるんだろう
性格次第では突然のエロ行為は拒絶するけど、徐々に盛り上げていけばエッチなことをしてくれる場合があるぞ
もちろん性格エロエロにしておけば突然のド変態プレイでも簡単に応じてくれる >>748
それができればみんなVRAM価格問題に切り込めるんだけど
CUDAコアってのを紐解けばRadeonはねーわになっちゃうのよ >>747,749
ｻﾝｶﾞﾂ
もうちょい初期設定攻めてみるわ
GPTの設定プロンプトだけだとちょっと厳しかった 7Bや12Bでもいいモデルが出て来たぞって言われるたびに比較してNinjaの優秀さを再確認されせられる日々
あそこって新しいモデル公開しないのかな？ https://huggingface.co/Local-Novel-LLM-project/WabiSabi-V1
新たなモデル、WabiSabi-V1を公開いたしました。
128k コンテキスト長に対応しています。
ぜひお試し下さい。 >>751
マジでその辺の経営判断ミスったよな
CPU屋さんだから自社のGPUがそれを代替するなんてけしからんってやってる間にNVIDIAに独占を許した >>753
>>754
言ってたら新モデル公開されるっていう嘘みたいなタイミングだなw
7Bモデルをたくさん出してくれてるけどこれは何向けというかどういう狙いで作られたモデルなんだろう？ 音声文字入力で会話したくてマイク買ったけど
方言交じりの口語は音声認識しにくいしAIにも通じにくいしで全然ダメダメだったわ
独り言を言いながらキーボード打ってる方がより会話してる感じがする始末 パープレsonnet隠語お断りされ始めたわ
再脱獄もなかなか通らない ローカルLLM面白いすね、エロはもう何でもってのはわかりました。
他に本家じゃ規制されてるけど聞いたら面白い答えしてくれる質問ないですか？ 検閲モデルで規制されてるのなんてエロ関連を除くと犯罪行為に繋がるしょうもない事柄ぐらいやろ お前ら本当にエッチなことできるのか？
俺は告白すら振られ続けてるというのにお前らは お馬鹿なモデルが規制かかってる場合はお馬鹿故に聞く耳持たずでダメなもんはダメの一点張りだからそのモデルは諦めたほうがいいよ
賢いモデルは融通が利くのでどうとでもなる 未だに尻タブの使い方がよく分からないんだけどさ
>>754のwabisabiを使うとしたらどんなコンテキストテンプレートにすればいいんだ？
koboldだとテンプレにvicunaが用意されていたり、チャットモードでもしっかり機能するんだけど
尻タブだと<|asistant|>みたいな表示が出てくるんだよな wabisabi使ったことないからわからないけど、普通にtext-generation-web-uiとかバックエンド側で読み込んだ時にコンソールログに出るでしょ
それ見て合わせれば良いんじゃない？（magnumとかlumimeidはllamaだったかmistralで、Lumimaid-Magnumがなんでかtekkenだっけ・・・？）
わからなければコンソールログをChatGPTに見せて聞けば最適じゃないにしろ教えてくれるはず 例えば、俺が今読み込んだ「anthracite-core_magnum-v4-123b-Q3_K_L」のログには、「tokenizer.chat_template」ってところで以下URLのテンプレートが指定されてる
（SillyTavernでSystemとかuserで分割されているやつ全載せだからめっちゃ長いぞ。長すぎて直に書き込めんかった）
これに合ったテンプレがあればそれを選べばいいし、なければ自分で作ってしまえば良い
（ってか、確か「Available chat formats from metadata: chat_template.＜指定テンプレート名＞」って感じの情報が出ていて、それを読めば良いはずだったんだが、今読んだやつにそれがなかった・・・）
https://rentry.org/tokenizer_magnum4 >>219-220
gptにログと尻タブの参考URLとか見せたけどいまいち判然としないや
回答内のコンテキストテンプレートも明らかにおかしい形式だし
バックエンド側のログでそれっぽのはこれかな？
The reported GGUF Arch is: llama
Arch Category: 0
これはllamaで良いってこと？ NVのハイエンドGPUとかと、MacのLLMの処理トークン数載ってるけど、Macで十分だなこりゃ。
GPU複数枚でのLLM処理がMacM2 Ultraと大して変わらない。
https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/
FLUXとか画像処理に使うならGPUの方がいいけど、LLMだったらMac一択か。
金持ってる人はM3 Ultra待ちかね。
1枚で150万するA100複数枚と、処理トークン数並びそうw M3 UltraはTSMCが N3Bでどえらい苦労してUltraがほとんどとれないようだ
あまりにとれなくてTSMCが取れた分だけお金くれればいいよ、とAppleに通達したくらい
M4はN3Eで作られててN3Bよりちょっと幅広なんだけど
CPUの設計のほうで盛り返して(Arm8 > Arm9)歩留は劇的に改善したらしいのでM4 Ultraはありうる(希望
N2がすでに歩留60%とかホームランがでたようで、AppleM5がすごそうだ(再来年か、その先) mac持ってる人ほど遅すぎて使い物にならんからLLM目的で買うなって言ってなかったっけ 遅くない？
そりゃVRAM溢れてメインメモリ使ってる状態よりは余程良いけど 遅いけど4090を8枚とかよりは圧倒的に安いからね LLM目的で買うな、というのはメインメモリが32GByte程度ならメモリ不足で動かないだけ
ミスリードというほどではないけど、悪意あるよなw
128GByteのモリモリマシンなら、そこそこ動く
>>772 の表の通りの速度ね
あと長いプロンプトを食わせるとmacは遅くなる、とかいう嘘つきもいる
現状公開されているLLMの仕組み上、一度全部の単語の重み計算しないとダメだからそう見える
4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから
7Bとかちいさいのばっかり使ってるから速く見えるだけ
macのmlx版なんか目で追えないほど(3.2B 200-300 token/s )速いぞ
ttps://lmstudio.ai/blog/lmstudio-v0.3.4
長いプロンプトでも全部解析しないですむ方法がわかってきたから、その辺は改善するかも
これはmacに限らずAIの電力削減で劇的な効果があるから研究者が頑張ってる どの程度のトークン毎秒を実用と考えるかだなあ
英語だと5トークンでもギリギリ使えん事ないけど効率悪い日本語だとウンチだし NvidiaGPUに比べてMacのPrompt Evalは実際だいぶ遅いので
コスパとかを無視して十分なVRAMがある環境で比較するならMacを買うなという話にはなるけどね…
この辺は技術的な部分で解決するかもしれんしM4Ultraで劇的に伸びるかもしれん 持ってない人間はやたらmac褒めるよねほんと
なぜ企業がH100の争奪戦してたりnVidiaの株価が天井知らずでなのかを考えれば
そんなうまい話は無いって分かるだろうに 言うてH100でLLM動かすなんて個人には無理やし LLMと画像生成の混同
処理能ではなく帯域で詰まってる現状をあまり理解されてない
ちゃんと上位製品選ばないとGPUと張り合えるほどの帯域はない
マカーが◯◯ならMac！(俺は使ったことないけど)とか吠えがち
この辺が混ざって悲劇が起きる >>783
>>772でちゃんとLLMと画像処理について別で書いてるけど。
MacがLLMだったらA100複数枚に追いつくレベルになりそうだからコスパ最高だろ。
どっかおかしいか？ 企業がH100使うんは新モデル作るのに学習いるからで推論はそのうちNPUに置き換わるやろ おかしいのはマカーあるある話とMacでAIって話題のあるある話を
自分の持論否定されたレスと思い込んで食いついてくるお前や どうせmacも突然arm捨ててrisc-vに行くんだろw
いまmac使ってる人がllm使うならいいけど
llmのためにこれからmac買う気にならん 持論の否定？
リンク先見ないで書き込んでるなら、レス付けた俺が間違えてたわ。 >4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから
>7Bとかちいさいのばっかり使ってるから速く見えるだけ
>macのmlx版なんか目で追えないほど(3.2B 200-300 token/s )速いぞ
>3.2B 7B Q8モデルで同程度のサイズでも生成速度が変わってくるのは
モデル内部の処理なんだろうか コンテキストサイズ変えてないなら多分そう
27Bでサクサク動くのに22Bでもやたら重いモデルあったしな 速さを求める人はローカルLLM使わんやろうし、ローカルはGPU+CPUでええやろ
GPUには他の使い道も有るし
macにはそれがない 速度求めるならrunpodとかでGPU借りれば良い話だしな
A100なら一時間200円弱やろ?一日３時間借りても月2万以下やしmacより良い選択肢になり得そうや
というか100BクラスのLLMはファインチューニングも少ないし賢いだけで日本語エロ向きじゃなくてすぐに飽きるからまずはクラウドGPUでお試しが良いぞ
仕事でコーディング用に使いたいとかなら別やが cohere自前でデータセンター持つんや儲かってるんやな >>773
へぇぇ、じゃあM4 Ultra出ても2026年まで待つのが良さそうか。 AI用のアクセラレーターが出てくる未来は来ないのか？
手頃な値段でPCIe辺りにさせば動くやつ
さすがにVRAM目当てでグラボ何枚も買うのは非効率すぎる PCIe5でも32GT/sで16レーン使っても大まかに64GByte/sしか転送速度でないからx86のRAMと比較してもまるで足りないんだよ VRAMがお高いからどんなAIハードが出てもお高くなるで 実はgddr6って1gbあたり2ドルちょいで売られてるんだよな
6xとか7の値段がどれくらいかは知らんけど殿様商売だよこれ 部品の原価で語れる規模の製品じゃないよ…
食品なんかとは違うんだ 本当に殿様商売できるんなら
参入する企業も出るはずなのにそれがないってことはそういうことや 中国では実際規制やらgddr買えるやらで換装するシノギがある intelがかつて自分がryzenで多コアボッタクリ崩されたときみたいにVRAMの価格破壊せんかね いま価格com見たら4090が二店舗、50万近くするのね
ますますLLMローカルの裾野が狭くなっていく…… llmを個人でやる方が異端だし流行らんでしょ
非エロなら普通のサービス使えばいいんだし
エロチャットのために数十万のハード用意するのって正気じゃねえよな というか大手の規制なんて対策すればいいだけだしな
規制自体どんどん緩くなってきてるし、抜け穴もわざと残されてる感がある Command R ＋のネット利用に限界を感じたんでローカルLLM試してるけど文章は圧倒的にMagnumさんのがいいな
ただ、難しい指示はCommandR+より守れない
「調教モノのプロンプトの構築」と「文章を元にStable Diffusionで画像生成する」が現状の課題なんだけど、
まーじで命令無視してすぐ堕ちる magnum系統は割と即落ちな感じ
あとおま環かもしれないけど、fuck me, fill me, bread me みたいな言い回しを好むんだよね パラメータ数が似たようなレベルなら質と自由度は基本的にトレードオフだからな
極端な話シェイクスピアの文しか学習させなければシェイクスピアの文をそのまま出す最高質で最低自由度のAIになる >>812
ジェイルブレイクに対応できるほど追加学習で規制するとアホになる事が分かってやらなくなったのでは >>813
文章を元に画像生成っていうとあちらさんの>>33かな？
精神ゲージ的な数値管理でも無視される感じ？
一応、指示は英語の方が理解してもらいやすいから調教関係のプロンプトを英語化してみるとちょっと変わるかもしれん >>813
ある程度凝った遊び方は基本自分でアプリなりブラウザアプリなり作ればええと思うで！
一般的なローカルLLM用のアプリは会話履歴の全てや、要約＋直近の会話をプロンプトとして渡すから、コンテクスト内での堕ちに繋がる要素の占有率が高くなって大事なインストラクションの重みが軽くなっちゃうわけやろ？
尻タブなんかはリマインド入れたりもできるけど、それでもアカンならチャットのためのコンテクストと、画像出力のためのコンテクストを切り離して、画像出力コンテクスト側には最低限の情報しか渡さんようにすれば行けるとおもうで
ローカルではなく、GPT3.5turboとかの頃の話やが、パラメーターに関してはアプリ側で管理して、ターンごとにパラメーター（尿意、便意、所持金、空腹度）をプロンプトの最後にぶら下げて参照させる形でそこそこ楽しく遊べてたで〜 英語にしたらいい感じかも。ちょっと色々試してみる
使用する精神パラメータ：キャラクターに決められたそのシチュエーションで使いそうな精神パラメータの内、数値が一番高いものを選ぶ（誇りだの正義感だの）
本能パラメータの決定：基準を元にシチュエーション毎にどのような感情が相応しいか全ての状況パラメータの値を再決定し、その最も高い数値を選ぶ（恐怖だの苦痛だの快楽だの）
シチュエーション強度の決定：そのシチュエーションにおける行動選択の心理的抵抗の値を、基準を元に決定する（何もなし：0 親兄弟を殺す:100 とかで）
行動決定値： 使用する精神パラメータ - 決定した本能パラエータ + シチュエーション強度 = 行動決定値
行動決定値が0以上で精神パラメータの項目優先、0未満で本能パラメータ優先
みたいな感じにして、最後行動を評価して精神パラメータを変動させるプロンプトだったんだけど
これに上下させる基準だの、文中での表記の仕方だのを指定してるとプロンプトが長くなって複雑化して、AIが完遂を放棄するようになるんよね
本能パラメータをもっとシンプルに、複数項目にしてＡＩに一個数値ごと考えさせればいいのかもなぁーとか試行錯誤中 gemini 2.0が出たね
生徒会恋愛問題も英語ならlv2まで間違えなかったから4o並みか超えるぐらいの頭は持ってそう
いつgemmaになってローカルに下りてくるのかは知らん 尻タブでチャットしてると「…」「！」「？」の代わりに半角の「...」「!」「?」が使われて表示に時間がかかるんだけど
これって回避方法ある？ smooth streamingを切るかスライダーをFastへ動かす エロ絵生成AIに強く興味を持って自作グラボ板に入門相談したらここをロムしろと教わったので勉強させてもらいます
シンフォギアのエロＡＩ画像を自給したい ここはテキスト生成のスレだから画像生成はここじゃないよ マジかごめんなさい失礼しました
つうかテキストなんてジャンルもあるのかすげぇな毎秒ブレイクスルー起きるじゃん AI画像生成でシンフォギアのキャラ画像作って
そのキャラとAIテキスト生成でチャットするんじゃよ
VRAMいっぱいあるならAI音声も組み合わせられる
Aibis Projectの簡単音声モデル生成が稼働し始めたらシンフォギアの声優のAI音声も楽に作れるかもね 【StableDiffusion】AIｴﾛ画像情報交換51
https://mercury.bbspink.com/test/read.cgi/erocg/1733844871/
多分こっちかな
画像も文章も使うぜってタイプ結構いそうだけども だからガチで１レス毎に俺内レボリューション起こすのやめてくれｗｗ
公式から供給終わった私的神作のAIエロを見て激震が走ったのにそんなんまで出来たらチンチン摩擦で溶けちゃう 本当にありがとう何か身につくものがあったらこのスレにも恩返しするわ ■ このスレッドは過去ログ倉庫に格納されています
