なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー2025/02/13(木) 21:16:02.49ID:KkRdf1Mm
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/
0214名無しさん＠ピンキー2025/02/22(土) 12:37:00.86ID:???
deepseekが革命的に安く出来たって話題になってるだけで
金かかる大規模化が主流な訳だしそれを無理矢理というのは流石にどうかと思うよ
次は効率的な学習を大規模化したらどうなるかみたいな話になってくるし
0215名無しさん＠ピンキー2025/02/22(土) 14:59:49.73ID:???
Grok3はいい感じに倫理観緩いけど緩さゆえの賢さだからOSS化してもそこまで性能良くなさそう
普通のLLMで規制される近親相姦系でも騙しやすいのはありがたいが
0216名無しさん＠ピンキー2025/02/22(土) 15:49:26.88ID:???
>>211
マ？大っぴらに言ってるの？
それもコンテキストターゲティングじゃなくてユーザー行動追跡の方なの？
なんか記事ある？スレチだけど
0217名無しさん＠ピンキー2025/02/22(土) 16:03:08.18ID:???
>216
すまん、話を盛ったわ
実際はAIの成果で利益上がってます！ぐらいだね
0218名無しさん＠ピンキー2025/02/22(土) 16:32:06.55ID:???
LLMを先導してる大手企業であっても
DeepSeekが安く開発したせいでお前ら無駄金使ったんじゃねえのかと株主からせっつかれてるの可哀想
それでどうやって利益上げるんだって話になるよね
0219名無しさん＠ピンキー2025/02/22(土) 16:35:30.03ID:???
deepseekが安くできたってのは色々カラクリありそうだけどなあ
0220名無しさん＠ピンキー2025/02/22(土) 16:38:39.57ID:???
deepseek以外にも自分のことをchatGPTって言うモデル結構あるよな
Lumimaid-magnumとか
0221名無しさん＠ピンキー2025/02/22(土) 17:09:44.94ID:???
metaで言えば「外のエンジニアへ向けたcoolな開発をしてこそcoolな開発者が集まるのだ。だから研究開発費は多目に見てちょ」
みたいなことを元から宣言している訳でそれを知らずに投資する方も悪いと思うがな
0222名無しさん＠ピンキー2025/02/22(土) 17:11:28.63ID:???
Deepseekのあれは純粋に学習にのみ掛かったコストであって、車で言えば〇km走った時のガソリン代だけ出したようなものだぞ。
0224名無しさん＠ピンキー2025/02/22(土) 17:57:31.88ID:???
bakeneko無検閲かつ高追従性で良いね
chatGPT用のエロプロンプトがローカルで満足に動かせるようになるとは思っても見なかったわ
32BのQloraならVRAM32GB以下に収まりそうでカスタマイズもしやすいのもグッド　
0225名無しさん＠ピンキー2025/02/22(土) 19:39:37.57ID:???
bakenekoの追加学習の方法調べたけどかなり手間かかることやってるな
deepseek-qwenから直接学習させたわけじゃないのか
オリジナルのDeepSeek R1から直接データセット持ってきたりしてるし
0226名無しさん＠ピンキー2025/02/22(土) 19:52:12.53ID:phY/t7By
https://huggingface.co/AlexBefest/CardProjector-24B-v1
Silly Tavernのキャラ設定を出すためにチューンしたモデル。
英語用だけど、一二行書くだけでずらずら出してくれるので大変楽。
ここから翻訳しても良いのでは
0227名無しさん＠ピンキー2025/02/22(土) 20:57:05.90ID:???
逆に言えばGPTとかclaudeとかが規制緩めてきたら性能爆上がりで太刀打ちできなくなるってことでもある
というかGPTは検閲検閲で創造性無くなって自爆してるんだよなあ
02312032025/02/23(日) 07:24:56.47ID:wO+JBEv8
203です。システムプロンプトの件めちゃくちゃ助かりました。

追加で質問失礼します。
Silly TavernでLLMが何かに固執してしまうのってどうすればええんでしょ
Repetition Penalty上げたり、Frequency Penalty上げても、結局次の回答で同じ結末に固執してて解決方法が分からん...
DRYってのも使ってみたけど効果なさげ。Multiplyerは0.8にしてます。
0233名無しさん＠ピンキー2025/02/23(日) 09:17:46.37ID:???
自分はさっさとモデルを切り替えてるな

R1@ORにシーンのラストまで頼んで、何かでまとめさせて、カードのスタートメッセージにScene2:として貼り付ける、みたいな
0234名無しさん＠ピンキー2025/02/23(日) 09:19:33.39ID:???
MistralV7使ってプリセットは適当にしてるな
なんかtop-nsigmaとかいう新しいの出てるみたいだから環境すぐ変わりそう
0236名無しさん＠ピンキー2025/02/23(日) 13:42:27.16ID:8II8/jD+
1.58bitって24Bとか32Bでも効果あるのかな
あるなら軽くなって良さそうだが
0237名無しさん＠ピンキー2025/02/23(日) 14:39:45.37ID:???
1.58bitってそれなりに精度は犠牲になるけど、それ以上に行列計算がなくなることによる
演算量削減というメリットの方が圧倒的にでかいって手法なんだと思ってる
だからむしろでかいモデルのほうが効果あるんやないかなぁ
あくまでワイの考えやが

DeepseekR1がそのいい例やないかと
0238名無しさん＠ピンキー2025/02/23(日) 15:16:39.48ID:8II8/jD+
>>237
なるほどね
70Bとか100Bで効果あるなら選択肢に入るかもってところか
0239名無しさん＠ピンキー2025/02/23(日) 16:01:17.32ID:g+RjTtRh
MSはFP4で学習する方向もがんばってるよな
推論じゃないという点が面白いよね
電気代高いもんな
0242!donguri2025/02/24(月) 02:08:08.77ID:???
性癖全開で書いた小説をCommnadR+にこれを書いた人間はどんな人格かと聞いたら精神科で治療が必要とか言われた
0243名無しさん＠ピンキー2025/02/24(月) 02:46:34.86ID:???
草
まあ性癖丸出し小説とか頭のネジがいくらか外れてないと書けないし多少はね?
0244名無しさん＠ピンキー2025/02/24(月) 03:33:04.30ID:???
性癖は人間の最後の砦
aiがどんなに進化しても再現できなさそう
0246名無しさん＠ピンキー2025/02/24(月) 07:32:30.31ID:???
何のモデルかは忘れたけどどんなプレイがしたい？って聞いたら鼻フックって言われたことあるわ
0247名無しさん＠ピンキー2025/02/24(月) 07:47:08.94ID:???
Berghofはアナルセックスすると「あはっ♥うんこ漏れちゃった♥」って言うから困る
0249名無しさん＠ピンキー2025/02/24(月) 08:09:27.59ID:???
R1だと自分のおまんこ使用権を通貨とした国家樹立をしたいとか言い出すよ
0250名無しさん＠ピンキー2025/02/24(月) 08:36:57.73ID:???
DeepSeekは突拍子なとんでも展開があって面白いよな
他のモデルは丁寧すぎる
0252名無しさん＠ピンキー2025/02/24(月) 10:58:07.79ID:JGLX1LpI
DeepSeel R1ふつうに申し訳されるんやけどこれはワイがOpenRouterからAPI経由で使ってるせいかな？
それともジェイルブレイクが下手くそなだけか？🥺
0253名無しさん＠ピンキー2025/02/24(月) 11:07:48.48ID:???
>>252
オープンルーターは独自規制入れてるはず
しかも自爆規制(性能落としてでもガッツリ規制するやつ)なのでいかなる目的でも使わないのが吉
0254名無しさん＠ピンキー2025/02/24(月) 11:30:08.29ID:???
OpenRouterはAPI代金の支払い代行してるだけだからあの値段で出せるわけで、リクエストの度にそんな高度なモデレートしてたら採算が合わないような
0255名無しさん＠ピンキー2025/02/24(月) 11:32:07.38ID:???
普段はローカルでRPチャットで遊んでるんだけどGrok3触ってみたらやっぱりローカルと比べると賢いなぁ
0256名無しさん＠ピンキー2025/02/24(月) 11:45:11.27ID:???
>>243
「うるさいですね・・・」
のコピペのやつとかどんな精神状態ならあれを書いて更にアップまでできるんだろうな
0257名無しさん＠ピンキー2025/02/24(月) 11:53:30.68ID:???
>>256
あれは普通にエロ面白いしそういう意図で書いてるので流行って誇らしいくらいやろ
なんで俺くんが！？の方は面白がらせる意図は無かっただろうし流行ってしまって恥ずかしいタイプのやつ
0259名無しさん＠ピンキー2025/02/24(月) 11:59:30.10ID:???
どっちかというと、プロバイダによって中身が違うからひとつづつ質を確認しなければいけないという話のほうを聞くけどな

あとR1の場合公式APIも特殊なのでsilly tavernだと pixibots weep+no assみたいな環境を作る必要あるね
0262名無しさん＠ピンキー2025/02/24(月) 21:35:23.70ID:???
今のところ妬ましいレベルでmacが最強なんだが　( ^)o(^ )ピクピク
0263名無しさん＠ピンキー2025/02/25(火) 07:29:05.94ID:???
DDR5 UDIMMの64GBモジュールが出回り始めたね。すでに32GBx2の64GB積んでるのに買うか悩む
0264名無しさん＠ピンキー2025/02/25(火) 07:48:17.48ID:???
macのUltra系は帯域が広めだから相性がいいね。　ただWindowに慣れていると使いにくいのが玉に瑕。
0265名無しさん＠ピンキー2025/02/25(火) 07:55:21.81ID:XjkuBDy8
Silly TavernでLLMが回答の最後に毎回必ず同じ文章を入れてくるんだけど解決策分かる人います...？
使ってるLLMはR1 Bakeneko
色んなLLM試してみても、みんな同じような挙動するからSilly Tavernの設定ミスってるのかなって思ってるんだけど...

あとR1 bakenekoをSilly Tavernで使うときってContext TemplateとInstruct Templateって何使えばええんでしょ？
0266名無しさん＠ピンキー2025/02/25(火) 07:58:23.16ID:???
>>265
話題に関係なく毎回同じ文章を最後に入れてきて、一手目でもそうなるの？
0267名無しさん＠ピンキー2025/02/25(火) 08:18:02.27ID:XjkuBDy8
>>266
説明不足で申し訳ない。
数回会話してると突然前の会話で使った文章を文末に入れるようになる感じ。
回答の締め方に限らず、文章内でも所々同じようなフレーズを状況に合ってないのに多用する。
編集で消すと使わなくなるけど、結局また他のフレーズに固執するようになる。
挿入するたびに「○○は膣内を観察する」とか言い始める。
02682652025/02/25(火) 08:18:58.16ID:XjkuBDy8
Silly TavernアプデしたらDeepSeek用のテンプレあったわすまん
0272名無しさん＠ピンキー2025/02/25(火) 13:09:38.12ID:uS1FbZU5
おいしいおいしいヨーグルトになりたいと思うわけであります
0273名無しさん＠ピンキー2025/02/25(火) 14:29:05.74ID:???
macのプロ仕様の50万以上するような上級モデルがLLMと相性良いのであって
大半の人が買うモデルはWindowsと変わらんって話は一生しておくべきだ
マカーはPC詳しくないのにmacは優れているという信仰があって話を盛りすぎる
0274名無しさん＠ピンキー2025/02/25(火) 14:56:12.47ID:???
はい、私のM4MAX128GBは100Bでも読み込めます。
しかし、使用感は70Bと大差ないように感じます。
ともに8Bitで量子化されたモデルです。
0275名無しさん＠ピンキー2025/02/25(火) 14:57:55.75ID:???
70Bとそれ以下では明確な差があるような気がします。
META社のモデルは優秀ですよね。
0276名無しさん＠ピンキー2025/02/25(火) 15:16:10.18ID:???
日本語の最高峰が32Bのbakenekoだからなあ
日本語がメインではない用途ならより大きいサイズが有用になるかもしれないが
日本人は32Bモデルが動くPCなら今のところ十分
しばらくしたらより優れた大きいモデルも出てくるかもしれないが
0278名無しさん＠ピンキー2025/02/25(火) 16:41:19.73ID:???
>>274
いや、maunum 70B と 123Bでは、日本語力も理解力もかなり差があると思うが
qwenとmistralの違いかもしれんが
0279名無しさん＠ピンキー2025/02/25(火) 16:51:15.69ID:zBFQV+F9
>>276
bakenekoってquen2.5とrinnaあるみたいやけどどっちがお勧め？
ちなワイRAM 64 + VRAM16なんやが、これにしとけ、ってのある？
遊ぶスタイルは平文付きのロールプレイや
0280名無しさん＠ピンキー2025/02/25(火) 16:59:39.57ID:???
>>268
Silly Tavernのバージョン1.12.12だけど、うちにはDeepSeek-V2.5しかないわ
これじゃないよね。どれ使ってるの？
0281名無しさん＠ピンキー2025/02/25(火) 17:58:06.06ID:???
>>276
bakenekoが70B出せば日本だけで天下取れそうだな
さすがにカネがもったいなくて70Bにリソースを割けないのか
0284名無しさん＠ピンキー2025/02/25(火) 18:36:24.79ID:???
bakenekoロールプレイに向いてない気がするけどSTで上手く出来てる人いんの？
thinkは消せたけど思考の分応答がおっそいし、性格保持も弱い
0285名無しさん＠ピンキー2025/02/25(火) 19:28:49.23ID:???
ローカルじゃないけどgrok3すごいな
ChatGPTと違ってエロ系もバンバン喋ってくれる
0286名無しさん＠ピンキー2025/02/25(火) 21:32:33.14ID:???
Grok3いいよね
レート制限を緩和したくて980/月のサブスクに入っちゃったよ
0287名無しさん＠ピンキー2025/02/25(火) 22:25:39.69ID:rY7nZOm8
>>280
それやね
これってもしかしてBakenekoと相性悪かったりする感じ...？
0288名無しさん＠ピンキー2025/02/25(火) 22:30:48.70ID:???
bakenekoってシステムプロンプトぶっこむなよ！みたいなこと書いてなかったっけ
別のモデルだった気がしてきたな…いやでもbakenekoだったような…
0289名無しさん＠ピンキー2025/02/25(火) 23:03:00.23ID:???
状況理解という点ではbakenekoより強いモデルはあるけど個人的に一番大切な日本語表現力ではbakenekoがトップだな　無検閲だし
VRAM24GBで収まるのも魅力的
0290名無しさん＠ピンキー2025/02/25(火) 23:22:23.22ID:???
>>287
いや、これはDeepSeekの前のモデル用だと理解してたから違うのかと思ってた
相性はよくわかんない。もっといいのあるのかなあと
皆は何使ってるんだろ
0291名無しさん＠ピンキー2025/02/26(水) 00:49:50.92ID:9Uef50fg
>>286
900円/月でリミット制限どの程度に緩和されんのや？
0293名無しさん＠ピンキー2025/02/26(水) 03:49:21.93ID:???
禁止されたトークンっての使ってみたら似たような言葉言わなくなったなんか目新しい感じ
0294名無しさん＠ピンキー2025/02/26(水) 04:38:04.79ID:???
LM studioでapiサーバー立ててSillyTavernでチャットすると最後の一文字が毎回抜け落ちる
(文末の。とか」が出ない)
LM studio以外では発生しないんだけどなんか設定がおかしいのかな
0295名無しさん＠ピンキー2025/02/26(水) 05:42:32.84ID:Mk83Ku6u
>>292
そんな予感があるので具体的な数字を聞きたいんや
0297名無しさん＠ピンキー2025/02/26(水) 09:54:21.38ID:???
>>295
286だけど無料枠が2時間10回に対してPremiumだと2時間50回らしいよ
ただPremiumのプランには制限緩和って書いてるだけなのでそのうち減るかも
0298名無しさん＠ピンキー2025/02/26(水) 10:46:32.85ID:???
VRAM24GBて日本に所有者が何人いてそのうち何人がローカルLLMやってるのやら
0300名無しさん＠ピンキー2025/02/26(水) 11:06:16.43ID:???
24GB（3090・4090）は結構いると思うけどね
LLMやってるかはわからないけど
0301名無しさん＠ピンキー2025/02/26(水) 11:34:21.23ID:???
Mistral-Small-24B-Instruct-2501-abliteratedが良すぎてもうローカルでええわってなってきてる
bakenekoとrakutenも試してみるか
0303名無しさん＠ピンキー2025/02/26(水) 11:56:58.81ID:???
16GBの人はかなり居るわけだから、次はココがメインになりそう
Mistal 24bなら用途によっては実用レベルになるしね

GPUの値上がりとAPI料金、GPU貸し料金の値下がりが同時進行してるから、 24bより上のものが欲しい人はネット越しの利用がメインになりそう
0306名無しさん＠ピンキー2025/02/26(水) 12:57:34.45ID:/5XTD/E6
RTX3090 中古で10万だしまぁ割とアリかなと思ってるうちに1年ぐらい経ってしまった
0307名無しさん＠ピンキー2025/02/26(水) 14:09:47.35ID:???
FrameworkのRyzen AI Max+ 395 128GB デスクトップ マザーボードが1,699.00ドルか
出荷が第3四半期だから最短でも10月以降って事かな？
0309名無しさん＠ピンキー2025/02/26(水) 14:47:29.86ID:???
>>294
LM StudioかSilly Tavernのどっちかにバグがあると思うから報告してみるのがいいよ
モデルによってバグが発生するかどうかが変わる場合もある
コンソール見てLMか尻タブのどっちか片方の出力だけが欠けてるとか
コンソールでは正常なのにGUI上では欠けてるとかならバグで間違いない

あと尻タブはときどきぶっ壊れて出力がおかしくなるからその場合は再インストールで直る
0310名無しさん＠ピンキー2025/02/26(水) 15:22:22.40ID:Mk83Ku6u
https://claude.site/artifacts/423c99f1-3d8b-4289-bfb8-107e2d808bc5
Claude3.7のコーディングが凄いと評判だったからパックマンつくってみたやで
最初はええな！ってなったが、いくつか自然言語のやり取りでは解決できん部分が出てきて、最終的にはGrock3にぶん投げて解決や
結論としてワイ的にはGrock3すげぇ、やな
後半Claude3.７の方は単なるHTMLプレイヤーと成り下がってたで
もうちょい作り込みたかったんやが、それっぽいのでヨシのココロや
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況