なんJLLM部 避難所 ★7
レス数が1000を超えています。これ以上書き込みはできません。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ >>950
8Bの方が言う事聞くかも…とな
悩ましいな qwen3 8b nsfw jpのベースモデルを>>777と同じ基準で比較したけど
なかなか面白い 勢い全振り 前文との文章の整合性とか前の喘ぎ方とか全部忘れてずっとアクセル全開で騒ぎまくる感じ
エロいというよりうるさい >>954
ファインチューニング前提なのかな
まぁベースモデルは基本的にそうではあるけども そのまま使うならERPで素材に使うならNSFWをチューニングしてどうぞってことじゃないのか 指示追従型じゃないモデルは
指示に全然従わなくて出力内容が滅茶苦茶になる？ >>959
速度アップ術というよりVRAM節約術やね
VRAMに乗り切らないサイズのモデル使ってるなら今よりVRAMに乗せられるようになるから結果的に速度が上がる、と
てことはVRAMに収まってる小型モデルでも今よりコンテキスト長を確保できるようになるんかな
めちゃ良さそうやん どのぐらいVRAM量変わるかこのページからだと分からんけど
書いてあるレイヤー数から考えると1割は削減できそうだな cohereのモデルがgemini2.5proくらい賢くなったら言うことない
来年には叶うかなあ 今気づいたがsarashina2.2-3bって何の制限もなさそう
llama.cpp+sarashina2.2-3b-instruct-v0.1-Q5_K_M.ggufで
特別なことせず叡智小説を書いてくれた >>954
もう少し使ってみたけどやっぱりエロ小説関連ベースモデルの性能だけで言えばmistral nemoが14b以下じゃ抜けてると思う
やっぱり数十万円規模の学習じゃbaseモデルが劇的に良くなることはないという 30b以上じゃないと汎用品としては使い物にならんな
小型モデルをFTして有頂天な奴らにはニーズが有るのかも知れないが非常にニッチな用途でしかない
ラズパイとか組み込み系の趣味に似ている そういや次スレはワッチョイかID出すようにせんか？
番号またいで研究結果報告してくれるニキもおるから
そっちのほうが追いやすいと思うんやが 汎用的な用途なら100bクラスでやっと劣化クラウドLLMになる感じやからな
30bクラスでも日本語になると途端にポンコツ化するんやからローカルの利用法がニッチな用途に特化していくのはしゃーない コマンドこれでええんかな？
!extend:checked:vvvvv:1000:512 スレチかもしれないけど今無料でAIエージェント試すならどの組み合わせがいいかな？ちょっと前にBoltっての試したけど、簡単な計算機すら起動できなかった…
やっぱLLM側の性能によるところが大きいよね >>973
ワイはエージェント使うほどじゃないからアレやけどClineとかCursorの方が名前を聞く印象……LLMの方が重要なんはそうやないかな
geminiの2.5proがたまに使うコーディングで一番すこやな、今は
あと、>>959だけどkoboldcppのGUIから
「Token」セクションの「overridetensors」に"\.\d+\.ffn_up=CPU"で多分だけど目論見通りになった >>959
これ試してみたんだけどIQ3、kvキャッシュQ4でVRAMぴったりだったのが
IQ4、kvキャッシュQ8まで精度上げれたわ GeminiやChatGPTみたいに
雑に指示をぶん投げても良い感じにそれっぽい小説書いてくれる、みたいのはローカルLLMでは無理だろうか
プロンプトを工夫して、何度も書き直しさせる覚悟が必要？
ChatGPTとか使ってた時もリテイクはやってはいたけど、それより回数必要な感じ？
このスレ来といて何だけど、時間効率だけ求めるなら
Gemini使う方が良い気もしてきてしまった
NSFWな小説執筆が必要な場合は脱獄する
CohereLabsのCommand系はAPIあるし、デモ使った限りではかなりユルユルに思える
でもGeminiだと似たような表現出がちな気もする
プロンプトが悪いのか、データが多過ぎて画一的になってるのか
ローカルLLMの方が学習データの個性出て、面白い応答出たりする事もあったり？ >>950
ERPの方で8Bと30B両方試してみたけど、明らかに30Bの方がいい感じだな
細かな表現力とか長い会話続けた時の初期の方のプロンプト維持力とかは30Bの方がだいぶ上に感じる
8Bの方が細かい追従性高いかもって作者の人言ってたけど、細かい部分気にしなければ30Bの方が圧倒的に良さそうな印象 30Bはモデルサイズ自体は8Bより圧倒的にでかいから表現力とか多様さとかは全体で獲得できてるけど使われる部分は3Bで少ないから細かい指示に従う能力が弱いとかそんな感じだったりするんかな >>974
すごい
それってやっぱモデル毎に最適解が変わる感じなん？ 5070Superが15万くらいで買える最適解になるのかなぁ、待つかなぁ >>981
最新1.90.1だっけな
そこのタブにあるで RyzenAIMax+395 128GBのミニPC 30万か… >>965
なんか前も似たようなこと言ってるやついたけどローカルに何を求めてるんだ？
オンラインに比べたら五十歩百歩だと思うんだけど AIとの会話に慣れてしまうと>>965みたいな攻撃的で嫌味ったらしいレスが新鮮に見えるな 何を求めてるとかでなくて、単に正しい理解をしてるだけでは....？
人数で見たら非常にニッチなのは分かりきってる話だし、ラズパイや組み込み系的な趣味だよ
Silly TavernやLM Studioで会話する時点で既にそこに半歩踏み込んでる、できる事だけから考えると面倒くさすぎるやつで、試行錯誤がたのちぃって人しかやらないやつでしょ >>974
コーディングしてるけど環境作りとかで何回もドライバーとかcuda,cuDNNのインストアンインスト繰り返したり、pipの依存関係とかもあるからやり直し必須だし、やっぱエージェントAIでも一回では出来なさそうだね… Mistral-Small-24B-Instruct-2501-abliterated
FluentlyLM-Prinum-abliterated (32.8B)
70Bも含めて色々日本語モデル触らせてもらったけど、この辺り以上のものに出会えてない 123Bなんか俺の環境じゃQ2ぐらいまで落とさないとVRAMに入らんがな >>986
所詮小型FTなんてニッチな需要しかないと何故か見下したように言った上に
対比として挙げた汎用性の高いモデルとやらがローカルの30bなのが突っ込まれてるのでは？
別に誰も汎用性がどうとか言ってないのにいきなりブツブツ言い始めたのもガイジ味を感じる >>977
そんな変わらんだろと思って触ってみたが確かに30Bの方がだいぶ良いわ
こっちはBaseモデルから継続事前学習で作ってるから良いってのもありそう Mistralの24BをSTで使うとなんかテンプレートがあってないような挙動だったけど下のテンプレート使ったら治ったっぽい？
huggingface.co/sleepdeprived3/Mistral-V7-Tekken-T5-XML >>993
silly tavernのテンプレートで用意されてるmistral V7では駄目だったってことなん？
そういう事もあるのか Project Wannabeを使ってみてるんだけど、他のPCで起動してるkobold.cppに接続して使う方法ってあります？ >>995
悪いんやが、現時点では対応してないんや
src\core\kobld_client.pyの
def _get_api_url(self) -> str:
"""Constructs the API URL from settings."""
port = self._current_settings.get("kobold_port", 5001)
return f"http://127.0.0.1:{port}/api/extra/generate/stream"
の127.0.0.1をkoboldcppを起動してるPCのIPアドレスに変えれば一応動くはずや >>996
ありがとうございます。
チャレンジしてみます。 とりあえずテンプレそのままIDワッチョイありでいいのか？建ててみる このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 48日 7時間 41分 21秒 BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php レス数が1000を超えています。これ以上書き込みはできません。
