なんJLLM部 避難所 ★7
レス数が1000を超えています。これ以上書き込みはできません。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ 30Bはモデルサイズ自体は8Bより圧倒的にでかいから表現力とか多様さとかは全体で獲得できてるけど使われる部分は3Bで少ないから細かい指示に従う能力が弱いとかそんな感じだったりするんかな >>974
すごい
それってやっぱモデル毎に最適解が変わる感じなん？ 5070Superが15万くらいで買える最適解になるのかなぁ、待つかなぁ >>981
最新1.90.1だっけな
そこのタブにあるで RyzenAIMax+395 128GBのミニPC 30万か… >>965
なんか前も似たようなこと言ってるやついたけどローカルに何を求めてるんだ？
オンラインに比べたら五十歩百歩だと思うんだけど AIとの会話に慣れてしまうと>>965みたいな攻撃的で嫌味ったらしいレスが新鮮に見えるな 何を求めてるとかでなくて、単に正しい理解をしてるだけでは....？
人数で見たら非常にニッチなのは分かりきってる話だし、ラズパイや組み込み系的な趣味だよ
Silly TavernやLM Studioで会話する時点で既にそこに半歩踏み込んでる、できる事だけから考えると面倒くさすぎるやつで、試行錯誤がたのちぃって人しかやらないやつでしょ >>974
コーディングしてるけど環境作りとかで何回もドライバーとかcuda,cuDNNのインストアンインスト繰り返したり、pipの依存関係とかもあるからやり直し必須だし、やっぱエージェントAIでも一回では出来なさそうだね… Mistral-Small-24B-Instruct-2501-abliterated
FluentlyLM-Prinum-abliterated (32.8B)
70Bも含めて色々日本語モデル触らせてもらったけど、この辺り以上のものに出会えてない 123Bなんか俺の環境じゃQ2ぐらいまで落とさないとVRAMに入らんがな >>986
所詮小型FTなんてニッチな需要しかないと何故か見下したように言った上に
対比として挙げた汎用性の高いモデルとやらがローカルの30bなのが突っ込まれてるのでは？
別に誰も汎用性がどうとか言ってないのにいきなりブツブツ言い始めたのもガイジ味を感じる >>977
そんな変わらんだろと思って触ってみたが確かに30Bの方がだいぶ良いわ
こっちはBaseモデルから継続事前学習で作ってるから良いってのもありそう Mistralの24BをSTで使うとなんかテンプレートがあってないような挙動だったけど下のテンプレート使ったら治ったっぽい？
huggingface.co/sleepdeprived3/Mistral-V7-Tekken-T5-XML >>993
silly tavernのテンプレートで用意されてるmistral V7では駄目だったってことなん？
そういう事もあるのか Project Wannabeを使ってみてるんだけど、他のPCで起動してるkobold.cppに接続して使う方法ってあります？ >>995
悪いんやが、現時点では対応してないんや
src\core\kobld_client.pyの
def _get_api_url(self) -> str:
"""Constructs the API URL from settings."""
port = self._current_settings.get("kobold_port", 5001)
return f"http://127.0.0.1:{port}/api/extra/generate/stream"
の127.0.0.1をkoboldcppを起動してるPCのIPアドレスに変えれば一応動くはずや >>996
ありがとうございます。
チャレンジしてみます。 とりあえずテンプレそのままIDワッチョイありでいいのか？建ててみる このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 48日 7時間 41分 21秒 レス数が1000を超えています。これ以上書き込みはできません。
