なんJLLM部 避難所 ★2
レス数が1000を超えています。これ以上書き込みはできません。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 上で上がってるようなRP用モデルはかなりのターン数のデータ使われてるみたいだからだいぶマシなんじゃない？ お前らなんJLLM部だろ
今までローカルで何を動かしてきたんだよ
opusかGPTでも動かしてきたっての？ GPTとかopus使ったうえで、それらと比較してまだ問題点があるから話が膨らむんじゃないの つまりopusと比較してるんだろ？
なんかライトユーザーがopusと比較してローカルモデルは〜だよねって言ってるように見えるんだが
サイズ何倍違うと思ってんねん
ここはローカルモデルについて研究する場だったと思うが、オナテク板に移動してなんか変なのが大量流入してきてないか ローカルでサイズが小さいから性能も頭打ちだって話を終わらせたら、進化もへったくれも無いだろ
本当にopus並みになるとは思わんが、領域を絞ればある程度近づけそう、くらいの夢がないと面白みがないわ
幸いまだ性能が天井に達してるわけでもなさそうだし
プロンプトなりソフトウェア側の工夫で改善できそうな場所も残ってるなら、そこを議論するのは無駄でもなんでもないと思うが ライトユーザー≒初心者も歓迎してるから>>2があるんじゃないの……？
板移動したら住民は変わるもんだよ あ、なんかcohereお話題が出てたからつい乗っかったよスマンね
ローカルもやってて両方のスレ見てたからちょいちょいごっちゃになるんよな もしローカルの話題中心にするなら次スレからタイトルを「LLM部」から「ローカルLLM部」に変えるのもありかもな 余談だけどLLM=ローカルと勘違いしてる人が他スレには結構いて、それはここがLLM部という名前でローカルを扱ってることも一役買ってるような気がしてるw
ほんとに余談だすまん ローカル導入の間口が広がるにつれてライト層が増えるのは避けられない流れだと思うんよね
このスレに限らず新しい技術を扱うスレは皆そういう流れになる
まあ硬軟織り交ぜてやっていけばいいんじゃないの ここの人はなんというかプライド高い人が多いよね
ローカルユーザーが偉くてオンラインモデルユーザーはライトユーザー！みたいな
でも「実用」に関してはオンラインモデルユーザーのほうが圧倒的に詳しいし、そういう人が流入してきたってことはローカルモデルも実用が見えてきたってことなので、そう邪険に扱うものではないと思うわ 非ローカルを見下してるわけじゃなくて以前みたいなローカル研究の話題主体でありたいということじゃない？
とはいえ間口が広がれば人が増えるし人が増えればそういう雰囲気が薄まるのは避けられないことだと自分は思ってる LinuxどころかWindowsでコマンドプロンプト開いたこともない奴が質問しにきたら流石にライトユーザって言いたくなる オンラインはオナテクとしての実用手順がいまいちわからんからほーんとしかならないんよな
どっかに体系的にまとまってたりするんか？ なんならchatgptに聞いたほうが初心者には優しく答えてくれる >>940
その論法エンドレスだよね
多分自分でモデルのアーキテクチャ作ってるような人から見たらここにいる全員ライトユーザーだと思われてると思うよ EasyNovelAssistantなどの公開と前後してこのスレがどこかで宣伝されて新たな層が入ってきた感はある お客さんひとつあしらえんとかJの看板下ろしたらどうや ライトとかじゃなく、こっちはモデルを如何に効率よく回すかとか、ローカルではどのモデルが有用とか、量子化やマージ手法の話題とかがメインで
オナニースレはプロンプトを駆使して如何にモデルのポテンシャルを引き出すかを追求するスレで、どっちも技術的なスレでいい感じに棲み分けできてると思うなぁ Lora学習チャレンジしたけどあんまり上手くいかんわ まぁ向こうはスレタイでおよそ察しが付くけど
こっちはLLM全般ぽいスレタイなんで、ローカルメインを押し出して棲み分けるならスレタイにローカル付けてもいいかもね
これからも人は入ってくるだろうし 俺もプロンプティングしかしてないライト寄りだけど
クラだけローカルで、そこからAPIサービスに繋ぐだけみたいな場合の話題は向こうだよねって思うわけ
ローカル明記は賛成だが移転前のような研究と専門用語ばかりの硬いスレにしなくてもいいと思うけど ある種の検索エンジンだから望みの出力に近い内容が掲載されているであろう学習元の小説なり参考書なりに
引っ掛かる単語や文章をいかに選び出すかがカギになってるぽい
参考書によく出てくるお約束のフレーズを入れるだけでも精度が上がるとか
まあそうするとやっぱ現行の生成AIは著作系回避ツールだよなって感じはしてくるけど RAGする時に何かしらreranker使ってるやつおる？
実際どれくらい質が改善するのか聞きたい >>927
auto_splitはデフォで有効になってて，これはレスポンス改善への効果はないよ．
API側にstreamingのサポートがあれば短くなるが...
一応，全オプション対応しておいたので，
https://github.com/Risenafis/SillyTavern/tree/sbvits2/public/scripts/extensions/tts
からsbvits2.jsを入手してください． 中華LLMにエロを期待してはいけないと思う
中国共産党の指導に従わないといけないからね 中華LLMに天●門事件聞いてもちゃんと答えるからな
検閲どの程度なんだ Qwen2試した
>>527のタオルの問題は日本語で正解したが、生徒会問題は日本語でも英語でもダメだったわ
日本語性能は1.5と大差なかった
だが、小説書かせたら、ちょっとだけエロ要素に反応してたのは評価するｗ まぁ検閲ゆるいのも今だけでしょAI時代になったら当然規制する Copilot+ PCのCopilotはオンラインじゃないと使えないらしい
必ずしもモデル自体がローカルで動いていない、とは限らないけど
https://x.com/shi3z/status/1798724388625506493 >>966
最悪だな
要するに推論コストをユーザーに押し付けるためだけにローカルで動かすってことだろ
クラウドなら情報抜かれるのは致し方ないが、ローカルLLMでオンライン要求は最低 Copilotには期待していない
期待するのはCopilot+PCで他のローカルモデルが高速化するかだ 二次創作ならその作品の知識が入ってるモデルが良いんだろうけど
そのモデルがどのくらい知識入ってるのかさっぱり分からん。
ググっても自分には紹介になってない紹介でわからんわ。 koboldcpp-1.67のkoboldcpp_cu12.exeをkoboldcpp.exeにリネームして
EasyNovelに突っ込んだんだけど動くもんだな
なんで動いてるのか全く理解してないけどｗ EasyNovelとkobold.cppのやりとりは、ソースコード見る限りrequestsでPOST投げてるだけだから、kobold.cpp側のAPIの形式さえ変わらなければ基本問題ないんじゃね koboldがspeech to textに対応したね
じきに読み上げにも対応するかな？ どのモデルも頑なすぎるんだが
どうやったらチャH持ち込めるんや… チャH、ASMR、豊かな音声読み上げ 夢も股間も膨らむ 必要なマシンスペックも膨らんで財布が萎むのは改善を要望する >>962
そりゃ偏った情報しか見せられてない日本人より中国人のほうが詳しく知ってるし
天安門の映像はTiktokでは西側の検閲がかかってない当時の生映像が大量に上がってる EasyNovelって一旦生成はじめたら終わりまで作る機能ってある？
リトライしないと不都合な物もあるだろうけど、1話分くらいを一晩でつなげて読んでみたい… このモデル結構いいな
純粋に無修正化したLlama-3-70Bって感じ(日本語力も同じくらいだからエロ語彙は少ないが)
Llama-3-70はfinetuning難しいって話で実際大体ゴミモデルになってたんだけど、こいつは体感本家と変わらない感じがする
Pythonコーディング・Function Calling・RAG性能あたりも遜色ない
https://huggingface.co/failspy/Smaug-Llama-3-70B-Instruct-abliterated-v3 >>982
70Bの情報助かる
RAG使えるってことは、尻でも使えるんかな？ >>981
それ普通にkoboldCppでやればいいんでは？ AIW問題でCR+とかLiama 3 70Bみたいなベンチマーク性能の高いモデルの正答率が壊滅的でCR+に関してはゼロってあったからCR+使って手動でやってみた
https://twitter.com/JJitsev/status/1799025460724289544
結果、5/10は正答してるからゼロにはならなさそうやが（答え：2人）
https://i.imgur.com/xcoMJpr.jpeg >>985
chatの使い過ぎでstory忘れてた 建てたった
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234/
スレタイにローカル入れるかどうか迷ったがとりあえず今回は見送った
必要なら次々スレまでに議論してな なまじベンチマークが公開されて標準化するとベンチに最適化されて信用できる指標じゃなくなっちゃうんだよな
極論答え丸覚えするだけでも突破できるわけだし レスポンス投げるとスコアリングしてくれるサービスがあればいいよね commandR、気に入らない題材とそうでないときで出力される文章量が違い過ぎるんだけど
ロールの指定で好みを操作出来たりしないのかな
あなたなは○○に関心を持つ作家ですとかは上手くいかない 好みで文章量が変わる事はないでしょ
だったら俺が使ってるCR+は未成年調教NTRが大好きな変態って事になる
変わるのはこちらからのレスのやり方次第だからどんなレスをしてるのか言わないと答えようがないと思うよ どういう比較をしたのか分からんから何とも言えないが文章量は題材というよりプロンプトの影響が大きいと思う
題材の指示以外全く同じ文章のプロンプトで何度か比較して明らかに特定の題材だけ文章量が少なくなるとかだとそのモデルが苦手と言っていいかもしれない
ただ一言で題材って言ってもその粒度というか具体性の高さによって文章量の差が発生することもあるだろうから定量的な比較をしようと思ったら色々考慮しなきゃならない >>996
いや好みで出力は変わるよ
AIに好きなタイプを設定して一致するユーザーとしてやりとりしてみればいい
一致しないユーザーと比べたら全く変わってくるから
AIの好きなことを設定してそれに沿った行動や設定を付けると出力も精度も全く変わってくる >>998
>>995を見る限り元の話はプロンプトで設定した人格の好き嫌いじゃなくて言語モデル自体に好き嫌いがあるんじゃないかって話じゃない？ このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 38日 19時間 25分 57秒 レス数が1000を超えています。これ以上書き込みはできません。
