俺もプロンプティングしかしてないライト寄りだけど
クラだけローカルで、そこからAPIサービスに繋ぐだけみたいな場合の話題は向こうだよねって思うわけ
ローカル明記は賛成だが移転前のような研究と専門用語ばかりの硬いスレにしなくてもいいと思うけど
ある種の検索エンジンだから望みの出力に近い内容が掲載されているであろう学習元の小説なり参考書なりに
引っ掛かる単語や文章をいかに選び出すかがカギになってるぽい
参考書によく出てくるお約束のフレーズを入れるだけでも精度が上がるとか
まあそうするとやっぱ現行の生成AIは著作系回避ツールだよなって感じはしてくるけど
0954名無しさん＠ピンキー (ﾜｯﾁｮｲ 9311-KIU9)2024/06/06(木) 22:48:40.08ID:nINNjRbX0
RAGする時に何かしらreranker使ってるやつおる？
実際どれくらい質が改善するのか聞きたい
0957名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7)2024/06/07(金) 00:40:02.54ID:L+384jCL0
中華LLMにエロを期待してはいけないと思う
中国共産党の指導に従わないといけないからね
0961名無しさん＠ピンキー (ﾍﾞｰｲﾓ MM0e-R3YG)2024/06/07(金) 12:19:47.06ID:NRs3P/M3M
Xwinには世話になったんで期待半分
中華LLMに天●門事件聞いてもちゃんと答えるからな
検閲どの程度なんだ
Qwen2試した
>>527のタオルの問題は日本語で正解したが、生徒会問題は日本語でも英語でもダメだったわ
日本語性能は1.5と大差なかった
だが、小説書かせたら、ちょっとだけエロ要素に反応してたのは評価するｗ まぁ検閲ゆるいのも今だけでしょAI時代になったら当然規制する
0966名無しさん＠ピンキー (ﾜｯﾁｮｲ 9311-KIU9)2024/06/07(金) 17:39:58.88ID:JQdWVaPn0
>>966
最悪だな
要するに推論コストをユーザーに押し付けるためだけにローカルで動かすってことだろ
クラウドなら情報抜かれるのは致し方ないが、ローカルLLMでオンライン要求は最低 Copilotには期待していない
期待するのはCopilot+PCで他のローカルモデルが高速化するかだ
0971名無しさん＠ピンキー (ﾜｯﾁｮｲ fe9b-Y3Vv)2024/06/07(金) 20:56:16.09ID:6d8a34250
二次創作ならその作品の知識が入ってるモデルが良いんだろうけど
そのモデルがどのくらい知識入ってるのかさっぱり分からん。
ググっても自分には紹介になってない紹介でわからんわ。
0972名無しさん＠ピンキー (ﾜｯﾁｮｲ 9311-KIU9)2024/06/07(金) 22:34:35.70ID:JQdWVaPn0
koboldcpp-1.67のkoboldcpp_cu12.exeをkoboldcpp.exeにリネームして
EasyNovelに突っ込んだんだけど動くもんだな
なんで動いてるのか全く理解してないけどｗ
0974名無しさん＠ピンキー (ﾜｯﾁｮｲ 4311-b3Fy)2024/06/08(土) 00:55:43.59ID:KtP0FeP50
EasyNovelとkobold.cppのやりとりは、ソースコード見る限りrequestsでPOST投げてるだけだから、kobold.cpp側のAPIの形式さえ変わらなければ基本問題ないんじゃね
koboldがspeech to textに対応したね
じきに読み上げにも対応するかな？
どのモデルも頑なすぎるんだが
どうやったらチャH持ち込めるんや…
チャH、ASMR、豊かな音声読み上げ 夢も股間も膨らむ
必要なマシンスペックも膨らんで財布が萎むのは改善を要望する
>>962
そりゃ偏った情報しか見せられてない日本人より中国人のほうが詳しく知ってるし
天安門の映像はTiktokでは西側の検閲がかかってない当時の生映像が大量に上がってる EasyNovelって一旦生成はじめたら終わりまで作る機能ってある？
リトライしないと不都合な物もあるだろうけど、1話分くらいを一晩でつなげて読んでみたい…
0982名無しさん＠ピンキー (ﾜｯﾁｮｲ 4311-b3Fy)2024/06/08(土) 21:23:02.43ID:KtP0FeP50
0983名無しさん＠ピンキー (ﾜｯﾁｮｲ 4311-b3Fy)2024/06/08(土) 21:47:10.65ID:KtP0FeP50
>>982
70Bの情報助かる
RAG使えるってことは、尻でも使えるんかな？ >>981
それ普通にkoboldCppでやればいいんでは？ >>985
chatの使い過ぎでstory忘れてた 0991名無しさん＠ピンキー (ﾜｯﾁｮｲ efb8-bKLA)2024/06/09(日) 08:34:11.08ID:R9heIntk0
なまじベンチマークが公開されて標準化するとベンチに最適化されて信用できる指標じゃなくなっちゃうんだよな
極論答え丸覚えするだけでも突破できるわけだし
レスポンス投げるとスコアリングしてくれるサービスがあればいいよね
commandR、気に入らない題材とそうでないときで出力される文章量が違い過ぎるんだけど
ロールの指定で好みを操作出来たりしないのかな
あなたなは○○に関心を持つ作家ですとかは上手くいかない
好みで文章量が変わる事はないでしょ
だったら俺が使ってるCR+は未成年調教NTRが大好きな変態って事になる
変わるのはこちらからのレスのやり方次第だからどんなレスをしてるのか言わないと答えようがないと思うよ
どういう比較をしたのか分からんから何とも言えないが文章量は題材というよりプロンプトの影響が大きいと思う
題材の指示以外全く同じ文章のプロンプトで何度か比較して明らかに特定の題材だけ文章量が少なくなるとかだとそのモデルが苦手と言っていいかもしれない
ただ一言で題材って言ってもその粒度というか具体性の高さによって文章量の差が発生することもあるだろうから定量的な比較をしようと思ったら色々考慮しなきゃならない
>>996
いや好みで出力は変わるよ
AIに好きなタイプを設定して一致するユーザーとしてやりとりしてみればいい
一致しないユーザーと比べたら全く変わってくるから
AIの好きなことを設定してそれに沿った行動や設定を付けると出力も精度も全く変わってくる >>998
>>995を見る限り元の話はプロンプトで設定した人格の好き嫌いじゃなくて言語モデル自体に好き嫌いがあるんじゃないかって話じゃない？ 10011001Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 38日 19時間 25分 57秒