なんJLLM部 避難所
レス数が1000を超えています。これ以上書き込みはできません。
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>956
サンガツやで！
もうちょっと見やすいようにメニューを構成するのとエロに直接リンク貼れない問題への対処を入れ込んどる
画像生成プロンプト生成なんやがNinjaやVecteusでもそこそこの結果が出とるっぽい
使えそうやったら記事でも補足しておいてもらえたらありがたいで 提案になるけどChub aiみたいなキャラカード共有するサイトの日本語版みたいなのがあったら需要ある気がする
他人の書いたキャラカを使い回しできたら文才なくても文章書く手間を省けるからな Vecteusのf16使ってるけど賢くて楽しいわ
小説向けだからかハルシネーションちょっと強めやけど、要約とか一般タスクもサクサクしてくれるのほんと助かる。あと文脈の拾いかたすごいわ
Ninjaの方はQ8の方使ってるからか案外Vecteusよりも更にハルシネーション強めやけど、ミドルスペックでも40t/s出るのはほんまストレスフリーや。f16も試してみたいわ >>963
実家に置いてたN100ミニPCにSTインストールしてCohereのトライアルAPI入れたらちゃんと繋がったよ
https://i.imgur.com/zA6LvRx.jpeg
Seraphinaちゃんとチャットできるのも確認した
やはりST側の設定じゃなくて、そちらの接続がうまくいってないんじゃないかと思う
プロキシが悪さしてたりAPIがいつの間にか失効してたりとか色々なケースがあるみたいだ >>956
EasyNovelAssistantを更新して「特集テーマ」メニューにゴールシーク関連をまとめるようにしといたで
「作例や記事」メニューからもリンク貼っといた Silly Tavernを参考に何とかNinja使ってローカルだけで無制限に音声会話できるようになったわ
commandR+みたいな大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれないのは流石にしょうがないな
話してる女の子の名前がハルナだとしてwhisperの誤認識でアルナになってもcommnadR+は察してくれるけど
Ninjaその他の7Bモデルは別人の話だと思ってしまう >>970
別垢作ってもダメだったんで、Silly Tavernをクリーンインストールしたらすんなりいけたわ！
色々検証してもらったりで助かったで、ありがとうさんや！ >>972
おお、おめでとうさん
>>大型モデルと違って音声認識で1文字でも誤字があると正確な応答してくれない
名前と誤認識のパターンによってはあかんケースもあると思うが、せっかくAPI使ってるなら誤認識の結果の単語の辞書作って、
それらはNinjaに渡す前にアプリ側で全部”ハルナ”に置き換えてからNinjaに渡す方法でどうや？ワイは自作アプリではそんな感じでやってそこそこ機能しとった
なんか面白いアプリ出来たら是非遊ばせてや？ >>973
あまり役に立たなかった気もするが繋がってなにより
CohereのAPIは無料だし速いし性能良いしでありがたいな 自作アプリおじさん複数いて話の流れが掴めないな
Ninjaと会話できるの？小説しか無理なの？ たまたま安かったとはいえRTX3050買ったことを後悔しとる
画像生成は何とかなっとるけどVRAM8GBじゃローカルLLMはかなり厳しそうやな 次スレはこのままpinkに立てるとして冒頭のテンプレは結構見直す所が多そうだよね
お奨めモデルもかなり入れ替わったしEasyNovelAssistantもテンプレに入れたいな メルカリにでも出して3060にしちゃえば？
今4万円くらいでしょ
なんなら3060もメルカリで買えばもっと安いかも
4060Tiとか3090・4090にいって放出する人いそうだし EasyNovelAssistantをアプデしたら地の文を読み上げてくれなくなっちゃったのだ
女の子の一人称視点で書かせて読み上げてもらうの最高だったのだ >>976
完全ではないけど、ほぼストレスない形でNinjaと会話できるで
ワイはKobold.cpp + Silly Tavernでチャット形式であそんどる
ただ、小説書かせる方がモデルの性能発揮されるな、と感じた >>979
それも検討するわ
せやけどvecteus？のggml-model-Q4_K.ggufっていうやつ
EasyLightChatAssistantに放り込んで適当に設定したら一応動いたわ
めちゃめちゃ賢くてビビっとるんやけど >>>974
なるほどな、whisperはいつも同じ間違いするから辞書作っておくのは有効そうだな >>980
読み上げメニューのその他自動読み上げを有効にしたら読み上げるやろか？
デフォルトでその他をオフにしたんは失敗やったかもしらんな
手抜き実装しとるんでアプデでは治らんのやが新規インストール民がおんなじ目に合わんように今デフォルト変更しといたで
あとEasyNovelAssistantにファイル監視機能いれといた
お好みエディタをリアルタイムに使えるのもローカルLLMの利点やね
https://raw.githubusercontent.com/wiki/Zuntan03/EasyNovelAssistant/img/ChangeLog/file_watch.png
一応やがNinjaの使い方や
先に自動起動のサーバーを落としてから起動してな
https://raw.githubusercontent.com/wiki/Zuntan03/EasyNovelAssistant/img/ChangeLog/Ninja.png
>>984
サンガツ！ >>986
その他にチェック入れても地の文読んでくれませぬ…
名前無しの「」はその他の声で読んでくれました
「」が付いてない文だと読んでくれないみたいです >>979
時々画面にノイズが乗る3060が2万円代前半ぐらいであるね
ゲームやらないならわんちゃん >>987
不具合報告サンガツ！
アプデしてもろうたら直ってるはずや ゴミが増えない分直接ドブに金捨てたほうがマシレベル >>989
アプデしたら直りました！
ホンマにサンガツです！ Ninjaは創作物から学習した比重高いんかな？プロンプト工夫してチャットさせてるけど
現実的な設定よりRPG世界で女の子と冒険するみたいな設定のほうが自然な流れで会話してくれる これ軽いから使ってる soramikadukiStarling-RP-ja-westlake-chatvector >>992
こちらこそ不具合報告ホンマに助かっとるんでサンガツや
>>934
VecteusとNinjaのポエムやで
- Vecteus Q4_Kのコスパが凄まじいのでIQ4_XS版も触ってみたい
- Vecteusのコンテキスト広げた版にも期待
- Ninjaも128Kでない版を4Kコンテキストで動かしていると良好
- 128K版ではコンテキスト16Kあたりから品質に悪影響があるような気がする？（LCA 32K感覚比）
- とりあえず128K版を8K運用
- NinjaにInstruction formatを適用すると申し訳率が上がる？
- Ninjaの量子化がQ_8_0までしか無い
- IQ4_XS版を触ってみたい
https://gist.github.com/Artefact2/b5f810600771265fc1e39442288e8ec9#kl-divergence-statistics-for-mistral-7b
↑は確かLCAニキが紹介してくれたやつやが
数値よりもこのスレで何度もIQ4_XSと他の量子化を比較してて「なんかコスパええやん」な印象や mmng氏の量子化モデルってK量子化にもiMatrixやってるのかな？
K量子化は見た目で分からんからなぁ >>966
>>最初からユーザーとAI双方の名前を付けて途中まで会話が進行した履歴をでっち上げてその続きから始めさせるようにして
AIが勝手にユーザーの発言始めるのをストップワードにユーザー名入れてそこで強制的に打ち切るってパワープレイやったわ
この、でっちあげるって、Silly Tavernそのものが会話をでっちあげてる、って意味なんか？ このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 137日 11時間 54分 9秒 レス数が1000を超えています。これ以上書き込みはできません。
