なんJLLM部 避難所 ★4
レス数が950を超えています。1000を超えると書き込みができなくなります。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 https://huggingface.co/matteogeniaccio/phi-4
phi-4を落としたものがhfに上がってたので共有
試した感じ日本語も自然で生徒会恋愛問題も英語でlv1は解けたりしたからgemma2 27b以上の性能はありそう
規制自体はそこまで強くないけどあんまりエロはあんまり学習してなさげだった >>864
上手くいかない部分なのか
難しいもんやね Ollamaで文章読ませて「このシチュエーションに合ってるタグ選べ」ってやってるんだけど
Command-r-plusだとうちのPCじゃ遅すぎてmistral-nemoじゃ正確性が無さすぎる
Ollamaで動くR18全般OKの賢くて軽いAIなんかねーかなぁ とんでもないガチロリドエロ文章書かせてる
3090単体で。 スリッパとかxeonでオクタチャネル組んだ理論値は使えそうなイメージやけど実行速度どんなもんやろか phi-4賢いけどやっぱり「1.9と1.11はどっちが大きいか」には自信満々に1.11って応えるなぁ いやでもphi-4賢いわ。お堅い話題とか真面目な議論をするとすげー賢いっていうか、洞察が深い感じがする phi-4ってkoboldcppで動く？
空白の返答しかしてこない 100%盛り上がらない
胸糞案件だけど割高緑から脱却するのは当分先 >>882
259$で4070相当のAI性能だからお買い得ではあるんだけどVRAM12GBだからLLMには貧弱すぎる ドルでは安いけど日本円では高いので値段で優位はない
AI向けのハード支援がイケてたら画像生成ではワンチャンあるかもね(まあどうせcuda大正義だし期待薄)
ぐらいかな
現状だと何でもかんでも大げさに言うアカン感じの人達がコスパコスパ喚いてて
それに乗せられて手を出すと馬鹿を見る製品に見えるが サムスンがVRAM1.5倍のGDDR7作ったんやろ？
それが採用されるであろう50xx後半か60xxで一気に快適になるんとちゃうか 待ってたら安価なLLM用NPUがでてくるでしょ
高価なNVIDIAのグラボなんて今買う必要は無い >>879
これ、アプリのバージョンとかだと1.11はメジャーバージョン1のマイナーバージョン11って意味だからそっちで捉えるなら正しいんだよな・・・ >>888
普通は1.01〜1.09の次が1.10で1.11みたいにマイナーバージョンを2桁持つんだけど
たまにそこまで刻むことを考えずにバージョン切ったせいで1.1〜1.9まで行っちゃったけど2.0にするほど大きな変更じゃねえな…ってなったら1.10にするケースあるよね
1.9a fix2とかさらに刻んで刻んでする場合もあるけど 学習せんなら推論専用のNPUボードがあればええってのはそれはそうだろうけど
AIバブル続く限り下に流れてこない終わったらどこも作らんで
しょーもねえ性能のNPUがsocの一部として埋まることはあっても
ご家庭のPCIにぶっ刺して使うようなもんは個人向けにはたぶん売られん 小数点問題はiClで小数ルールを教えれば克服するのでどうでもいいんじゃね？ c4r7bって、cr+の投機的デコードのドラフトモデルに使えないん？ >>894
アーキテクチャが違うので多分無理じゃないかな >>892
LLM用途でGPUなんか現状でも個人で買えんよ ハードウエアの進化が全然追いついてないから待つしかない vast aiでstablediffusionみたいな動画、サイトがあって、それ見ながらやったらai画像生成出来て感動した。
でもvast aiで日本語ローカルllmみたいなのはないんだよな、参考になる動画、サイトはないものか ガチ勢は大抵まぁまぁのPC買っちゃってるから需要が狭いんやろな 普通にkoboldcppとかのcolabパクるだけでいいんじゃない
どうせ使うのはjupyter notebookなんだし なんかそれっぽい事言ってるけど
32B以上のモデルを試した気配が無いからエアハイスペック丸出し Vecteus-v1-abliteratedをリリースいたします。
元モデルに存在した自己検閲を削除し、より自由な文章生成を可能にしました。
ぜひお試しください。(生成内容については自己責任で！)
https://huggingface.co/Local-Novel-LLM-project/Vecteus-v1-abliterated どんな感じ？
今週帰れないから使ってみた人感想頼む🙏🏻 >>907
GGUFサンガツやで
ファイルもDLしようとしたんやが
どちらも「サイトでファイルを取得できませんでした」となってしまうんや
ワイ環かもしれんが、ブラウザ再起動しても同じなんで
一応報告させてもらうで 連絡先の共有が必要な設定になってる
同意すればダウンロードできる ありがとう今度はDLできとるわ
LLMは全然いじっとらんけど使わせてもらうで
自分の持ってる資料読ませて秘書がわりに使うのは
まだできんのやっけ……？ 尻タブで表情差分の使い方が分からん
zipでアップロードするところまでは出来たんだけど、その立ち絵と表情はどうやって表示されるの？ 自己解決した
Classifier APIをLocalにしないといけないんだな 自分の持ってる資料を読み込ませてなんちゃらっていうのはRAG？やったっけ？
なんか別の仕組みが必要やった気がする。 >>902
こちらの嫌がる事はしないように感じてたわ magnum v4 123b Q6_Kを動かしてるけどヤベェェェ
Mac Studio買った後、何気なくローカルLLMだけど入れた甲斐があったわ……
リアルタイムに自分から干渉できるエロストーリーを書いてくれる感じがやばいな。キャラロール与えて適当に投げ合いするだけでもう止まらん。おっきした。 >>917
128gbのやつを店頭の中古セール品で買ったんだよね
もともと仕事用だったけど今はLLM走らせまくってて、買った当初からは思いもよらないw >>916
うらやましい
動かすのに使ったお金いくら？ >>919
40万、分割で買った
数年間は戦えそうだしええかなって エロストーリーということは小説派か
sillyでチャットも試してみてほしいな
やり取りのテンポとか気になる magnum V4 123b マジいいよな。
設定を下品な関西人とかにすると、竿役の男がいい感じに下品な日本語連発してくれるしｗ
今はiQ3_Mだが、ワイもはよQ6_Kぶんまわしたいｗ エロ画像を入力して、その画像に対してキャラがコメントするロールプレイが出来るモデルってある？
VRAM10GBに収まるものがあるといいんだけど
gemini2.0で画像に対してコメント返してくれるのが楽しかったけど
検閲があるみたいで露骨なエロ画像はスルーされるんだよね easy novel assistantでkoboldのオーサーズノートやメモリやワールドインフォを使う方法がわからん…。後ろで動いてるkoboldのそれらに普通に入れればいいだけなんだろうか >>916
これの大体の使用感を参考までに付け加えとく
システムプロンプト2-30字程度、本文指定○○(作品名)の○○(キャラクター)になりきって対話をお願いします。
程度の指示からやり取り50字とかなら4-6t/sぐらい
最初の指示でキャラクター名や詳細・会話内容の例示を含んだ500-1000字程度の指示を与えると、2-3t/sに生成が落ち込む感じ
最初の指示を細かく明示しなくても幅広く自然な表現してくれる反面、ガチガチに設定詳細を指示したいとなるとちょっとmagnum v4 123B_Q6_KはM1Ultra+128GBの環境だと速度がちょっと物足りないかな
初心者だけど使用雑感こんな感じ やっぱチャットは厳しそうね…
会話が長くなってくれば更に遅く…ってことだもんなあ Prefix Caching的なもの使えばマルチターンでもだいぶ速度保てるよ >>926
理由はわからんけどmodelfileを弄ってシステムプロンプトが異なる123bだと長文の指示に対しても速度が落ちて無い気がする。
挙動がよく分かってないけど、返答の内容を絞るような指示を入れると軽くなるとかあるのかな？
分からんことだらけやな 帯域800GB/sのM1 Ultraでもそれくらいかあ
Strix Haloはそんなに期待出来んか >>926
いい買い物したなぁ...
多少遅くてもQ6が普通に動くからうらやましい
LLMも特定の数個のパラメーターが超重要になる部分があって
そこを潰すとまったく動かなくなる。
この値が量子化でビットが減ると突然バカになるからQ6あたりが限界という論文があったな
(Q4,Q3でも動くは動くけど、みたいな。俺がこの状態w)
世の研究者は80GBのnVidiaを使っている人多いから
実用的なでっかいLLMってそのくらいのメモリーが必要なんよね
だから64GのM系maxだと微妙に足りぬ。128GあるとIDEとか並行で動かせるから仕事も捗りそう gemini2.0flashは検閲無いみたいだな
ただイラストを見せても全然違うことを言うことが多いし
会話のテンポが噛み合わないとすぐにエラーで止まるのが難点だな >>931
Unslothの動的量子化がまさにそれの対応策だね
量子化エラーが大きい層だけ量子化を弱める Vecteus-v1-abliterated Q8版を官能小説生成に使ってみた第一印象
- アレな設定でも制限なく出力してくれる
- コンテキスト数が4096だからかすぐにふわふわ出力になる
（普段128kみたいなのを使ってるからか、あっという間）
- 一般的な方向にもっていく感じがするから初期設定が割と重要
（しっかり指定しておかないと百合モノなのに男を出したがる上に男の描写がやたらと細かい）
- 喘ぎ声が割と豊富 8192でやったけど特に不自然な感じはないな
4096だったん？ aya-expanse-32b-abliterated、かなり良い気がする LM Studioでvecteus-v1-abliterated-q8_0.ggufを使って小説を生成してるんだけど、文章生成中に2000文字前後まで到達したあたりで生成が止まってしまう
このモデルだとトークンが4096までしか指定できないからなのかな？
もっと長文を出力する方法ってあるんでしょうか >>936
この規制消去技術も興味ある。
最新の規制強いcommand-r+とかにも使えるのかな？ 規制消去技術は目から鱗だわ
確かに、ほぼ別枠で動いてるはずだもんな 有害テキストから拒否のベクトルを作って元のモデルに負として与えて負x負=正としてるんか
最近のモデルはQwenみたいに動的にtransformerを移動して専門分野に強くしているから
使えなくなっていくけど、そこを追っかけていくのは難しそう(俺の頭レベルの話ね)
作者も「雑な」といってるけどアイディアは素晴らしいなぁ よく考えたら人に対して洗脳する方法と同じだな。こわいw おだてれば調子に乗るし催眠術にはかかるしで本当にまるで人間だな 人間より優れた分析力で人間を模倣するから、人間よりもはるかに弱点を突かれると脆そうよね mradermacher/ChatWaifu_72B_v2.2-GGUF
これって語彙が広がったりしてるんかな？
今出先で試せんから誰か試して Kobold最新バージョンでQwen2-VLマルチモーダルサポート来たな。
＞Qwen2-VL による画像モーダルマルチのサポートが追加されました。 >>951
説明読んでもよく分からんのだけどこれどうやって使うんだ？
https://github.com/LostRuins/koboldcpp/releases
テンプレートを使えばすぐに始められるらしいけどこのテンプレはどうすりゃいいんだ バブちゃんですまん
Koboldcppを使ってvecteus-v1-abliterated-Q8-0でロールプレイをしたかったのだが
キャラ設定を読み上げたり1人芝居をしたりしてしまい話が進まない
色々設定を変えたりしているのだが
どんどんおかしな方向へいってしまう
オススメの設定を教えてほしい >>952
コマンドラインで
koboldcpp.exe --config Qwen2VL.kcppt
ってやると必要なモデルがDLされて起動されるからそれで使える
起動後にやれることは↓の解説動画が詳しい（英語だけど）
https://www.youtube.com/watch?v=lYbRAh_yQuU >>954
フォローthx
自分で試してなくて、情報投げっぱですまん。 EasyNovelAssistantとkagemusyaのアップデートはずっと待ってます >>953
koboldcpp単体でもいいけどロールプレイしたいならsilly tavernと連携してやるといいよ
特に設定いじらなくてもそこまで変な出力にならんはず >>957
実はSillyTavernと連携してやっていてSillyTavern側でいじってる
相手側の台詞と状況、心情を書いて欲しいんだが
どう設定変えても出来なくて
こちら側の心情も勝手に書かれたり
設定読み上げられたり
小説のように長くなってしまう
今はデフォルトとチャットにして
短文出力にしてる >>958
地の文をキャラとして登録する
んで地の文はセリフを出力しませんとか心情や状況のみ描写しますとか設定してる >>954
サンクス
この起動方法って自分でQwen2_VL_instuctのggufとmmprojをダウンロードして
koboldcpp_cu12.exeをクリックしてUIで設定してから起動する通常の起動方法とは何か変わるの？
プリセットってその手順を省くだけ？ >>959
サンクス！
相手とは別に地の文をキャラ登録してグループチャットのようにするという事かな？ >>961
力技として実際に出力された文をこっちで推敲するって方法もあるよ
こういう風に表記するんやでって直してやるとそのスタイルを学習していく >>962
なるほどサンクス！
小説風になった時にいいね
相手からは名前呼びで
地の文はあなた表記がいいんだよな 英語と日本語それぞれエロ対応してるモデルでおすすめってあんの？ 手間を惜しまないなら、普段使いの軽いモデルが出力した文章を
文章校正・推用のプロンプトを入れた賢いモデルで納得いくまで作り直しさせるという手はある。 基本に忠実にやってるかな？
キャラクターのデスクリプションに会話例を書くんだよ
***
{{user}}:やぁやぁ。今日はどうだった？
{{char}}:あ、{{user}}おはようございます！(顔を真っ赤にして上目遣い)*{{char}}は最近先輩の{{user}}がとても気になってる*
***
というように。
もちろん、補足なしの会話ターン例も書く。
それで、こちらがチャット欄から送信してモデルに送られるのは
user:なんたらかんたら
の部分だけなので、モデルは会話例を参考に{{char}}:に続く内容を書いて***まで返す。
STが***を見つけて向こうのターンは強制的に切り上げとなる。 尻タブの対話の例って
<START>
{{user}}:
{{char}}:
っていう形式以外にもあるの？
***入れるって初めて知ったわ セパレータ変換されるから<START>でいいよ
外で書いてたから思いつかなかっただけ SillyTavern形式なら配布してる適当なキャラカード貰ってきて中身弄るとこから始めると割とやる事おぼえられる
配布してるの大体が海外製で翻訳するとこから始めにゃならんけども 次スレはどうすっかね
なんUに立ててええ気もするが レス数が950を超えています。1000を超えると書き込みができなくなります。
