なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 決め打ちでモデルのダウンロードとかできるから KoboldCppにあらすじ書いて清書してもらうってのを続けてたら >>670 >>671 コンテキストサイズ4096だと日本語じゃ6000文字くらいしか覚えられないんじゃないか？ >>672 8192でもちょっとチャットして遊んだらすぐに超えちゃうよね easynovelでJapanese-nsfwなんちゃらっての使ってるんやが ローカルで128k対応モデル使ってみたことあるけど応答が遅くならん？ 他のモデルに浮気したが、Vecteus-v1は16384でも日本語破綻しなくて結局戻ってきた。 エロい喘ぎ声聞きながら読むとすごくエッチな気分になるんだが EasyNovelAssistantを再インスコしようとしたんやが コンテキストサイズ大きくてもチャット増えるとどんどん混乱するから6000くらいに収めてSTで要約 もうスクリプト落ち着いたしもともとの板に本スレ立てない？ ええと思うけど どんぐりの意味がわからなくて、向こうで書けないんだよな 数ヶ月前なら調子良かったけどな なんU復帰ええと思うけど戻ったところで人が集まるかといえばどうなんやろな ローカルLLMの要求スペック高すぎなのがあかんのや… ここで言うことでもないが、チャットサービスで脱獄するリスクとコスト、ローカルで動かすコストを比較したうえで結果物のクオリティを比べるとな…… 申し訳回避なんぞリスクもコストも何もないからな でもまあ避難してた理由がなくなったんやからなんJに帰るんは賛成やな LLMさわるならローカル以外邪道でGPUはRTX4090刺さなきゃ……エッチなチャットしなきゃ……っていうのは錯覚じゃん？ クラウドの話もべつにいいんじゃね ボイス付きでキャラになりきりながら雑談もタスクも付き合ってくれるようなエージェント、みたいなのはもっと流行らないかな 『出力する行ごとの内容は全く同一にしないこと。』っていう指示を追加したらあんまり繰り返しループに陥らなくなった気がする 来年頭には次世代GPUが出まくるからローカルでの話題も増えるだろうし、それまでのんびり話題繋げりゃいいんじゃないの。 まあcceは学習時に使うものだから我々に直接的な関係はないんだけどな entropixってやつで小さいモデルでもよくなるんだろ？ >>698 このスレ知的レベル高すぎん？ >>703 >>705 用語も多いからちんぷんかんぷんになるのもしゃーないで 今でも更新されてる初心者向けwiki知ってる方いたら教えていただきたい LLMに関してはないんだよなぁたぶん https://local-llm.memo.wiki 割とマジでここの過去スレ漁るのが1番有益やと思うで 正直ヤッて覚えるのが一番早い気がする AIにAIのこと聞くんですね笑 koboldの新機能のマルチプレイヤーモードって何ができるようになるんだ？ リリースに書いてある通り、俺とお前で同じAIチャットに参加できるってことじゃないのか https://github.com/LostRuins/koboldcpp/releases みんなで寄ってたかってAIにセクハラできる機能なのか。 > Bugfix for Grammar not being reset, Bugfix for Qwen2.5 missing some UTF-8 characters when streaming. easynovelassistantについての質問です。 >>720 7Bにしてはそこそこマシみたいな日本語対応モデルはチラホラ出て来てるけど 半年ぐらい新しいモデルを見かけない気がする >>720 Hermes-3-Llama-3.1-70BのUncensoredでそこそこの日本語エロは楽しめたけど、一回の生成に時間かかりすぎてテンポ悪すぎるんよなぁ VRAM足りなくて7Bまでしかまともに使えないんだけど最近何か新しいの出てる？ >>725 >>724 ありがとうございます、知識が増えました。 >>729 intelあたりの負け組がやってくれれば良かったのにARC Bこのまま消え去りそう VRAM96GBらしいStrixHaloことRyzen AI Maxが希望だけど、どのくらいの値段でどういう商品として出てくるのか素人にはさっぱりわからん 10年前のXeonよりも今のi5のほうが高性能なんだよな そもそもVRAMじゃないし何もかも間違ってるぞ >>737 Haloが成功すればMaxだのUltraだのが出る流れかもしれない Intel ARC B580 VRAM12GBメモリ帯域456GB/sで249ドル M4 Max 並みの帯域幅か。 あ、桁が違った。日本円で高くても販売価格10万くらいか。 NemoMix-Unleashed-12B 次スレ立てる時はその辺のおすすめモデルを入れて>>7 を更新したほうがいいな >>744 >>746 あんまり詳しくなくて興味本位で聞くんだけど >>746 >>748 >>747 ,749 7Bや12Bでもいいモデルが出て来たぞって言われるたびに比較してNinjaの優秀さを再確認されせられる日々 https://huggingface.co/Local-Novel-LLM-project/WabiSabi-V1 >>751 >>753 >>754 音声文字入力で会話したくてマイク買ったけど パープレsonnet隠語お断りされ始めたわ ローカルLLM面白いすね、エロはもう何でもってのはわかりました。 検閲モデルで規制されてるのなんてエロ関連を除くと犯罪行為に繋がるしょうもない事柄ぐらいやろ お前ら本当にエッチなことできるのか？ お馬鹿なモデルが規制かかってる場合はお馬鹿故に聞く耳持たずでダメなもんはダメの一点張りだからそのモデルは諦めたほうがいいよ 未だに尻タブの使い方がよく分からないんだけどさ >>754 のwabisabiを使うとしたらどんなコンテキストテンプレートにすればいいんだ？ ■ このスレッドは過去ログ倉庫に格納されています
