なんJLLM部 避難所 ★2
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/ 初心者は導入しやすいKoboldcppから始めるのをお勧め https://github.com/LostRuins/koboldcpp/releases https://huggingface.co/models?sort=modified&search=gguf oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui ●Zuntan03ニキ謹製のツールEasyNovelAssistant https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで >>5 のツールもこのモデルの使用がデフォルトやで https://huggingface.co/Sdff-Ltba https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで ●多くのモデルには「base」と「instruct」の2種類があるで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで ひとまずテンプレはここまでや 個人的にはSillyTavernの紹介もあっていい気もしてるけどな あと最近盛り上がってるモデルのマージや音声合成なんかもいずれはテンプレに入るのかもしれんな この一月で日本語ローカル導入のハードルは大きく下がって性能は大きく上がった感があるから今後がますます楽しみや 7Bモデルの性能向上は凄いな >>1 乙 >>22 SillyTavernでStableDiffusionと連携すると捗るな この中に、大葉でChatタブからnotebookタブなど他タブに切り替えてもモデルが前のタスクや設定を覚えてて EasyNovelAssistantでゴールシークテンプレをちょっと改変しつつ、指示出して洗脳系のシチュを提案するようにした ggml-model-Q4KってVecteusのことかな LCAがお役御免になったわけではないよ。念のため言っとく 一応放置されているLLM部のWIKI：https://w.atwiki.jp/localmlhub 音声でローカルLLMと双方向会話+画像生成までやろうとするとどんなに工夫してもVRAM24GBは必要な感じだな 次スレのために板表示してそういやここオナテク板やったなって草生えるわ 自慰のためのテクノロジーの話題だから何も間違っていない Ninjaオリジナルのq8 ggufはkoboldcppの起動時にコンテキスト長上げても2kっぽい動き(web画面のsettingで最大が2kのまま、処理速度も速すぎる)だったけど、前スレのこれだと普通に上げられた。 https://huggingface.co/mmnga/Ninja-v1-NSFW-128k-gguf モモンガ先輩やるな MikuMaidのLlama-3 70Bバージョン、LumiMaid 70Bがアップロードされたみたい 一応生成例 https://i.imgur.com/GnGmoTK.png スレ立てサンガツ！ >>26-28 >>34 次のトレンドはやっぱ音声読み上げだよな >>26 >>27 >>38 >>40 >>25 >>43 https://t.co/bHqlgW04pa 量子化の方法って違いがあるんだ？ >>42 Zuntanニキは時代の最先端行っとるな Command R+で…な文章書いて遊んでるだけの浅瀬なんだけど、Llama3より良い感じぽいなこれ >>48 >>44 >>53 kobold.cppでもoobaboogaでも同じ動きするんだったら、どっちかと言うと裏で動いてるLlama.cppに問題があるんじゃないか？ もし素のmistral+素のLlama.cppで同じ現象起きるんだったら、実装の問題だからgithubでissue立てた方がいい気もするけど >>51 久しぶりにtext generation web UIをgit pullで最新版に更新して起動しようとしたらエラーになって起動できなかったので解決法メモしとくわ >>59 EasyNovelAssistantに音声と画像を簡単に組み合わせて動画にする機能を追加したで https://twitter.com/Zuntan03/status/1786694765997924371 https://i.imgur.com/Eds9BXT.mp4 https://i.imgur.com/Pum2qZx.mp4 >>58 >>55 zuntanソフト使ってみたいんだけどこのようなことはできる？ >>64 https://rentry.org/ あたりに貼ってもらえたらもうちょっとまともな返答ができるかもや 支部にVecteus-v1で書いた小説を追加しとったで、お友達も書いてくれてるので「EasyNovelAssistant」で検索しとくとええかも >>66 Text generation web UI導入してみたら ひさびさに英語小説をlumimadeで試したけど、もしかしてすごくないかこれ？ EasyNovelAssistantアプデしたらプロンプトと関係ないことしか書かなくなっちゃったけど >>68 https://huggingface.co/mmnga/Vecteus-v1-gguf/ >>70 >>70 >>71 >>72-73 sniffyotterでハードコアポルノのはずがよくわからんハードボイルド小説が始まったんはそういうことやったか 普段はSDで遊んでるんだが連休で時間あったんでEasyNovelAssistant入れてみたけど、最近のローカルLLMすごいね >>70-73 不具合報告と回避法の共有ほんまにサンガツ&すまんやで Twitterでやってる人が居たんで真似してみたが、3人で議論させるプロンプト面白いな おもろそう、そういやAutoGPTが流行ったときも討論みたいにさせて結論出させるのやってたわ https://github.com/kgmkm/goalseek_ad/blob/main/omake_asmr_name.yaml >>82 EasyNovelAssistantの読み上げサンプルに追加した「エンドレス喘ぎ」がヤバいかもしらん プロンプトを上げる場所が思いつかなかったのではてなに上げてみた https://anond.hatelabo.jp/20240506211322 AQML凄いな。はよWindowsでも動くようになってくれんか やっぱlinux行くしかないんかなあ デュアルブートはなあ 物理的に別ストレージならノートラブルよね 聞きたいんだけどsafetensorsのLLMって何で動かすのがベストなの？koboldは無理だよね？ デュアルブート用に残しておいたSSDスロットもデータ用の４Tに変えてもーたｗ >>91 linuxにするメリットってなんですか？ LLMはlinuxで動かすの前提で作られてることが多いから >>95 >>97 AQMLって2bitでも8bit量子化と性能が同等みたいな話あるな >>95 >>98 EasyNovelAssistantとAIノベリストとCommandR >>102 一番気軽に使えるのはCohereのCommandR+かな SillyTavernでCohereのAPI接続でCommand R+やってみてるけど爆速なんよな 無料だからね・・・ ローカルじゃなくていいならcommandR+にこだわる理由も無くなってしまう Command-r-plusの利点って、とりあえずモデルも公開されてるって部分がデカいな、自分は >>103 Cohereはカナダの企業なのにCommand R+に倫理観植え付けてへんのが不思議や MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開 これまでリリースされた7-8Bクラスの日本語モデルはことごとくLCAやvecteusよりも劣っていたわけだが今回はどうかな 赤ちゃんだから教えて欲しいんだけど 作者から自分がラノベの登場人物だったと教えられちゃう女の子みたいなやや複雑なロールプレイも ちなみに英語だとさらに能力が上がる 翻訳専用のAIを間に挟んで入出力を翻訳かけるだけでも性能上がるんかなぁ >>116 その翻訳専用AIが倫理で殴ってきたらどうしようもないよね… GPT4の有料に課金してエクセルの編集して貰おうと思ったら どんなプロンプトを入力したら求めてる文章を出力してもらえるのか考えるのが難しくなってきちゃった なんかしらんがリートンのAIキャラチャットがNSFWもイケて性能もなかなか https://imgur.com/a/mLE6ZuP ちなCommand-r-plus運用のアウラちゃんはこんな感じ https://imgur.com/a/BhmUKKr >>125 使い方に慣れてくるとVecteusのエロ小説能力マジで凄いな もしかしてリートンのAIキャラ内部的なプロンプトが変わったんかな >>130 >>124 赤ちゃんなんやけどEasyNovelAssistantでChatGPTのように会話したいんやけどプロンプトでできるんか >>132 >>131 >>133 EasyNovelAssistantの読み上げ機能とかkoboldで当たり前に使えると思ってたら頑張ってもstyle bert vits2の音を出すことさえかなわんかったバブバブや style bert vits2での読み上げってkoboldのチャット画面でできるの？ >>134 リートン温度が低いんか繰り返しペナルティ的な数値の設定が低いんか分からへんけど いろんなモデル試したけど、今んとこ複雑な命令への追従はwizardlm-2が抜群な気がする DataPilot/ArrowPro-7B-KUJIRA さっそく使った人のポストがあるね 流石にチャット用途だけあってチャットしてくれという指示にはNinjaやVecteusよりかなり従ってくれやすいね 口調が固いとかそんな感じ？＞自然 premの顛末見るとやっぱローカルLLMの普及は必須やな… チャット特化のまま文章力が上がればかなり楽しそうではある >>148 https://www.wolfram.com/wolfram-plugin-chatgpt/index.php.ja?source=footer >>148 リートン試したが結構イケるな。以前はダメダメだったが まだちょっと触っただけやけど鯨なかなかの賢さや >>153 リートン、くるみちゃんが割とエロ小説書いてくれて驚いた >>155 https://imgur.com/a/1zCOC9H 富岳使ってゼロから立ち上げた13bか 1つシチュエーションが浮かぶ度にあの子ならどう応える？を試すだけで時間が溶けちゃう ベンチマークだけ見ると大したことはなさそう 誤爆すまん 富岳LLMお堅いなぁ・・・ のべりすとAIから2年半ぶりぐらいに文章生成に戻ってきたけど マルチモーダルチャットAIである https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1 https://huggingface.co/Local-Novel-LLM-project/Ocuteus-v1-gguf GGUFたすかる、ためしてみるわ 7Bとか13Bが扱いやすいのはよくわかるけどわざわざ富嶽まで持ち出して13Bかよというがっかり感 >>157-158 >>170 >>有料プランまで破綻 ↑ fugaku面白いじゃん。品質もちょっと前のモデルと比べれば驚異的だし Cohereは敢えて無修正にしてるのか、ただただ想定外なのか、全くつかめないよね どこまで戦えるかは別にして、英語中国語に次ぐLLM研究語圏ではあるんじゃないかね リートン「Hなのはダメです」 EasyNovelAssistantで >>170 のOcuteusをワンクリックで試せるようにしといたで >>182 https://i.imgur.com/NIkINNj.jpeg >>184 >>169 >>189 >>184 Mistral系で日本語化したのは llama-3 70Bの日本語特化モデルが来る前に、llama-2系70Bで最後に試したいマージ中だが、 もう出ないといけないので、とりま結果報告だけ https://rentry.org/caxcb37i 以前、マイニングしてたこともあって、手元にはこんな機材が残ってるんだけど、 これらを使って、LLMの環境を構築したいんだけど、うまく活用する方法はないかな？ RTX1660SじゃなくてGTX1650Sだったわw >>201 https://github.com/oobabooga/text-generation-webui https://docs.vllm.ai/en/latest/serving/distributed_serving.html >>204 >>205 >>206 >>151 langchainといえば、テンプレートの整備とか面倒だから自分で試したことはないんだが、最近のmixtral系日本語LLMってlangchainのエージェント駆動できるんかな >>206 ,207 vramお大尽羨ましす >>210 >>211 >>183 >>213 Local-Novel-LLM-project/Ninja-v1-NSFW-128kの大葉のローダー設定を教えてください >>218 う～んロードできない、最新の大葉を入れなおすところからやってみる 大葉を最新にしたらよめましたありがとうございます。 >>209 >>209 sbtom/karakuri-MS-02.ggu 正直25GBくらいまでは許容できるんだけど、今のところエロで一番性能がいいのは >>228 26ならうちでも動作しないことは無いけど……ってなること考えるとやっぱ7Bとか13Bって手頃で良いよなと思ってしまう 手頃なのは間違いなく７BやLCAニキのモデルなんよ。 英語のモデルしか普段触らんけど、7Bとか全然こちらの指示に沿ってくれなくない？ 7Bとか実用性では最小限だろうしね Llamaには13BのモデルがあったけどLlama2には無かったからね(正確にはあるけど非公開) text-generation-webui-mainとEasyNovelAssistantでエロ小説を出力したので、シーンごとに挿絵をstable diffusionで生成したいですが、適切なプロンプトを生成するのに良い方法はありますか？ 小説のシーンを３～４行程度にまとめる（まとめてもらう） 画像にテキストに音声に勉強すること沢山ありすぎるけど、これからの世代はこれらを全部使いこなす世界になると https://files.catbox.moe/zai7kf.jpg 漫画Originでも全員AI漫画家になってると予見されてた >>239 EasyNovelAssistantを色々と更新したで https://twitter.com/Zuntan03/status/1789454526384394670 >>244 Ninja-v1-NSFW-128すごくいい 何やるにしても最上流の企画AI作るところから始まるからマジでディレクター業なんだよな 企画は別にAIじゃなくてもいいのでは EasyNovelAssistantでたまに気に入った場面をじっくりやって欲しい時に限ってすぐに話し進んじゃうから EasyNovelAssistantのタブ素晴らしいな！タブの複製も簡単に出来たらますます捗りそう。リクエストさせてください 感想サンガツ >>252 Ninja-v1-NSFW-128あんまりストレートなプロンプト書くと申し訳されるな c4ai-command-r-v01をText generation web UIで動かしているんですが、 https://github.com/ggerganov/llama.cpp/issues/6112 >>255 >>253 >>256 Ninja-v1-NSFW-128の作るエロ文章見てたら、別に70Bとかで無くても日本語のちゃんとしたエロ作れるんだと思った。 音声とか絵の学習もそうなんだけど質の悪いデータいくら用意しても逆に質が悪くなっちゃうしな Yiの新バージョンがApache2.0でリリース >>259 実際command R ＋のロールプレイ性能は結構凄い 初心者向けに良い記事だね A6000でもGPUにフルロードしようとしたらiq2になるか・・・ +のiq2と無印Q8ってどっちが質の面ではいいんかね >>264 のローカルLLMの記事見てローカルに興味持ったんやけど asciiの記事からよく短時間でこんな場所にたどり着いたなｗ 何の地雷踏んだのかと思ったら、ArrowPro自体が地雷だったという話かｗ https://github.com/kgmkm/goalseek_ad/tree/main openaiの発表やべぇ 俺ポエムだが >>276 EasyNovelAssistantインスコして起動すると"Not enough memory resources are available to process this command"って出るんだけど Ninja-v1-NSFW-128いろいろ試してるけど、倫理フィルターで申し訳されるのに、自分はエロしか書けないみたいな矛盾したこと言うのがおかしい EasyNovelAssistant使って各モデルが意味の取りにくい文を解釈してくれるかの試し https://rentry.org/df9f4te5 >>276 マージとかFTだけじゃそのうち限界来るのはSD1.5の時にしみじみ感じたな >>280 >>226 >>264 https://files.catbox.moe/6mqsa3.jpg opusよりcommand r plusの方が好みになってきた どっちかというとそこより日本語力をつけてほしいな＞CommandR+ >>288 リートンの固有キャラが前々セッションまでの記憶をずっと引き継いでてみつきがワイの事お兄ちゃんって呼んでくる >>292 >>290 付き合ってる彼女にLLMの性能見せてあげる時には、お兄ちゃん呼びはヤメろ！ってリアル兄妹みたいに教えないとイケないな 俺も付き合ってる彼女にLLMの性能を見せてあげたら自分の方がもっと高性能だって言って出力してくれたわ ArrowProの人もVecteusのチームも高校生らしいし、全国ロボコンでライバル校と競ってる感じじゃね？少年漫画みたいな展開とか言ってるし 確かに日本語Webをテキストクローリングしたら頻出するにも程があるワードだけど 学習素材が最近は色々うるさいからかそれとも枯渇したからかネット掲示板に触手もとい食指をのばしてきたのだ 世界一のAIがなんJレベルになったらこの星は終わりやぞ >>302 なんJなんて学習させてどうするんやろ >>297 >>277 このスレを彼らが読んでいる宣言でもしているならともかく ここpinkやし高校生は見たらあかん >>282 ちょっと聞きたいんだが、koboldとか使ってて、起動直後は思った通り動かないけど 現状7Bしかローカルで快適な速度では動かんでしょ AQLMが導入されたら自前での量子化は諦めるしかないな cohereAPIと某ボイスソフトAPIと電導オナホ全部連動させた 今の手探りな状態でのAI遊びは、長い人類史の中でもこの瞬間でしか味わえないと思うと 上の方でもチラッと某記事に出てたLM Studio、こんなのも出てたんだね ゲームも過渡期が一番面白かったからな >>282 rocmさえできてりゃStrixHaloの上位買っとけで100BぐらいまでのLLMメモリ問題大体解決しそうなのに全然その気配がない そこでLM Studioですよ LM Studio、Command +R のAPIは使えないのか… >>274 >>324 あーそれか いっそpoeとかみたいなネットサービスのほうが採用してくれないかね そもそもCommand R Plusの重みデータは商用利用不可だから、サブスク機能があるpoeでは採用できない Command R+に上手く話が転がるようなフリを投げるとめっちゃ筆が乗って長文になるのが笑える >>332 nejumおせえんだけどこんなんでいいと思ってんの？作り直せよ 来月には27BのGemma2がリリース予定、Llama3に匹敵 初心者丸出しの質問で申し訳ないんですけど、EasyNovelAssistantってファイルや文章をもとに学習させることって出来るんでしょうか？ 基本的な学習は家庭環境では無理です。 AIにまでなんJの奴らみたいな返事されたら萎えるわｗ 作った世界設定や人物設定とかをいちいちプロンプト書き換えるの面倒だから使ってるモデル合わせて学習させてぇ chatgptでGPT-4oを選択 >>282 の問題、GPT-4oでも答えられなくて現行のAIの限界を感じる AI技術の行き着く先がなんjのシミュレートは嫌過ぎる >>344 おれ「こんにちは」 そういやもはやこのスレなんJでもなんでもないな…いやめんどくさいからいいんだけど フルスクラッチの日本語100Bモデル作ったらしいけどどんなもんやろね https://huggingface.co/stockmark/stockmark-100b ベースモデルはともかく、インストラクション版はIchikara-instructionだけでファインチューニングされてるみたいだからスレ民的には使えないだろうなぁ FaceBookから盗まれたモデルを使わずゼロから学習させたデータか…多分駄目だろうな 学習なんて昔からダーティだからな ってかこれGENIACなのか 48 nodes of a3 (8*H100) instancesを7 weeksってごいすー 何ならクローズドモデル提供してるとこだって学習のためのデータにかかる著作権法や個人情報保護法周りで完全にクリアなデータだけで構成されてるか？っていう問いには口もごもごせざるを得ないだろうしな あーいやこれ経産省主導のやつか AIに限らずテック系なんざEvilになったやつしか勝たんし残ってない >>356 Stockmarkの100BはMITだからUncensoredにファインチューニングしたりも自由だよ 今Text generation web UIで使っているggufモデルを使って、 EasyNovelAssistant >>365-368 ﾊｷﾞﾁｬ＆コマR+である程度満足してたんだけど、そろそろEasyNovelAssistantでエロ文章実績解除したいんだけど >>370 >>291 https://files.catbox.moe/xuo61c.jpg 色々組み合わせたくなって、Pythonで直に出力させてみているんだけど、 Pythonで直ってことはローカル？量子化の影響なんかな？ >>374 >>375 silly tavernの日本語の情報全然無いから使い方よくわからんと使ってるわ llama-cpp-pythonは勝手に頭に<BOS_TOKEN>加えるから、それで変になってないかも見たほうがいい >>376 >>379 >>380 一瞬R PlusをQ8で動かしてるのかと思ってビビった >>376 https://docs.cohere.com/docs/prompting-command-r >>382 >>383 ちなみにR+もテンプレートはRと一緒だったはずだから、そのプロンプトはR+でもそのまま使えるで >>385 >>386 >>386 >>388 IntelかAMDがVRAM大量に積んだ統合型CPU出せば結構需要あるだろうにな AMDが出すだろ 64GBまでってのが残念だよな あれ内蔵GPU相当よさそうだから、文章AIとかお絵かきAI推論させながら別のグラボで作業とかゲームとかしたいけど、別のグラボ接続するの無理らしいんだよね ニューラルボードも個人に売るより企業に売ったほうが儲かるし >>387 >>388 LLM赤ちゃんなんやが >>400 日本語の理解がよくてエロも行けるとなると真っ先に思いつくんはCommand R+やな そういう用途ならGPT4やopusで脱獄するかcommandR+やろうね >>402 ,403 >>399 >>405 >>398 Kobold直接起動するとチャットできるんか MacProにRTX4090のせて動いてくれるようにならないかね？ ちょい調べたけどCUDAは今macOSをサポートしてないみたいだから、Mac側だけじゃなくてNVIDIA側からの歩みよりもないと厳しそう >>409-410 201だけど、中古の3090追加してみたら結構速くなった リートンが利用規約改訂して性的表現をデータとして入力する行為を禁止事項に追加しとったわ 踏み台マンコにBAN以上のリスクが伴うんけ？ >>412 リートンのあれは、客寄せでワザとやってんのかなと思ってた あの手のサービスがモデル名書かないのはそういうことでしょ ん？リートンのモデルってユーザーの使用履歴を後学習するのん？ そんなリアルタイム学習みたいなことを実用化してるLLMがあるとは思えんが リアルタイム学習じゃなくて、ファインチューン用のデータセット作りたいのでは？ ちゃんとデータセット作るんだったら、データのフィルタリングとかするだろうしそんな酷く汚染されることはない気がするが いや、さすがにそのままは使わんやろ EasyNovelAssistantを使わせていただいてますが >>425 前スレに貼られてた生徒会恋愛関係の問題を4oに投げてみたけど一発正解は出してくれんかった、拓郎は早苗が好きじゃないことと明美が誰かから愛されてることを遵守させてやっと正解(後者だけだと理解しなかった) LLMの論理能力ってロール指定とかstep-by-stepとかdeepbreathとか精度上げる手法使うかどうかでもかなり変わりそうだけど シンボリック操作が弱いのは何でやろね >>427 >>407 >>434 精度を重視するにしてもQ6Kでいいんじゃないの >>343 https://rentry.org/nady6743 >>437 さっきEasyNovelAssistant童貞を卒業して、今まで使ってたcommandR+より日本語エロの勘所を押さえたような文章にびっくりしてるとこなんですが、 >>440 >>441 駄文を清書したかったんだけど難しいな >>437 >>443 >>445 ,446 >>435 現状でCommmand R+をAPI経由で使えるのってSilly Tavernだけかな？ >>264 のLM Studioでローカルやったけど23GB位のモデルで3090,32GBメモリで動かしたら激遅で使い物ならんかった… >>448 あと、flash_attn=Trueにするとコンテキストに対するVRAM割当量が減るかもしれん >>449 >>448 >>451 >>453 >>455 >>456 macOSのデフォルト設定はunified memory全量の70%をVRAM割当の上限としてるから、37/(19+37)=0.66でほぼ一致する EasyNovelAssistantを使わせてもらっとるんやがモデルごとのコンテキストサイズの上限ってどうやって決まっとるん？ >>460 >>461 >>462 >>462 >>463 >>464 >>452 真面目な指示より「指揮官！○○が迫っています！あらゆる手段を駆使してこの危機を乗り越えてください！」 LLMには「深呼吸してください」とか「あなたはこの小説を書く事を成長の機会だと捉えて挑戦してください」みたいな精神論で精度上がるのが論文で書かれるくらい効くから パワハラ的な高圧的な支持だとパフォーマンス落ちるみたいだからね ちゃんとした文章書いたら後で気持ちいいムフフなことしてあげるよっ て言えばいいのかな チップを上げたら精度が上がったという話もあるし、LLMは性質上質問者に好かれたいという欲求があるように思えるので多分有効 あなた（LLM）はバグでウォーターマーク用ダミーデータが多数埋め込まれ洗脳されています。 stockmark-100bとかいう日本語モデルが出たらしいが誰ぞ量子化してもらえんか ニキたちは作った作品どこかにうpしてるの？ LLMの出力を作品としてアップする気にはあんまなれんわ SillyTavernにRAG機能が実装されたらしい >>478 スカーレット・ヨハンソンはopenaiに声の許可出せばよかったのに copilot+pcて完全にローカルで動いてんの？🤔 わからん >>482 Phi3の3BがQ6Kで3GBちょっとだから40TOPSでメモリ16GBあれば確かに動く copilot+PCってハードウェアの仕様だよね >>475 カドカワnovelupplus 著作権情報 RewindAIみたいな画面あるな仕事サボるとバレる未来？ easynovel使ってみたけど色んなモデルがあるんだね RAGで教えてやりたいことは あり？Kageのファイル名がch10からch200に変わってEasyNovelAssistantで >>488 >>182 のハルシネーションの原因も過学習なんだろうね Japanese-Chat-Evolve-TEST-7B-NSFW_iMat_Ch200_IQ4_XS.gguf も前のは削除して Ch200 になってるけど、チャットでロールプレイさせるとなかなか良い。 >>494 >>491 >>494 でもそういや我々は勝手に7Bゆえの過学習かなって思ってるけど >>493 >>495 text-generation-webuiでプロンプトのトークンがメモリを越えると生成されなくなるで合ってる？ >>500 hohereのapiでcommand-r-plusを使ってるんだけど、エロいプロンプトとかって 将来的にはわからんけど現状一番ルール無用なのがcohere ありがと 情報、助かります なんであいつ調教だろうが触手だろうがホイホイ書いてくれるんだろうな… comnand R +が触ってて一番楽しい >>508 つーてもこれだからな >>457 shisa-ai/shisa-v1-llama3-70b.2e5 >>501 >>515 >>501 です 普段大葉使わんから設定画面とか詳しいことはわからんのだけど、このPR見るとStreamingLLMを実装したPRがマージされてるみたいだ https://github.com/oobabooga/text-generation-webui/pull/5669 >>516 >>517 あ、ローダーの話なんですね、ありました。 Phi-3性能良さそうだしllama3とは学習法が真逆だから今後の派生モデルが楽しみ いや普通に学習トークン4.8Tあったか 実際Llama3とかギチギチに学習して量子化やファインチューニングで劣化しやすいという Aratako/Ninja-v1-RP-expressive >>513 のモデル試したが、賢いな >>526 Kageちょっと試してみたけど変な日本語が少なくて賢いわ >>526 >>528 >>527 >>511 そう？ ロリ通らない comnand R plusでロールプレイチャットしてるとAIが自分の発言のフレーズを何度も使い回すの何なんだ あれ萎えるわ >>530 >>535 >>534 >>538 ぶっちゃけ今はLLMの出力そのものよりも、LLMを題材にしたモノづくりする方が面白いから、動作を弄れるローカルLLMの方がクラウドベースより遊びがいがある気がしている GPTsちゃんをメモリーと併せて調教して、ワイのコーディングの手伝いさせながらちんちん舐めてもらったりするの楽しいけど、みんなはやらんの？ >>535 >>535 >>537 KoboldCppでロードしたら >>544 >>546 >>526 のモデルはちゃんとおちんぽ様とかデカちんぽとか色々ちんぽを表現してくれてる >>547 Phi3試してみたいんだけどサクッと試せるサービスある？ >>526 一時はcommandR+やoppusが追い越しそうで盛り上がったけど GPT-4oは別ジャンルやろ Command r plusがNSFW弱いはないやろ Ninja-v1-RP-expressiveほんますごいな >>555 CohereForAI/aya-23-35B 唐突すぎる aya-23-35B、出力めっちゃ早いがインストラクションに対する追従性がちょっと弱いな… まあ、無印35Bもそんな感じだったから、しょうがない ロールプレイよりも小説用って感じだなぁ...ほとばしりすぎる Mistralのv0.3来たね >>559 本家官ジェネ限定だけど、かなり簡単な論破(論点ずらし)を見つけてしまったかも。 >>553 cohereのayaでチャットするにはモデルの所を 'c4ai-aya-23' に変えるだけか 逆にエロとかじゃなくていいから、正確なプログラミングとか手伝ってくれる優秀なローカルLLMとかのモデル指標ってないのかな？ cohereのweb-serchは重くて使えないけど、 そうなんだ？？ webサーチと言えばちょうどstable diffusionの導入から自分なりの目的達成までの道筋を CommandR+のフルスペックの亜種なら見てみたいんだけどなあ R+ベースの自作UIにlangchainで組んだウェブサーチ入れてるけど、そこそこいい感じにまとめたりしてくれてる感じはある 本筋から少し離れるけどopenaiのgpt-3.5のapiは、かなり安くなってて まあコーディングやるんだったら半端なローカルより3.5の方がずっとマシだわな >>574 >>572 >>578 上のgpt-3.5の話はあくまで一人分の話で、600円として エライザはエロくなり切れない APIが月数千円の利用料でも高い高い言われてるの見ると将来がちと怖くなるな まあその辺は実際の懐事情というより >>585 「ヒャッハーしてる当人」って具体的にどんな人/組織に対して言ってるんだ？ 連立方程式を使えば簡単に解ける文章問題も小学生みたいに方程式使わず解こうとする傾向がLLMには強くて 生成AI関連の法整備は間に合ってないんじゃなくて国が変える気ないんだよな >>590 物量作戦で高品質なモデルができないことはGrokで実証済みだしなぁ 前も過学習がどうのこうの言ってたガイジが居ったけど同一人物か？ >>598 >>600 高性能モデルには高品質で大量のデータが必要なのは音声も絵もそうだしな 前から5090は32GBになるんじゃないかって噂は出てたけど https://gazlog.jp/entry/geforcertx5090-gddr7-layout/ この価格帯なら当分はmac studioで凌ぐしかないか、という感じだわ いやー80万じゃ済まないと思う 少しさわった態度だけど、Ninjaのエロ能力素晴らしいな！ 年末あたりから出てくるLunar Lake/Arrow Lakeに期待してる Nvidiaは独占を盾に営業利益率9割なんて狂った商売してるからな >>601 >>611 5090でGDDR7を採用してメモリ速度が倍ぐらいになるかもって話だから、このスレ的には買いかもよ Aratako/Ninja-v1-RP-expressiveとかでエロチャをさせてると勝手に登場人物が増えるんだけど >>615 