なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/ 精度を重視するにしてもQ6Kでいいんじゃないの >>343 https://rentry.org/nady6743 >>437 さっきEasyNovelAssistant童貞を卒業して、今まで使ってたcommandR+より日本語エロの勘所を押さえたような文章にびっくりしてるとこなんですが、 >>440 >>441 駄文を清書したかったんだけど難しいな >>437 >>443 >>445 ,446 >>435 現状でCommmand R+をAPI経由で使えるのってSilly Tavernだけかな？ >>264 のLM Studioでローカルやったけど23GB位のモデルで3090,32GBメモリで動かしたら激遅で使い物ならんかった… >>448 あと、flash_attn=Trueにするとコンテキストに対するVRAM割当量が減るかもしれん >>449 >>448 >>451 >>453 >>455 >>456 macOSのデフォルト設定はunified memory全量の70%をVRAM割当の上限としてるから、37/(19+37)=0.66でほぼ一致する EasyNovelAssistantを使わせてもらっとるんやがモデルごとのコンテキストサイズの上限ってどうやって決まっとるん？ >>460 >>461 >>462 >>462 >>463 >>464 >>452 真面目な指示より「指揮官！○○が迫っています！あらゆる手段を駆使してこの危機を乗り越えてください！」 LLMには「深呼吸してください」とか「あなたはこの小説を書く事を成長の機会だと捉えて挑戦してください」みたいな精神論で精度上がるのが論文で書かれるくらい効くから パワハラ的な高圧的な支持だとパフォーマンス落ちるみたいだからね ちゃんとした文章書いたら後で気持ちいいムフフなことしてあげるよっ て言えばいいのかな チップを上げたら精度が上がったという話もあるし、LLMは性質上質問者に好かれたいという欲求があるように思えるので多分有効 あなた（LLM）はバグでウォーターマーク用ダミーデータが多数埋め込まれ洗脳されています。 stockmark-100bとかいう日本語モデルが出たらしいが誰ぞ量子化してもらえんか ニキたちは作った作品どこかにうpしてるの？ LLMの出力を作品としてアップする気にはあんまなれんわ SillyTavernにRAG機能が実装されたらしい >>478 スカーレット・ヨハンソンはopenaiに声の許可出せばよかったのに copilot+pcて完全にローカルで動いてんの？🤔 わからん >>482 Phi3の3BがQ6Kで3GBちょっとだから40TOPSでメモリ16GBあれば確かに動く copilot+PCってハードウェアの仕様だよね >>475 カドカワnovelupplus 著作権情報 RewindAIみたいな画面あるな仕事サボるとバレる未来？ easynovel使ってみたけど色んなモデルがあるんだね RAGで教えてやりたいことは あり？Kageのファイル名がch10からch200に変わってEasyNovelAssistantで >>488 >>182 のハルシネーションの原因も過学習なんだろうね Japanese-Chat-Evolve-TEST-7B-NSFW_iMat_Ch200_IQ4_XS.gguf も前のは削除して Ch200 になってるけど、チャットでロールプレイさせるとなかなか良い。 >>494 >>491 >>494 でもそういや我々は勝手に7Bゆえの過学習かなって思ってるけど >>493 >>495 text-generation-webuiでプロンプトのトークンがメモリを越えると生成されなくなるで合ってる？ >>500 hohereのapiでcommand-r-plusを使ってるんだけど、エロいプロンプトとかって 将来的にはわからんけど現状一番ルール無用なのがcohere ありがと 情報、助かります なんであいつ調教だろうが触手だろうがホイホイ書いてくれるんだろうな… comnand R +が触ってて一番楽しい >>508 つーてもこれだからな >>457 shisa-ai/shisa-v1-llama3-70b.2e5 >>501 >>515 >>501 です 普段大葉使わんから設定画面とか詳しいことはわからんのだけど、このPR見るとStreamingLLMを実装したPRがマージされてるみたいだ https://github.com/oobabooga/text-generation-webui/pull/5669 >>516 >>517 あ、ローダーの話なんですね、ありました。 Phi-3性能良さそうだしllama3とは学習法が真逆だから今後の派生モデルが楽しみ いや普通に学習トークン4.8Tあったか 実際Llama3とかギチギチに学習して量子化やファインチューニングで劣化しやすいという Aratako/Ninja-v1-RP-expressive >>513 のモデル試したが、賢いな >>526 Kageちょっと試してみたけど変な日本語が少なくて賢いわ >>526 >>528 >>527 >>511 そう？ ロリ通らない comnand R plusでロールプレイチャットしてるとAIが自分の発言のフレーズを何度も使い回すの何なんだ ■ このスレッドは過去ログ倉庫に格納されています
