なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 みんなで寄ってたかってAIにセクハラできる機能なのか。 > Bugfix for Grammar not being reset, Bugfix for Qwen2.5 missing some UTF-8 characters when streaming. easynovelassistantについての質問です。 >>720 7Bにしてはそこそこマシみたいな日本語対応モデルはチラホラ出て来てるけど 半年ぐらい新しいモデルを見かけない気がする >>720 Hermes-3-Llama-3.1-70BのUncensoredでそこそこの日本語エロは楽しめたけど、一回の生成に時間かかりすぎてテンポ悪すぎるんよなぁ VRAM足りなくて7Bまでしかまともに使えないんだけど最近何か新しいの出てる？ >>725 >>724 ありがとうございます、知識が増えました。 >>729 intelあたりの負け組がやってくれれば良かったのにARC Bこのまま消え去りそう VRAM96GBらしいStrixHaloことRyzen AI Maxが希望だけど、どのくらいの値段でどういう商品として出てくるのか素人にはさっぱりわからん 10年前のXeonよりも今のi5のほうが高性能なんだよな そもそもVRAMじゃないし何もかも間違ってるぞ >>737 Haloが成功すればMaxだのUltraだのが出る流れかもしれない Intel ARC B580 VRAM12GBメモリ帯域456GB/sで249ドル M4 Max 並みの帯域幅か。 あ、桁が違った。日本円で高くても販売価格10万くらいか。 NemoMix-Unleashed-12B 次スレ立てる時はその辺のおすすめモデルを入れて>>7 を更新したほうがいいな >>744 >>746 あんまり詳しくなくて興味本位で聞くんだけど >>746 >>748 >>747 ,749 7Bや12Bでもいいモデルが出て来たぞって言われるたびに比較してNinjaの優秀さを再確認されせられる日々 https://huggingface.co/Local-Novel-LLM-project/WabiSabi-V1 >>751 >>753 >>754 音声文字入力で会話したくてマイク買ったけど パープレsonnet隠語お断りされ始めたわ ローカルLLM面白いすね、エロはもう何でもってのはわかりました。 検閲モデルで規制されてるのなんてエロ関連を除くと犯罪行為に繋がるしょうもない事柄ぐらいやろ お前ら本当にエッチなことできるのか？ お馬鹿なモデルが規制かかってる場合はお馬鹿故に聞く耳持たずでダメなもんはダメの一点張りだからそのモデルは諦めたほうがいいよ 未だに尻タブの使い方がよく分からないんだけどさ >>754 のwabisabiを使うとしたらどんなコンテキストテンプレートにすればいいんだ？ wabisabi使ったことないからわからないけど、普通にtext-generation-web-uiとかバックエンド側で読み込んだ時にコンソールログに出るでしょ 例えば、俺が今読み込んだ「anthracite-core_magnum-v4-123b-Q3_K_L」のログには、「tokenizer.chat_template」ってところで以下URLのテンプレートが指定されてる https://rentry.org/tokenizer_magnum4 >>219-220 NVのハイエンドGPUとかと、MacのLLMの処理トークン数載ってるけど、Macで十分だなこりゃ。 https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/ M3 UltraはTSMCが N3Bでどえらい苦労してUltraがほとんどとれないようだ mac持ってる人ほど遅すぎて使い物にならんからLLM目的で買うなって言ってなかったっけ 遅くない？ 遅いけど4090を8枚とかよりは圧倒的に安いからね LLM目的で買うな、というのはメインメモリが32GByte程度ならメモリ不足で動かないだけ >>772 の表の通りの速度ね どの程度のトークン毎秒を実用と考えるかだなあ NvidiaGPUに比べてMacのPrompt Evalは実際だいぶ遅いので 持ってない人間はやたらmac褒めるよねほんと 言うてH100でLLM動かすなんて個人には無理やし LLMと画像生成の混同 >>783 >>772 でちゃんとLLMと画像処理について別で書いてるけど。 企業がH100使うんは新モデル作るのに学習いるからで推論はそのうちNPUに置き換わるやろ おかしいのはマカーあるある話とMacでAIって話題のあるある話を どうせmacも突然arm捨ててrisc-vに行くんだろw 持論の否定？ >4090だって長いプロンプトは遅くなるけど、そもそもメモリー不足で動かないモデルが多いから 7B Q8モデルで同程度のサイズでも生成速度が変わってくるのは コンテキストサイズ変えてないなら多分そう 速さを求める人はローカルLLM使わんやろうし、ローカルはGPU+CPUでええやろ 速度求めるならrunpodとかでGPU借りれば良い話だしな cohere自前でデータセンター持つんや儲かってるんやな >>773 AI用のアクセラレーターが出てくる未来は来ないのか？ PCIe5でも32GT/sで16レーン使っても大まかに64GByte/sしか転送速度でないからx86のRAMと比較してもまるで足りないんだよ VRAMがお高いからどんなAIハードが出てもお高くなるで 実はgddr6って1gbあたり2ドルちょいで売られてるんだよな 部品の原価で語れる規模の製品じゃないよ… 本当に殿様商売できるんなら 中国では実際規制やらgddr買えるやらで換装するシノギがある intelがかつて自分がryzenで多コアボッタクリ崩されたときみたいにVRAMの価格破壊せんかね いま価格com見たら4090が二店舗、50万近くするのね llmを個人でやる方が異端だし流行らんでしょ というか大手の規制なんて対策すればいいだけだしな Command R ＋のネット利用に限界を感じたんでローカルLLM試してるけど文章は圧倒的にMagnumさんのがいいな magnum系統は割と即落ちな感じ パラメータ数が似たようなレベルなら質と自由度は基本的にトレードオフだからな ■ このスレッドは過去ログ倉庫に格納されています
