なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>252
それはアメリカで研究や開発をしてる中国人の話だけどね
そういう人と話すとみんな同じことを言う
中国を統治するには中国政府のやり方しかない。それはわかる。でも俺は御免だ。
ってね NinjaとELYZAを悪魔合体させてみるかな
やった人いる？ 俺はvecteusでいいやと思ってモデル探求は止めた SBVITS2の音声学習をやってみようと手探りでチュートリアル動画に沿ってやってるんですが
データセット作成の文字起こしのとこでUnicodeDecordエラーが出て作成出来ず、どうしたらいいのか分からんので教えてください ぬお、よくある質問の存在を見落としてた
そこに思いっきり書かれてて、解決しました！ なんかスレに書き込んでも反映されない事あるんだけど、もしかしてtokenをカタカナで書くとスパム判定されるとかあるのかな？ なんならイランもAI技術者多くて優秀だからアメリカは沢山受け入れてるんだよな
AIは東側の方が強いのかも あぁ、間違ってなんUの方に書いちゃったよ
(今更だけどスクリプト荒らし今いないし戻ってもいいのかもね)
googleが出したgemma2 27b、chat arenaの成績みる限り少なくとも英語の性能はllama3 70bに匹敵してるかも
Q5くらいなら24GBで動かせそうだ あれ？Ninjaってもしかして悪魔合体すでにしてる？悪魔合体したのがNinjaなの？
説明みてるとマージレシピって書かれているけど
悪魔合体って７Bなら７Bのモデル同士じゃないとできないの？ まあこのブロックでOpenAIが時代の覇者になる夢は潰えただろうけど
独占よりも活発な競争が行われてくれたほうが消費者にとってはいい 元々OpenAIはサムの各国行脚とか政治的な立ち回りも考えてた会社だしな
米政府との関係性って面でも今回のブロック措置は有効に機能するんじゃないか
この調子でEUもブロックして面倒な規制法をぶっちぎってエロエロモデル提供しようぜ openAIが中国を締め出しするって話でしょ
政治だか軍事だかの悪用が過ぎるとかで 中国がアメリカを追い越しつつある上に分断が進んで向こうの情報が見えにくくなってるから
アメリカの大学が中国の最新モデルを盗んで自分たちの成果として公開する事件まで起きてんな
動画生成も既に中国のほうが進化してるし gemma 9b LMstudioで使ってるけどめっちゃ頭いい気がする……gpu offloadが最大33じゃなくて50なのね >>269
まあそうなんだけど、そういう対応をせざるを得ない状況に追い込まれてるとも言える
大赤字なんだし本当は利益だけ追求したいだろうに、色々と板挟みで身動き取れないんだろうね
エロ規制強めたり弱めたりで右往左往してるし その手の中国を下に見る認識は改めたほうがエエで…… 流石に世間知らずすぎる
認識が20年くらい前で止まってるぞ AI分野は中国人研究者最強説ある
なお中国が強いわけではない Qwen2つよつよだもんな
ウェイト公開してるから使う人もどんどん増える
言語モデルを通じて中華の価値観を世界に浸透させる狙いがあるかも >>269
米軍はグーグルやMSと連携してLLMを作戦立案に使用する研究進めてるって報道されてるぞ
パレスチナ人を自動殺害するAIガンカメラにもアメリカのAI技術が使われてるしな
>>273
先月アメリカで発表されたLlama 3-VがGPT-4Vの1/100のさいずで同等の性能ってことでブームになったけど
中国の丸パクリと判明して炎上した 中国メーカーのグラボで最高性能出せるとかになると世界経済変わるわ スタンフォードでそんなことするんだね
マニングではないよね？
やったのは研究室の中国人だろ？ Llama3 Elyza Japaneseめっちゃテンポ良く会話してくれて気持ちいいんだけど、事務的で文章短めで創作が苦手なのが寂しい
ElyzaベースのVecteusめっちゃ欲しいわ >>276
企業レベルなら日本も負けてないんだけどね自動運転とか
自称AI技術者のレベルの差よ エロに強いNinjaと頭の良い何かを悪魔合体させる話に戻して良い？ >>283
戻して下さい
こういうIdがない人ってどうやってNGするんですかね OpenLLM Leaderboardでもアプデされてベンチ用データセットにオーバーフィットしてスコア盛るのが効かなくなったのかQwenが相対的にランク上がってるっぽいし (前がどうだったのか忘れたけど
Qwenとかめっちゃオープンにモデル公開してるけどあれAlibabaなんよな(?)
Modelscope(魔塔社区)とかいう中国版huggingfaceみたいなんも出てきたしAI周り全部中国が自前で揃えるのも遠くはなさそう
>>270
Llama3-V(スタンフォード)が実は中身Mini-CPM(精華大学ほか)でしたとかあったな >>273が釣りだとしたら
何かが盛大に釣れた気がしてなんか怖い流れだな 7BモデルはあんまりXMLとか出力させるのには向いてないんだろうか
出力がぶっ壊れる ああ、すまん
mistralベースの日本語7Bモデルの話
KUJIRAにXML出させようとしたんだけど、うまく行かんかった 内容的にコーディング特化のモデルの方がよいんじゃないかな >>291
でかいモデルとかllama-3とかだと流石に動くんだけど、日本語流暢な小型モデルでも同じことできないかなと思ってな
出力内容と一緒に出力の属性みたいなのをXMLで出力させてるんだけど、まあ凝ったことやろうとするとでかいor特化モデルじゃないと厳しいか いろいろ試行錯誤するのが楽しいんだし片っ端からいろいろモデル試してみるのがいいよ
本当に結果最優先なら無料のAIサービスの方が遙かにマシだけどローカルでやる遊びだしね モデルのフレームワークをllamacppからTransformersへ変換することとかできるんでしょうか？
Ninjaと日本語強いモデルを悪魔合体させるにはこれができないといけない？ cohereの新しいモデルがもうすぐ出るみたいやな
commandシリーズみたいやし楽しみや CohereはCommandっていう検索しづらい名前なんとかして欲しい command-r-ultra 400B
だったらどうしようｗ 7Bでもそこそこ遊べるのに少し上を求めると70Bだの100Bだの400Bだのインフレし過ぎよね パラメーター10倍でも体感性能は2倍もないかんじがする koboldcppにあるLoRAってどういう機能なんだろ
画像生成のLoRAと同じなら特定キャラクターの設定や口調、知りうる知識なんかを読み込ませて演じさせたり出来るんだろうか >>295
探したけど見つからんかったわ
ソース貼ってくれ Oumuamua-7b-RP_Q8_0.ggufを使うの難しいな
下手な機械翻訳みたいな文章ばっかりになる 検索エンジンに頼りきりだから検索汚染食らってる問題にはほんとさっぱりだな
だからといって学習元絞ると頭悪くなるんだし解決難しそう 軽くてもよさげな検閲なし知識豊富なモデルでました？ ボイスドラマみたいな一方的に話しかけて進めてくれる文章て書けるかな…？
それをSBV2とかに投げたら横になりながら聞けるんだけどな Kohya氏が会話生成試みてるみたい もちろん他にもやってる人いるだろうけど
キャラ毎にLLM建てて間で応答を仲介したらいけるのかな……
話題が発散しちゃうか……ターン制にしたり、隠れて話題を制御するメタなLLMも必要か…… エロと実務以外だとAIのプレイヤーとAIのGMでTRPGを破綻なく1ゲーム出来るぐらいの精度と環境が欲しいよね
逆に翻訳やプログラムだと現状でもまぁ >>306
mmnga氏が出してくれたぞ
今日は眠いから、明日試すわ 自前でLlama-3-Swallow-8B-v0.1の方をQ8_0に量子化してみたんけど、設定間違えたんだか会話が成立しないレベルでアホになってしまう……
素直に他の人が上げてくれるの待つしかないか…… ごめんこれbaseモデルの方は追加学習前の素でアホなモデルなんだな、リリースもうちょっとしっかり読むべきだった
instructモデルの方でやってみたら普通に賢かったわ…… MCTCアルゴリズムをシステムプロンプトに組み込んだbotが文章表現力まで上がってたので、そのままプロンプトを拝借して色々捗る
難点は3000トークンも使う 今ってエロとかマルチターンの指示への追従性含めた全体的な使用感(ベンチのスコアではなく)がCommand R Plusより良さげなOSSモデルってあるかな
まあ好みもあるし曖昧だとは思うんだけど gemma-2-27b-it
エロプロンプトも通るな
ウェブ検索とかプログラミングも出来るっぽいので万能エージェントとして使えそう
https://i.imgur.com/RSDFsHO.png
https://i.imgur.com/GmrPkHA.png >>317
これはこれは
VecteusV1から引っ越す日が来たのか…？
ああでもVRAMうう 幼女もののエロ小説とかも、出力の先頭固定してお断り防げばそれなりに書けるな koboldが対応したからチャットに使ってみたけどエロの言い回しが単調な印象
プロンプトが悪いのかな
317みたいにするにはどうすりゃいいんだろう 相変わらずビーカーでコーヒー飲んでそうな色味のSSは見てない。しかも自分作の勝手アプリだろ？有益な情報も産んでないんだからどっか別のスレに消えてくれよ。 >>322
そう一方的な感想で罵られても困る
自作アプリはLLMの醍醐味だし、そもそもコードはgithubに全て公開している以上、有益な情報を含んで無いとか、勝手なアプリだとか言われる筋合いは無いわ
有益かどうかは知らんけどgemma-2のプロンプトに関していえば、システムプロンプトに相当するものはマークダウン形式で<start_of_turn>userの中に書けば結構追従性高いよ(このSSのtool callの指示とかキャラ設定も全部そこにぶち込んだ)
これで満足か？ >>323
俺は好きやでこういうの
ちなみにQ8でVRAMどれくらい食ってるの？ AI開発者はアダルト機能に制限をつけることで
性産業のみを保護している！！ >>324
macの共有メモリなのでロード前後で差をとった概算で、コンテキストは8192 tokensで31GBくらいモデルが占有してる感じ
知識詰め込まれてると量子化の影響大きいかも、と思ってとりあえずQ8にしてるんだが、もうちょい下げても大丈夫かなとは思う 322のﾃﾃﾝはGPTスレでご覧の言動で嫌われて発狂して荒らしまくったり乱立スレ立ててた札付きの荒らしだよ
触らずNGリストにぶち込むのが吉
しょうもない自演擁護したり
勝手にﾜｯﾁｮｲ・ID無しスレ立てようとするのでそれだけ注意ね 俺もQ5Sでsillyのチャットしてみてるけど応答はめちゃ早いもののVRAM24G埋まりっぱなしだー
けどエロは淡白だな
なんかチャットなのにナレーションでさっさと済ませようとしてくる >>328
証明する方法はぱっとは思いつかんが、別人と同一視されるのは不快なのでやめてもらえないか？
まぁこのスレの総意として消えろと言われれば、それは仕方ないので従うが・・・ >>330
これは内緒の話なんだけど、実はお前は>>322ではなく>>323なのだ アンカーつけると面倒なんで外したのが勘違いの元だったかな
ともあれ、煽り口調の楽天ﾜｯﾁｮｲはその手のアレなんでよろしく >>328
>>332
>>333
うお、これは失礼
肩を持ってくれたようなのに申し訳なかったな kobold+尻タブで運用してるんだけど使ってるモデルで設定を変えないと表現の差を感じにくかったりする？ >>326
確かにそう言われればそうだなw
AIのトップ企業が「Webに公開した時点でフリーウェアやぞ(笑)」とかいってる一方でNSFW界隈が守られてる皮肉 CALM3 22Bが出てきたね
デカすぎて自分は試せないけど オンラインモデルでもclaude3やGPT4oみたいなLLMはほぼエロ規制ないけど、dalle3や動画生成aiはエロ規制キツいままだね
まあこいつらはエロ学習もしてないから規制というより無能なんだけど ちょっと上に出てるcohereの新しいモデルってやつ、流れちゃったけどソース知ってるやついる？
本当なら割と楽しみなんだが >>340
sandra kublikのxに書いてある
今後のcommandシリーズの展開とかも
他の企業と同じくモデルサイズの縮小と特化型を目指すみたいだから思ってたのと違う感じになりそうだなぁ >>341
これか、サンクス
https://x.com/itsSandraKublik/status/1807801960738791491
まあR/R+も”本来は”エンタープライズ向けのモデルだとは思うから、特化型といいつつなんだかんだで色々使える〜ってのを少し期待して待っておくことにしよう >>339
言うなら女体の理解度でしょ
エロとは違う >>343
例えば”スマタ”って指示すれば太ももを強調した絵を描くぞ
検閲されるだけでエロ系概念も内部には持ってて引き出すのが難しいだけ >>344
いや、公式がエロは学習から抜いてるって言ってたんだけど… >>351
たぶん、スマタの"マタ"に反応しただけだと思うよ… 擬音語とか擬態語を的確に使わせるのって難しいね
「ふわふわ」が適切な場面で「ゴツンゴツン」とか言い始めることがある ■ このスレッドは過去ログ倉庫に格納されています
