なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured Oumuamua-7b-RPのプロンプトフォーマットの項目に
「以下のようなchat templateを使ってくれ」って書いてあるけど、STの場合はどうやればいいの？
https://huggingface.co/Aratako/Oumuamua-7b-RP
とりあえずモデルを使ってみてるけどキャラの応答がおかしいから
たぶんこのchat templateってのをちゃんと適用させないのが原因だと思ってるんだけど >>193
スタイル名に-が入ってるケースで動作しないことを確認し，修正しました．
stagingにマージされましたので，よければ更新ください． 私は使ってないけどインストラクトモードというのがあるよ
モデルは見てないので適当かもしれない
おそらく添付されてると思われるjsonテンプレートファイルをSTのフォルダにコピーするのかと
st/data/default-user/instruct/
STの設定からインストラクトモードをオンにする
プリセットを添付のものにするか、エラーが出るならアルパカのテンプレートを選ぶ、んじゃないかなぁ >>192
確かにTTS全体のバグだね．簡単に直せたので，直しておいた．stagingにマージ済み．
# 光の速さでマージされてビビった． >>231
ありがとうございます！ありがとうございます！ >>228
カスタムテンプレートで自作する感じだね
ターミナルにどんな入力されてるか出るからそれ見つつ弄ると良い LLMの出力を特定の形式に強制するGrammarって機能、食わず嫌いしてたけど使いこなせたらだいぶ強い気がする
ひらがなだけで喋るの強制させたりするのをモデル問わずできるのは可能性を感じる イライザ 8bでたね
ggufもあるから誰か試して
今出先で試せん。。 僕の考えた最強クリーチャーを文章で書いて絵にしてほしいのだけど、そういうので今一番使えるのはなに？ それ多分絵にするとこの限界のほうがロコツに出ると思うなあ
絵のモデルのほうで模索してガチャ繰り返したほうがいいんじゃね 今時は文章で指示だしたら３Dモデルまで作ってくれるんじゃないの？ そういうのもある
なおクオリティはまだ二次と比べて発展途上
どうせLLM触るなら他のも実際に触ってみなよ 上の方でも同じ悩みの人いるみたいだけどninjav2どうやっても短いエロ小説にしかならない
すぐ物語を終了するほうにもっていかれる Ninjaと何を悪魔合体させれば最強キメラになりますか？ >>230>>234
ありがとう。なかなか難しいね
色々と勉強しないと使いこなせなさそうだ 7/9からOpenAIが中国をブロックするから中国でどんどん独自進化した凄いモデルが出て来そうだな 中華グラボでしかまともに動かないモデルとか出てきたら面白いな 自国でどんどん完結させてる中国に対してこの手の締め出しって効かなくなっていくよなぁ
優秀なAI研究者の何割だかが中国人って言うし >>252
それはアメリカで研究や開発をしてる中国人の話だけどね
そういう人と話すとみんな同じことを言う
中国を統治するには中国政府のやり方しかない。それはわかる。でも俺は御免だ。
ってね NinjaとELYZAを悪魔合体させてみるかな
やった人いる？ 俺はvecteusでいいやと思ってモデル探求は止めた SBVITS2の音声学習をやってみようと手探りでチュートリアル動画に沿ってやってるんですが
データセット作成の文字起こしのとこでUnicodeDecordエラーが出て作成出来ず、どうしたらいいのか分からんので教えてください ぬお、よくある質問の存在を見落としてた
そこに思いっきり書かれてて、解決しました！ なんかスレに書き込んでも反映されない事あるんだけど、もしかしてtokenをカタカナで書くとスパム判定されるとかあるのかな？ なんならイランもAI技術者多くて優秀だからアメリカは沢山受け入れてるんだよな
AIは東側の方が強いのかも あぁ、間違ってなんUの方に書いちゃったよ
(今更だけどスクリプト荒らし今いないし戻ってもいいのかもね)
googleが出したgemma2 27b、chat arenaの成績みる限り少なくとも英語の性能はllama3 70bに匹敵してるかも
Q5くらいなら24GBで動かせそうだ あれ？Ninjaってもしかして悪魔合体すでにしてる？悪魔合体したのがNinjaなの？
説明みてるとマージレシピって書かれているけど
悪魔合体って７Bなら７Bのモデル同士じゃないとできないの？ まあこのブロックでOpenAIが時代の覇者になる夢は潰えただろうけど
独占よりも活発な競争が行われてくれたほうが消費者にとってはいい 元々OpenAIはサムの各国行脚とか政治的な立ち回りも考えてた会社だしな
米政府との関係性って面でも今回のブロック措置は有効に機能するんじゃないか
この調子でEUもブロックして面倒な規制法をぶっちぎってエロエロモデル提供しようぜ openAIが中国を締め出しするって話でしょ
政治だか軍事だかの悪用が過ぎるとかで 中国がアメリカを追い越しつつある上に分断が進んで向こうの情報が見えにくくなってるから
アメリカの大学が中国の最新モデルを盗んで自分たちの成果として公開する事件まで起きてんな
動画生成も既に中国のほうが進化してるし gemma 9b LMstudioで使ってるけどめっちゃ頭いい気がする……gpu offloadが最大33じゃなくて50なのね >>269
まあそうなんだけど、そういう対応をせざるを得ない状況に追い込まれてるとも言える
大赤字なんだし本当は利益だけ追求したいだろうに、色々と板挟みで身動き取れないんだろうね
エロ規制強めたり弱めたりで右往左往してるし その手の中国を下に見る認識は改めたほうがエエで…… 流石に世間知らずすぎる
認識が20年くらい前で止まってるぞ AI分野は中国人研究者最強説ある
なお中国が強いわけではない Qwen2つよつよだもんな
ウェイト公開してるから使う人もどんどん増える
言語モデルを通じて中華の価値観を世界に浸透させる狙いがあるかも >>269
米軍はグーグルやMSと連携してLLMを作戦立案に使用する研究進めてるって報道されてるぞ
パレスチナ人を自動殺害するAIガンカメラにもアメリカのAI技術が使われてるしな
>>273
先月アメリカで発表されたLlama 3-VがGPT-4Vの1/100のさいずで同等の性能ってことでブームになったけど
中国の丸パクリと判明して炎上した 中国メーカーのグラボで最高性能出せるとかになると世界経済変わるわ スタンフォードでそんなことするんだね
マニングではないよね？
やったのは研究室の中国人だろ？ Llama3 Elyza Japaneseめっちゃテンポ良く会話してくれて気持ちいいんだけど、事務的で文章短めで創作が苦手なのが寂しい
ElyzaベースのVecteusめっちゃ欲しいわ >>276
企業レベルなら日本も負けてないんだけどね自動運転とか
自称AI技術者のレベルの差よ エロに強いNinjaと頭の良い何かを悪魔合体させる話に戻して良い？ >>283
戻して下さい
こういうIdがない人ってどうやってNGするんですかね OpenLLM Leaderboardでもアプデされてベンチ用データセットにオーバーフィットしてスコア盛るのが効かなくなったのかQwenが相対的にランク上がってるっぽいし (前がどうだったのか忘れたけど
Qwenとかめっちゃオープンにモデル公開してるけどあれAlibabaなんよな(?)
Modelscope(魔塔社区)とかいう中国版huggingfaceみたいなんも出てきたしAI周り全部中国が自前で揃えるのも遠くはなさそう
>>270
Llama3-V(スタンフォード)が実は中身Mini-CPM(精華大学ほか)でしたとかあったな >>273が釣りだとしたら
何かが盛大に釣れた気がしてなんか怖い流れだな 7BモデルはあんまりXMLとか出力させるのには向いてないんだろうか
出力がぶっ壊れる ああ、すまん
mistralベースの日本語7Bモデルの話
KUJIRAにXML出させようとしたんだけど、うまく行かんかった 内容的にコーディング特化のモデルの方がよいんじゃないかな >>291
でかいモデルとかllama-3とかだと流石に動くんだけど、日本語流暢な小型モデルでも同じことできないかなと思ってな
出力内容と一緒に出力の属性みたいなのをXMLで出力させてるんだけど、まあ凝ったことやろうとするとでかいor特化モデルじゃないと厳しいか いろいろ試行錯誤するのが楽しいんだし片っ端からいろいろモデル試してみるのがいいよ
本当に結果最優先なら無料のAIサービスの方が遙かにマシだけどローカルでやる遊びだしね モデルのフレームワークをllamacppからTransformersへ変換することとかできるんでしょうか？
Ninjaと日本語強いモデルを悪魔合体させるにはこれができないといけない？ cohereの新しいモデルがもうすぐ出るみたいやな
commandシリーズみたいやし楽しみや CohereはCommandっていう検索しづらい名前なんとかして欲しい command-r-ultra 400B
だったらどうしようｗ 7Bでもそこそこ遊べるのに少し上を求めると70Bだの100Bだの400Bだのインフレし過ぎよね パラメーター10倍でも体感性能は2倍もないかんじがする koboldcppにあるLoRAってどういう機能なんだろ
画像生成のLoRAと同じなら特定キャラクターの設定や口調、知りうる知識なんかを読み込ませて演じさせたり出来るんだろうか >>295
探したけど見つからんかったわ
ソース貼ってくれ Oumuamua-7b-RP_Q8_0.ggufを使うの難しいな
下手な機械翻訳みたいな文章ばっかりになる 検索エンジンに頼りきりだから検索汚染食らってる問題にはほんとさっぱりだな
だからといって学習元絞ると頭悪くなるんだし解決難しそう 軽くてもよさげな検閲なし知識豊富なモデルでました？ ボイスドラマみたいな一方的に話しかけて進めてくれる文章て書けるかな…？
それをSBV2とかに投げたら横になりながら聞けるんだけどな Kohya氏が会話生成試みてるみたい もちろん他にもやってる人いるだろうけど
キャラ毎にLLM建てて間で応答を仲介したらいけるのかな……
話題が発散しちゃうか……ターン制にしたり、隠れて話題を制御するメタなLLMも必要か…… エロと実務以外だとAIのプレイヤーとAIのGMでTRPGを破綻なく1ゲーム出来るぐらいの精度と環境が欲しいよね
逆に翻訳やプログラムだと現状でもまぁ >>306
mmnga氏が出してくれたぞ
今日は眠いから、明日試すわ 自前でLlama-3-Swallow-8B-v0.1の方をQ8_0に量子化してみたんけど、設定間違えたんだか会話が成立しないレベルでアホになってしまう……
素直に他の人が上げてくれるの待つしかないか…… ごめんこれbaseモデルの方は追加学習前の素でアホなモデルなんだな、リリースもうちょっとしっかり読むべきだった
instructモデルの方でやってみたら普通に賢かったわ…… MCTCアルゴリズムをシステムプロンプトに組み込んだbotが文章表現力まで上がってたので、そのままプロンプトを拝借して色々捗る
難点は3000トークンも使う 今ってエロとかマルチターンの指示への追従性含めた全体的な使用感(ベンチのスコアではなく)がCommand R Plusより良さげなOSSモデルってあるかな
まあ好みもあるし曖昧だとは思うんだけど gemma-2-27b-it
エロプロンプトも通るな
ウェブ検索とかプログラミングも出来るっぽいので万能エージェントとして使えそう
https://i.imgur.com/RSDFsHO.png
https://i.imgur.com/GmrPkHA.png >>317
これはこれは
VecteusV1から引っ越す日が来たのか…？
ああでもVRAMうう 幼女もののエロ小説とかも、出力の先頭固定してお断り防げばそれなりに書けるな koboldが対応したからチャットに使ってみたけどエロの言い回しが単調な印象
プロンプトが悪いのかな
317みたいにするにはどうすりゃいいんだろう 相変わらずビーカーでコーヒー飲んでそうな色味のSSは見てない。しかも自分作の勝手アプリだろ？有益な情報も産んでないんだからどっか別のスレに消えてくれよ。 >>322
そう一方的な感想で罵られても困る
自作アプリはLLMの醍醐味だし、そもそもコードはgithubに全て公開している以上、有益な情報を含んで無いとか、勝手なアプリだとか言われる筋合いは無いわ
有益かどうかは知らんけどgemma-2のプロンプトに関していえば、システムプロンプトに相当するものはマークダウン形式で<start_of_turn>userの中に書けば結構追従性高いよ(このSSのtool callの指示とかキャラ設定も全部そこにぶち込んだ)
これで満足か？ >>323
俺は好きやでこういうの
ちなみにQ8でVRAMどれくらい食ってるの？ AI開発者はアダルト機能に制限をつけることで
性産業のみを保護している！！ >>324
macの共有メモリなのでロード前後で差をとった概算で、コンテキストは8192 tokensで31GBくらいモデルが占有してる感じ
知識詰め込まれてると量子化の影響大きいかも、と思ってとりあえずQ8にしてるんだが、もうちょい下げても大丈夫かなとは思う 322のﾃﾃﾝはGPTスレでご覧の言動で嫌われて発狂して荒らしまくったり乱立スレ立ててた札付きの荒らしだよ
触らずNGリストにぶち込むのが吉
しょうもない自演擁護したり
勝手にﾜｯﾁｮｲ・ID無しスレ立てようとするのでそれだけ注意ね ■ このスレッドは過去ログ倉庫に格納されています
