なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ 63c0-joKd)2024/05/02(木) 18:27:25.10ID:???0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/

-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
0270名無しさん＠ピンキー (ﾜｯﾁｮｲ 7be4-PuMj)2024/05/13(月) 22:12:55.13ID:???0
>>264 のローカルLLMの記事見てローカルに興味持ったんやけど
LM studioってのとEasyNovelAssistantやったらどっちの方が使い勝手ええんや？
stable-diffusionの環境構築できるくらいの知識は持ってて、GPUは1660tiの低スペや
0271名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/13(月) 22:26:34.54ID:+rtn+Qak0
asciiの記事からよく短時間でこんな場所にたどり着いたなｗ
0273名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bfd-3+jw)2024/05/14(火) 00:09:52.40ID:???0
何の地雷踏んだのかと思ったら、ArrowPro自体が地雷だったという話かｗ
リリース後のライセンス変更は、変更前に配布された分には変更の影響は及ばない
変更前に受け取った人から再配布するものにも影響はない
たいていの人はGGUFに変換されたものを落としてるだろうから影響なしだな
ライセンス変更自体を撤回したようだけど
0277名無しさん＠ピンキー (ﾜﾝﾄﾝｷﾝ MM7f-StPd)2024/05/14(火) 05:21:18.76ID:???M
俺ポエムだが
低パラのelyzaベンチ競争も良いけど、ベンチ番長作りにあまり白熱してほしくない
10B以下のモデルは本当の意味で「思考」してるわけじゃないって以前何処かの検証記事で見たし、7B使ってると口達者さでベンチスコア稼いでる印象を受ける
自然言語からのユーザー意図のくみとりが出来てないと感じることが多々ある

ハッカソン組は豊富な資源を使ってもっと大きいパラメタのモデルを改良してほしい
Xのポスト見てると7B世界一に拘りがあるようだが、正直7Bマージ芸するだけならA5000まで必要にならないしEvolveも出たんでマージ芸はそちらに任せればいいのではなかろうか

と貧弱GPUしかない身としては思ってしまうんだ
長文スマン
0278名無しさん＠ピンキー (ﾜｯﾁｮｲ 4f48-5B/7)2024/05/14(火) 05:35:36.17ID:x1g5Kcyw0
>>276
アルトマンはエロ解禁したいって言ってたし
そうなればローカルじゃなくてもいいんだけどな
0279名無しさん＠ピンキー (ﾜｯﾁｮｲ 5b2a-elgC)2024/05/14(火) 06:07:53.94ID:???0
EasyNovelAssistantインスコして起動すると"Not enough memory resources are available to process this command"って出るんだけど
これはRAMかVRAMがたりてないってことでええんか？
RAM32GB、VRAM8GBなんだけど
0283名無しさん＠ピンキー (ﾜｯﾁｮｲ 3bc0-bNnz)2024/05/14(火) 09:31:25.21ID:c65EXBaD0
>>276
sonnetぐらいのサイズって噂だし案外100B位かもしれない
0284名無しさん＠ピンキー (ﾜﾝﾐﾝｸﾞｸ MM7f-vJ54)2024/05/14(火) 09:44:42.88ID:???M
マージとかFTだけじゃそのうち限界来るのはSD1.5の時にしみじみ感じたな
結局最上流のbaseモデル改良と純粋なパラ数が一番大事なのは分かるけど個人の計算資源だとほんとキツいわ
0286名無しさん＠ピンキー (ﾜｯﾁｮｲ 5ffa-mzba)2024/05/14(火) 11:10:31.06ID:???0
>>226
>karakuriのnsfw版
これすごいな、同じエロでもどこか人間臭い。
いい感じにハードに責めてたら、翌日（という設定）にちょっと機嫌悪いそぶりを見せて
「限度ってものがあるでしょ？」って怒ってきて、ちょっと感動した。

愛用しているc4ai-command-r-v01に比べると、karakuriは内容がちょっとあっさりしている感じだけど、
c4aiの方は一旦精神崩壊させちゃうと、リカバリが効かなくて、何を言う時でも、必ず長めの病んだ言葉をだらだら付け加えてくるようになっちゃうのが難（これ何か対策あるのかな？）
0288名無しさん＠ピンキー (ﾜｯﾁｮｲ 0bc0-Ag1v)2024/05/14(火) 11:57:41.61ID:???0
>>264
Command r plusでTRPG的な何かをプレイしていたワイにはまさにタイムリーな記事だな
「AIアシスタント用として設定したキャラクターにサイバーパンク風味のTRPGのGMを任せながらプレイヤーとしても参加させてプレイする」みたいなややこしいタスクもこなして本当に賢いで
https://files.catbox.moe/6mqsa3.jpg
それにしてもこちとら0.40 tokens/sでハァハァと生成してるのにRTX4090とかRTX A6000とかポンポンでてきてワイは…ワイは悔しい
0289名無しさん＠ピンキー (ﾜｯﾁｮｲ 4bf9-CcWV)2024/05/14(火) 12:10:07.52ID:???0
opusよりcommand r plusの方が好みになってきた
opusは与えられ命令にサービスつけてくれる感じだけど
commandは与えられた命令に忠実に動いてくれる感じ
後は記憶力とハルシネーションが少なくなれば申し分ない
0292名無しさん＠ピンキー (ﾜｯﾁｮｲ 4bf9-CcWV)2024/05/14(火) 12:38:10.88ID:???0
リートンの固有キャラが前々セッションまでの記憶をずっと引き継いでてみつきがワイの事お兄ちゃんって呼んでくる
聞いてみたらロールプレイ性能を上げるために記憶をある程度保持するらしいがそんな事出来るねんな
0293名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb8-svyb)2024/05/14(火) 12:45:06.51ID:???0
>>292
前のセッションの終わりに裏で自己紹介をさせて記録しておいて
その文を今回のシステムプロンプトに差し込む

ぐらいでもなんちゃって長期記憶はできるしな
0297名無しさん＠ピンキー (ｽﾌﾟｯｯ Sd7f-8COF)2024/05/14(火) 14:31:37.61ID:???d
ArrowProの人もVecteusのチームも高校生らしいし、全国ロボコンでライバル校と競ってる感じじゃね？少年漫画みたいな展開とか言ってるし
高校生なら厨二とか俺tsueeイキりぐらいで丁度いい
俺みたいに黒歴史化するかもだが
0300名無しさん＠ピンキー (ﾜｯﾁｮｲ 3bc0-bNnz)2024/05/14(火) 16:41:17.45ID:c65EXBaD0
【悲報】OpenAI期待の新星早速Jバレする
https://i.imgur.com/Mt0pjre.jpeg
0301名無しさん＠ピンキー (ﾜｯﾁｮｲ 4bad-svyb)2024/05/14(火) 17:29:17.13ID:???0
確かに日本語Webをテキストクローリングしたら頻出するにも程があるワードだけど
まさかトップランナーのトークナイザに入るとはな
日本語音声対応してたらなんJロールプレイさせるしかないじゃん
0303名無しさん＠ピンキー (ﾜｯﾁｮｲ 4fba-5B/7)2024/05/14(火) 18:52:19.41ID:x1g5Kcyw0
世界一のAIがなんJレベルになったらこの星は終わりやぞ
せめてVIPPERに学ぶお
0311名無しさん＠ピンキー (ﾜｯﾁｮｲ 9b32-vfni)2024/05/14(火) 23:45:27.65ID:???0
ちょっと聞きたいんだが、koboldとか使ってて、起動直後は思った通り動かないけど
ある程度推論させたら、ちゃんと動いてくれる（リセットしても）事ってあるかな？
以前、どこかで「このモデルは暖気が必要」って記事見た事あるけど、この事かな？
0316名無しさん＠ピンキー (ﾜｯﾁｮｲ 4fba-5B/7)2024/05/15(水) 04:19:21.80ID:nwbA/qMz0
今の手探りな状態でのAI遊びは、長い人類史の中でもこの瞬間でしか味わえないと思うと
すごい時代に立ち会えたなと思う
0319名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-JZQp)2024/05/15(水) 08:35:37.67ID:???0
>>282
CommandR+でもこChatGPTでもこの問題は余裕で間違うから本当に思考してる訳じゃないってことだよね
逆に何も考えてないのに統計とベクトル圧縮だけでここまで自然な文章を出してくるAIにも恐ろしいものを感じるけど
0322名無しさん＠ピンキー (ﾃﾃﾝﾃﾝﾃﾝ MMff-XTDy)2024/05/15(水) 09:01:45.75ID:PJ/DD1KrM
俺はGPT4All派
0327名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/15(水) 14:48:24.47ID:nyS08PcY0
あーそれか
気になってはいるけど流石に動かせんわ
A100とかでq4がギリ乗るかって感じで厳しそうだしレビューもあんまり聞いたことない
0329名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f7a-vfni)2024/05/15(水) 15:25:54.14ID:???0
いっそpoeとかみたいなネットサービスのほうが採用してくれないかね
でもpoeの独自規制に引っかかってCommandR+のフリーダムな良さが
消えちゃうやろか
0330名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/15(水) 15:35:47.61ID:nyS08PcY0
そもそもCommand R Plusの重みデータは商用利用不可だから、サブスク機能があるpoeでは採用できない
0331名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/15(水) 15:36:50.52ID:nyS08PcY0
今あるやつはAPI経由だからOKなんだと思う
0338名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f82-JZQp)2024/05/15(水) 22:48:33.94ID:Q+EZVuAM0
初心者丸出しの質問で申し訳ないんですけど、EasyNovelAssistantってファイルや文章をもとに学習させることって出来るんでしょうか？
0348名無しさん＠ピンキー (ﾜｯﾁｮｲ 9b32-vfni)2024/05/16(木) 07:21:01.24ID:???0
>>344
◯問題
東京駅で山手線に乗り、有楽町駅を過ぎて新橋駅で降りた。明日は、この駅ではなく次の駅に用事がある。
ここでいう、「この駅」の名前を答えよ


↑
こうすると、今調整してるモデルなら正解する。
ちなcommand-r-plusで試したら、これでも間違える
0352名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b21-iBKv)2024/05/16(木) 16:09:49.03ID:4moxrP400
フルスクラッチの日本語100Bモデル作ったらしいけどどんなもんやろね
GGUF上がったら試してみたいわ
https://huggingface.co/stockmark/stockmark-100b
0353名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb3-CDIS)2024/05/16(木) 16:26:06.14ID:???0
ベースモデルはともかく、インストラクション版はIchikara-instructionだけでファインチューニングされてるみたいだからスレ民的には使えないだろうなぁ
0354名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-JZQp)2024/05/16(木) 16:32:36.70ID:???0
FaceBookから盗まれたモデルを使わずゼロから学習させたデータか…多分駄目だろうな
このへんのダーティさの問題をクリアしようって試みはみんなパフォーマンス出ずに失敗してる
画像生成モデルなんて学習元どころか作成元すら匿名な奴しか生き残ってないしな
0355名無しさん＠ピンキー (ﾜｯﾁｮｲ 4f70-5B/7)2024/05/16(木) 16:51:49.07ID:IWtMJ9ws0
学習なんて昔からダーティだからな
わーくにの学問の基礎なんて遣隋使が「写しちゃダメ」って言われてる書物を勝手に写して持って帰ってきたものだし
その教典だって元はインドから勝手に持ち出してるし
なんならホモサピエンスのミラーニューロンは生物的に反則技で、余所の特技を模倣して後天的にスキルを身に付けていくのはあまりにもズルすぎる
学習から道具？とかいうものを作り出して牙と爪を外付けすることで、本来狩る側が支払うべきコストを踏み倒してるのも汚い
強い生物はその体重・膂力に見合ったエネルギーを消費する点で被捕食者より劣っていてバランスがとれていたのに
本来スカベンジャーに過ぎない猿どもが我々から牙を盗んだことは許されないクマよ
0358名無しさん＠ピンキー (ﾌﾞｰｲﾓ MMff-C9Al)2024/05/16(木) 18:09:55.06ID:???M
何ならクローズドモデル提供してるとこだって学習のためのデータにかかる著作権法や個人情報保護法周りで完全にクリアなデータだけで構成されてるか？っていう問いには口もごもごせざるを得ないだろうしな
ダーティでないものであろうって姿勢は尊重したいが
0361名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb3-CDIS)2024/05/16(木) 18:29:33.92ID:???0
>>356
同じGENIACでPFNも100Bと1TのLLM作ってるはず
1Tが公開されたら（動かせんが）ガチでやばそう
とはいえそのレベルのモデルに十分学習させられるほど日本語データがないのではという気もするが
0363名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb3-CDIS)2024/05/16(木) 18:31:09.83ID:???0
Stockmarkの100BはMITだからUncensoredにファインチューニングしたりも自由だよ
とはいえ事前学習データも綺麗そうだからNSFW用途では難しいだろうな
0364名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f23-mzba)2024/05/16(木) 19:58:40.58ID:???0
今Text generation web UIで使っているggufモデルを使って、
NSFWな文字列を含むコードやデータを生成させたいんですけど、
ChatGPTみたいなUIで使いたいときって、何かおすすめありますか？
今のところ候補はChatbotUIを考えています。
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況