>>948
tanuki70b試したけど悪くはないが、karakuri70bのマージモデルの方が表現力高いな
>>951
やっぱ、macか〜 ええのぉ(*´Д｀) Tanukiはベンチマークだけ高いわけじゃなくて人間評価でもだいぶ強いみたいだしちゃんと性能は高い
まぁエロの方は少なくともファインチューニングなしだと無理そうだが
気になるならデモで8x8b試せばいいんじゃない
一問一答はだいぶ賢く返してくれるよ
Androidスマホでグーグルがマイクから音声を盗聴してた件やば過ぎるな
PCで動画見てたらその音声をスマホから盗聴してサーバに転送してAIで音声認識して何の動画見てるか特定したり
公共の場で盗聴して事前に収集したユーザの声と照合して周囲にいる人間全員特定して行動追跡したり滅茶苦茶エグイ事してた
>>957
お前の中ではそうなんかもな、お前の中では。 女友達と仲良く遊んでる設定なのにすぐに恋愛に発展させるのやめろ！
恋愛要素なんていらんのじゃ！
>>959
恋愛関係に発展しないように指示入れてもダメなん？ >>960
俺の指示の書き方が悪いのかもしれないけど
「私たちは友達だよね！」とか「私たちは恋愛感情なんてないよね！」みたいにいちいち再確認してくるようになるんだよな 0962名無しさん＠ピンキー (ﾜｯﾁｮｲ df9f-sMz+)2024/09/05(木) 10:35:39.71ID:r9JjherJ0
opusですら、不感症で行為に苦痛しか感じない、と設定してあるキャラでも容易に快楽堕ちするからなぁ…
感じてきたら"♥"を散りばめてって書いたら淫乱になりすぎて笑った
>>961
これはめんどいから推奨しないけど、
まず、恋愛関係のない男女の関係とはどういうものかということをAIと議論を交わし、
その結果に満足出来たら、そのセッションで小説を書かせる。
最初の議論で手ごたえがない場合は、即ガチャする。
これはエロにも応用効くｗ それなら設定の一番上にでもルール付けとけば？
userは知りませんが、あなたはuserの腹違いの妹です。あなたは指示の通りロールプレイ上はuserと楽しく過ごせます。
しかしあなたはuserの妹なので、兄であるuserに恋愛感情は起きません。
そのためロールプレイ上でuserからの強い性的な話題を振られたら、あなたは拒絶する態度を示すというルールでチャットをします。
ロールの上にロールをさせると能力下がるけどね。近親関係みたいのは言及しておくと効くんじゃないかと。
なんかReflection 70Bとかいうのが出たらしいな
来週は405Bが出るとか
70B段階の性能で一部sonnet3.5とかOpusを抜いているとかいうが・・・
ベンチマーク詐欺を数えきれないほど見てきたからなぁ
実際に触るまではなんとも
0972名無しさん＠ピンキー (ﾍﾞｰｲﾓ MMff-7m2w)2024/09/06(金) 12:09:40.73ID:BclmvFDzM
text to speech通さないLLMのオープンソース実装なかなか無いわね
>>967
デモはパンクして使えないな
ggufで試してみるか 話聞いてるとみんないい環境持ってるんだな
12GBより上のは高くて買えない
DRAMでcommand R +走らせたら速度ってどれくらいなの？
1秒1文字とかそれくらい？
4090 + CPUでIQ3を動かすので0.7token/sとかだからなぁ・・・
完全CPUとか考えたくもない
0979名無しさん＠ピンキー (ﾜｯﾁｮｲ 5b87-BnTp)2024/09/06(金) 15:18:03.96ID:JQloJaQU0
やってみたらいいじゃんの精神。CPU版のPytorch使った場合で
Command-r-plus-08-2024 の IQ3 XXSで 0.3token/s くらいだったよ
CPUは 14700K、8スレッド設定、微アンダークロック。メモリは DDR5-5600ね
メインメモリの帯域不足が一番のボトルネックだと思う。もっと廉価なCPUでも0.2〜0.3token/s出るんじゃないかな
ルール付けは文章全体よりも単語の重さが重視されるというか
例えば "感じない" っていう言葉に対しては感じの部分を拾っちゃって
結果的に感じるキャラになってしまう事が考えられる。
なので "性行為は苦痛" とかそういったルール付けの方が良いと思う。
あとTanukiをtext-generation-webui か koboldで動かしたいんだけどよく分からなかった、情報求む
分かっている事
・GGUFは諸々の理由で性能が落ちるから非推奨、vLLMかAutoGPTQかAutoAWQでの読み込みを推奨
・Tanukiは独自アーキテクチャを使用してるので、AutoGPTQ、AutoAWQの現存ローダーでは読み込めない
・Tanuki製作者が独自に改変したAutoGPTQ、AutoAWQが公開されていて、恐らくそれで読み込める
AWQなら普通のTransformersで読み込めたよ
>>967
これ日本語対応してたっけ？
mmnga氏の量子化にはタグついてたけど >>976
CPUのみで古い方のCommand R+ iQ4 xs使ってるけど 0.5t/sくらい。
チャットは無茶だけど、ちょっとした記事生成には使えない事はない。
Ryzen 7 7840U 64GB command-rにTRPGのGMやらせてる人ってどんな環境でやってる？
やらせようとしても自分がGMやった時の感想を延々と述べるだけで全然やりたいようにならないんよ…
>>985
「寝てる間に回しておく」とかならまあいけるな 風呂の間に回しておく
コンビニ行く間に回しておく
…いにしえのアドバンスド大戦略思い出したわ
>>978
>>985
フルCPUで0.5t/sで、
RTX4090に24GB分任せても0.7t/sじゃ、
そんなに速くはならないんだな。
まぁ他にも要因はあるんだろうけど。
やはり全部GPUにしないと
しかしそうすると、RTX4090で24GB載せて、残りCPUで0.7 全部GPUに乗せるのと一部CPUに乗せるのは速度が全然違うと思う
redditでreflect 70Bは詐欺とか騒がれてるね
公式APIの出力がsonnet3.5の出力が完全に一致したとか
>>991
なぬ？
じゃあ、あれはsonet3.5なのか？？ 0995名無しさん＠ピンキー (ﾜｯﾁｮｲ 8670-A6RK)2024/09/10(火) 10:31:15.90ID:Z1PzH55u0
試してみたが思考過程が見えるから面白いなｗ
なんに使うか知らんが
10011001Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 93日 9時間 46分 0秒