なんJLLM部 避難所 ★9
大手IT企業とか大学の研究機関ですらLLMの学習コストが高すぎるって言ってるからこれから量子化とかtransformersに代わる計算コストの低いアーキテクチャの研究が進むかもな
そもそも人間は絵描いたりするより文章書く方が簡単なはずなのにAIは画像生成の方が必要リソースが少なくて言語モデルは倍近くのリソースが必要なのはなんでや >>424
人間が絵より文章を書く方が得意なのは、文章が生きる上での必須技能でより多くの時間を費やすからだろ
人生で絵と文章どっちに多くの時間をかけてるのか考えてみるんだ >>426
簡単/難しいと得意/不得意は別の論な気もするのだが
ワイは、絵は全てのピクセルに明確な意図を込める必要はなく、なんなら単なるノイズですら魅力的な絵の一部と見なされうるけど、文章において文字はそれが許容されるケースが極めて限定的ってあたりがよりリソースが必要になる原因の一つやないか、と思うんやで >>421
普通に追加学習でファインチューンできると思うんだけど、上手くいかない感じ？
まぁVRAMが量子化前のモデルサイズ×4倍くらいは要るのが環境面では大変よね 視覚は莫大な情報の中から必要な物だけを抜き出す作業をしている
見たい部分が正しければ他は間違っていても気にならない
文章は伝えたい情報を全て文章化して相手に渡しており原則として相手は全てに目を通す
最初から最後まで確認するから間違いがあれば気づきやすい >>429
もちろんそういう問題もあるけど知識や技術の差も大きいで
アホな小学生は文章の良し悪しや文法の間違いに気付くことが出来ない
絵も同じで画力が無い奴は絵のおかしな部分に気付くことが出来ないし、単に下手なのかわざと崩しているのかの区別もつかない
画力があると絵を見た瞬間に多くの情報を正しく拾っておかしな部分に気付いてしまう
んで人類のほとんどはアホな小学生の文章力と同レベルの稚拙な画力しか持っていないから間違いが気になるはずもない
英語苦手な奴が英文読んだときにその良し悪しに気付かないのも同じことやで OpenRouterにGrok 4 Fastが来た。
しかもフリー。なんだこれ最高かよ。 CPU推論ってシングルスレッドが有効？
スリッパだとシングルが弱い上にメモリアクセスにワンクッション挟むからRyzen 8000シリーズより遅くなる印象
ThreadripperならGPU複数枚構成かなぁ 