0436名無しさん＠ピンキー (ﾜｯﾁｮｲ dbe7-RXbr)
2025/06/21(土) 16:25:10.78ID:LDsXYAvs0ポイントは2つで
1. gpu駆動にすれば体感で4token/secくらい出る。cpuだとゴミ（xiaomi 11T pro）
2. gpu駆動にするには自分で.taskファイルをローカルに落としてedge galleyに読み込ませる必要がある
edge galleyは次からapkを落とす
https://github.com/google-ai-edge/gallery/releases
.taskは次から。これは2B。4Bはまだ試してない。
https://huggingface.co/google/gemma-3n-E2B-it-litert-preview/blob/main/gemma-3n-E2B-it-int4.task
import modelの際にはsupport imageのトグルとcompatible accelaratorにgpuを選ぶのを忘れない
https://i.imgur.com/1sUMFkt.jpeg
https://i.imgur.com/naNdlex.jpeg