出个int4 怎么样

by ZKong - opened Oct 4

ZKong

Oct 4

现在comfyui那边流行int4与fp4，既快又好

Oct 5

FP8还是超过了24GB，大部分休闲玩家用不了@@

Oct 7

等等稳定的GGUF吧，这个模型测试了一下cpu推理都能做到11token一秒

Oct 8

等等稳定的GGUF吧，这个模型测试了一下cpu推理都能做到11token一秒

GGUF没办法推理视频=-=

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment