目前Eagle-eye已经具备完成了训练以及推理部分的测试,表现出了一定的加速效果。目前兼容llava-v1.5-7b和Qwen2.5-VL-7B-Instruct两个模型。 我们提供的推理代码会自动分配模型权重(在多个 GPU 上加载模型),从而允许您运行超过单个 GPU 内存的模型。 新:高版本 ...