项目

共 5 个

CUHK-X 隐私保护视频多模态问答面向 CUHK-X 大模型赛道的端到端可复现方案：红外视频固定抽帧、视觉语言模型推理、按题型约束解码，以及 QLoRA 后训练。Qwen3.5-4B 经 QLoRA 微调后，Kaggle 分数由 baseline 的 0.444 提升至 0.547，较最初的 Qwen2.5-VL-7B baseline 累计提升 0.129。llm-gateway给 LLM 调用加一层计量表。轻量的 OpenAI 兼容反向代理，转发请求的同时实时统计 token 用量，按使用者、模型、上游三个维度拆分展示。密钥隔离在多上游之后，工作台只需网关下发的 key；流式转发不缓冲，另带实时面板与 Prometheus 指标。QuantAssay在真实 SGLang 服务路径上对比 BF16 与 GPTQ/AWQ W4A16，测量推理延迟、吞吐与困惑度，并生成可复现报告。KernScope面向资源受限 GPU 的 LLM 推理算子库，提供 RMSNorm 与融合 Add-RMSNorm 的 PyTorch 参考实现和 Triton CUDA 内核。

小叽正在霸占这个位置更多项目整理中。