当前位置： 首页 > news >正文

4位量化：常规的线性层被替换成了4位线性层（48）

news 2025/8/21 7:44:56 
model_q4 = AutoModelForCausalLM.from_pretrained(
"facebook/opt-350m", device_map='cuda:0', torch_dtype=compute_dtype,
quantization_config=nf4_config
)
print(model_q4.get_memory_footprint
http://www.xdnf.cn/news/1331461.html

相关文章：

  • 服务器硬件电路设计之 SPI 问答（二）：SPI 与 I2C 的特性博弈及多从机设计之道
  • 基于单片机环境火灾安全检测
  • 27.语言模型
  • 3D max制作蝴蝶结详细步骤（新手可跟）♥️
  • Angular入门教程
  • Angular由一个bug说起之十八：伴随框架升级而升级ESLint遇到的问题与思考
  • 【机器学习】什么是损失景观（Loss Landscape）？
  • FPGA实现Aurora 64B66B图像视频点对点传输，基于GTH高速收发器，提供2套工程源码和技术支持
  • 大数据毕业设计选题推荐-基于大数据的1688商品类目关系分析与可视化系统-Hadoop-Spark-数据可视化-BigData
  • 新手向：使用STM32通过RS485通信接口控制步进电机
  • 实验8.20
  • Feign - 降级选 fallback 还是 fallbackFactory
  • HTTP/1.1 与 HTTP/2 全面对比：性能革命的深度解析
  • Final Cut Pro X Mac fcpx音视频剪辑编辑
  • MacBook Pro M1升级Burp Suite2025.8
  • 实时视频技术选型深度解析：RTSP、RTMP 与 WebRTC 的边界
  • AI on Mac, Your Way！全本地化智能代理，隐私与性能兼得
  • STM32存储结构
  • 【JavaEE】多线程（线程安全问题）
  • 中国大学MOOC-C语言第九周指针（上）
  • 数据结构：利用旋转在AVL树中维持平衡（Inserting in AVL with Rotation）
  • 自建开发工具IDE(一)之拖找排版—仙盟创梦IDE
  • RabbitMQ 基础
  • 吱吱企业通讯软件保证内部通讯安全，搭建数字安全体系
  • Windows 中的“计数器”
  • TDengine IDMP 运维指南（数据导入导出）
  • 第三阶段数据-3：数据库脚本生成，备份与还原，分离与附加
  • RabbitMQ：SpringAMQP Topic Exchange（主题交换机）
  • Oracle:配置让插入语句时id自动输入
  • 生产环境MongoDB分片策略优化与故障排查实战经验分享