当前位置: 首页 > news >正文

数据结构:位图

目录

问题引入

位图

定义

相关整型位操作 

疑点

位运算 

C++库里的bitset

实现

应用

优缺点


问题引入

有一道经典的面试题:有40亿个无序无符号整数,要求你高效判断一个数是否在这堆数中。

想法一:暴力查找似乎能够解决问题,但显然找一次就要消耗O(N)的时间,这是不能接受的;

想法二:问题的本质是查找,因此想到使用高效的二分查找:

                先进行一次O(N logN)的排序,之后的每次查找都只要O(logN)。

想法二的改进很不错,将时间消耗降到了一个可接受的范围,但却只考虑了时间,没考虑空间。

由于1GB = 1024MB = 1024*1024 KB = 1024*1024*1024 B,所以40亿个整数大致是16GB,而一个程序能给你这么多内存吗?二分的下标索引需要在内存中进行,如果放在外存上,索引效率就不行了,也就无法进行二分查找。

这可如何是好啊!?但既然是高效查找,就还应该有想法三:哈希映射。可尽管如此,哈希表也仍然会遇到内存不够的问题。

既然两个想法都被空间所限制,所以决定在空间上进行优化。

既然内存不够,“压缩”一下内存,不就够了?

位图

定义

位图是一种基于直接定址的紧凑数据结构,通过将整数索引映射到二进制bit位上以存储状态信息。

核心原理就是建立高效的直接定址的映射关系:

传统数组的整数索引需至少占用1 byte(bool)来进行状态表示;

位图将整数索引映射到int型(4byte = 32 bit)的每一bit位上,只需要一bit位就能进行状态表示。即一个int就能表示32个数的独立状态,实现了显著的空间压缩效果,提高了32倍的空间利用率。

相关整型位操作 

由于位图把一个整型当作32bit操作,主角是一个整型中的每一bit位,就不可避免要使用到整型位操作。

但首先还是要先将整数索引的bit位址找出来,这不难:

i = n / 32;
j = n % 32;

 i 表示在第几个int中,j 表示在第 i 个整型中的第几位。

疑点

有人可能会提出问题:不同的编译器有大小端的差异,且我们一般在位运算时将右边视为最低位,这样从左到右划分整型索引,运算时会不会出问题?索引结果会不会对不上?

首先是大小端的问题,这是整型在存储时高低位在大小地址存储的问题,这仅是存储的机制,但并不改变byte内部的bit顺序,所以并无影响;

第二个整形索引与位序共存的问题:i 表示的是第几个byte(数组从左往右看),而 j  = n % 32表示的是在 i 中 n 的逻辑bit最低位 (int的32位中从右往左看)。在进行位运算时,只要 j 明确是逻辑bit位,就能够进行正确运算。

只不过一开始的图可能会令人有点迷惑,可能要改改。

位运算 

由于0和1能表示的信息有限,位图通常的操作就是修改整型索引对应的位状态。

常用的操作:【1】判断一个数n的第 i 位是0 or 1

return (n>>j) & 1;

【2】将一个数 n 的第 i 位修改成1 

n |= (1<<i);

【3】将一个数 n 的第 i 位修改成0 

n &= (~(1<<i));

 

C++库里的bitset

【1】在C++库里的 bitset 的主要常用接口:

bitset& set (size_t pos, bool val = true); 将pos位置 置1
bitset& reset (size_t pos); 将pos位置 置0
bool test (size_t pos) const; 返回pos位置的状态

【2】C++库里的 bitset 是用静态数组实现,追求极致性能换取编译器优化。但如此在栈上开的空间就可能不够,没办法直接开辟UINT_MAX的空间(下列都不行)。

std::bitset<-1> bs1;
std::bitset<UINT_MAX> bs2;
std::bitset<0xffffffff> bs3;

但是总是有办法的,在栈上开不出来,就去堆上开。

auto pbs = new bitset<UINT_MAX>();

 

实现

模拟实现一个简易的位图,但我不追求极致性能,所以底层用动态数组。

template<size_t N>class bitset {public:bitset(){_bits.resize(N / 32 + 1);}void set(size_t pos) {size_t i = pos / 32;size_t j = pos % 32;_bits[i] |= (1 << j);}void reset(size_t pos) {size_t i = pos / 32;size_t j = pos % 32;_bits[i] &= (~(1 << j));}bool test(size_t pos) {size_t i = pos / 32;size_t j = pos % 32;return (_bits[i] >> j) & 1;}private:std::vector<int> _bits;};

应用

( 虽然是100亿个数,但还是按整数范围开空间,所以还是开2^32个位)

【1】给定100亿个整数,设计算法找到只出现⼀次的整数。

用两个位图的信息进行组合,组合出现信息:00->0次,01->1次,10->2次即以上

【2】给两个⽂件,分别有100亿个整数,我们只有1G内存,如何找到两个⽂件交集?

把数据读出来,分别放到两个位图,依次遍历,同时在两个位图的值就是交集

【3】⼀个⽂件有100亿个整数,1G内存,设计算法找到出现次数不超过2次的所有整数。

用两个位图的信息进行组合,组合出现信息:00->0次,01->1次,10->2次,11->2次以上。

优缺点

优点:高效查找,高空间利用率

缺点:只限整数

http://www.xdnf.cn/news/1086661.html

相关文章:

  • 无缝矩阵支持音频分离带画面分割功能的全面解析
  • 进阶向:Python音频录制与分析系统详解,从原理到实践
  • 代码详细注释:ARM-Linux字符设备驱动开发案例:LCD汉字输出改进建议开发板断电重启还能显示汉字,显示汉字位置自定义
  • 关于 c、c#、c++ 三者区别
  • linux操作系统---MySQL Galera Cluster部署
  • Spring生态创新应用
  • 软件架构升级中的“隐形地雷”:版本选型与依赖链风险
  • JDBC 注册驱动的常用方法详解
  • 医疗AI底层能力全链条工程方案:从技术突破到临床落地
  • Java后端技术博客汇总文档
  • Python实现MCP Server的完整Demo
  • 针对Exhcnage Server的攻击防范措施
  • Vidwall: 支持将 4K 视频设置为动态桌面壁纸,兼容 MP4 和 MOV 格式
  • 机器学习知识
  • Android kotlin中 Channel 和 Flow 的区别和选择
  • 【Linux操作系统】简学深悟启示录:Linux基本指令
  • 安卓10.0系统修改定制化____如何修改固件 去除开机向导 实现开机直接进入桌面
  • VmWare 安装 mac 虚拟机
  • LLM(大语言模型)能识别图像的核心原因:图像和文本记性特征识别且对其
  • jmm-内存屏障
  • 力扣 hot100 Day37
  • JVM基础01(从入门到八股-黑马篇)
  • vscode配置gitlab仓库详细步骤
  • Transformer模型架构深度讲解
  • web渗透之指纹识别1
  • 前端开发常见问题
  • Java开发面试核心知识点解析:从Redis缓存到内存模型全面解读
  • C++学习笔记01(自学草稿)
  • DeepSeek 帮助自己的工作
  • Spring的Bean原型模式下的使用