当前位置：首页 > java >正文

Guava 在大数据计算场景下的使用指南

java 2025/6/19 22:26:36

Guava 提供了丰富的工具类，可以在大数据计算中简化代码逻辑、提高性能与可维护性。以下是从常见大数据开发场景出发，提供精确的工具组合建议及示例。

1. 数据聚合与维度处理

✅ 推荐工具

Multimap
Table
ImmutableMap

📌 场景

用户ID → 多个设备ID 映射
时间、地区 → 统计值的二维组合
保证维度配置只读不可变

💡 示例

Multimap<String, String> userDevices = ArrayListMultimap.create();
userDevices.put("user1", "deviceA");
userDevices.put("user1", "deviceB");Table<String, String, Long> metrics = HashBasedTable.create();
metrics.put("2024-01-01", "beijing", 100L);
metrics.put("2024-01-01", "shanghai", 120L);ImmutableMap<String, String> configMap = ImmutableMap.of("type", "hour", "region", "CN");

2. 大规模数据处理中的内存优化

✅ 推荐工具

Cache / LoadingCache
ImmutableList
Objects.hashCode

📌 场景

缓存维表数据，减少 HBase/MySQL 频繁访问
防止集合被外部线程意外修改
高性能 map key 哈希

💡 示例

LoadingCache<String, DimInfo> dimCache = CacheBuilder.newBuilder().maximumSize(10000).expireAfterWrite(30, TimeUnit.MINUTES).build(key -> fetchFromHBase(key));ImmutableList<String> safeList = ImmutableList.copyOf(originalList);int keyHash = Objects.hashCode(key1, key2, key3);

3. ETL 清洗与数据转换

✅ 推荐工具

Splitter
Joiner
Strings

📌 场景

清洗 CSV、日志文本
拼接 Hive SQL、动态字段
补齐空串、字段规整

💡 示例

List<String> fields = Splitter.on("|").trimResults().omitEmptyStrings().splitToList(line);String sql = Joiner.on(",").join(dimColumns);Strings.padStart(id, 10, '0');

4. Flink/Spark 维表 Join 逻辑简化

✅ 推荐工具

BiMap
Multimap
ImmutableMap

📌 场景

双向维表映射（ID ↔ 名称）
分组维表缓存
防止广播维表数据被修改

💡 示例

BiMap<String, String> typeMap = HashBiMap.create();
typeMap.put("01", "用户");
typeMap.put("02", "商户");String typeName = typeMap.get("01");
String typeId = typeMap.inverse().get("商户");

5. 批量处理中的限流与资源控制

✅ 推荐工具

RateLimiter
Preconditions

📌 场景

控制 Kafka、HDFS 写入速度
大文件拆分写入，避免过载

💡 示例

RateLimiter limiter = RateLimiter.create(100.0); // 每秒最多100次
for (String line : lines) {limiter.acquire();sendToKafka(line);
}Preconditions.checkArgument(partitionCount > 0, "分区数必须大于0");

6. 数据清洗中的集合运算

✅ 推荐工具

Sets
Maps

📌 场景

求字段交集、补集
字段值比对，更新字段

💡 示例

Set<String> allFields = Sets.newHashSet("id", "name", "age", "city");
Set<String> required = Sets.newHashSet("id", "name");
Set<String> optional = Sets.difference(allFields, required);

🔚 总结

场景	推荐工具
维度聚合	`Multimap`, `Table`
缓存加速	`Cache`, `LoadingCache`
字符串清洗	`Splitter`, `Joiner`
双向映射	`BiMap`
限流写入	`RateLimiter`
集合比较	`Sets`, `Maps`
不可变共享	`ImmutableList`, `ImmutableMap`