当前位置：首页 > ds >正文

hadoop中的序列化和反序列化（4）

ds 2025/5/9 8:08:22

4. Hadoop的序列化

Hadoop提供了自己的序列化机制，用于高效地处理分布式计算中的数据传输。Hadoop的序列化机制比Java的序列化更高效，更适合大规模数据处理。

4.1 Hadoop序列化的特点

高效：Hadoop的序列化格式紧凑，适合大规模数据传输。
语言无关：支持多种语言（如Java、Python、C++）。
可扩展：支持自定义序列化格式。

4.2 Hadoop的序列化接口

Hadoop提供了Writable接口，用于定义可序列化的类。

示例代码

定义一个可序列化的类

java

复制

import org.apache.hadoop.io.Writable;import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;public class PersonWritable implements Writable {private String name;private int age;public PersonWritable() {} // 默认构造函数public PersonWritable(String name, int age) {this.name = name;this.age = age;}@Overridepublic void write(DataOutput out) throws IOException {out.writeUTF(name);out.writeInt(age);}@Overridepublic void readFields(DataInput in) throws IOException {name = in.readUTF();age = in.readInt();}@Overridepublic String toString() {return "Person{name='" + name + "', age=" + age + "}";}
}

序列化和反序列化

java

复制

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;import java.io.IOException;public class HadoopSerializationExample {public static void main(String[] args) throws IOException {Configuration conf = new Configuration();FileSystem fs = FileSystem.get(conf);// 创建一个PersonWritable对象PersonWritable person = new PersonWritable("John", 30);// 序列化到SequenceFilePath path = new Path("person.seq");SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, path, Text.class, PersonWritable.class);writer.append(new Text("person1"), person);writer.close();// 反序列化从SequenceFileSequenceFile.Reader reader = new SequenceFile.Reader(fs, path, conf);Text key = new Text();PersonWritable value = new PersonWritable();while (reader.next(key, value)) {System.out.println("Key: " + key + ", Value: " + value);}reader.close();}
}