什么是序列化
- 序列化就是把内存中的对象转化成字节序列（或者其他传输协议）以便于存储（持久化）和网络传输
- 反序列化就是将字节序列（或者其他传输协议）转换成内存中的对象
序列化的目的
- 序列化是为了便于网络间的数据传输
Java序列化 VS Hadoop序列化
Java序列化（Serializable）是一个重量级的序列化框架，对象被序列化后会附带很多额外的信息（各种校验信息、header、继承体系等），不便于在网络中高效传输。
Hadoop序列化（Writable）具有如下特点：
- 紧凑：紧凑的格式便于我们充分利用网络带宽
- 快速：尽量减少序列化与反序列化的性能开销
- 可扩展：协议需要引进
- 互操作：支持不同语言的客户端和服务器交互
自定义对象实现Writable序列化
1. 必须实现Writable接口
2. 必须要有空参构造函数，因为在反序列化时，需要反射调用空参构造函数
public ClassA() {super();}
3. 重写序列化方法
@Overridepublic void write(DataOutput dataOutput) throws IOException {dataOutput.writeUTF(this.uuid);dataOutput.writeUTF(this.path);dataOutput.writeUTF(this.idType);}
4. 反序列化和序列化顺序完全一致
@Overridepublic void readFields(DataInput dataInput) throws IOException {this.uuid = dataInput.readUTF(); this.path = dataInput.readUTF();this.idType = dataInput.readUTF();}
5. 如果想将结果显示在文件中，需要重写toString()方法
@Overridepublic String toString() {return this.uuid + "," + this.path + "," + this.idType;}
6. 如果需要将其作为key，则还需要实现comparable接口，用于shuffle时排序依据
@Overridepublic int compareTo(MyKey o) {int ret = this.idType.compareTo(o.idType);if (ret != 0) {return ret;}return this.uuid.compareTo(o.uuid);}
常用数据序列化类型表
Java类型
Hadoop Writable类型
boolean
BooleanWritable
byte
ByteWritable
int
IntWritable
float
FloatWritable
long
LongWritable
double
DoubleWritable
String
Text
map
MapWritable
array
ArrayWritable
【感谢龙石为本站提供数据共享平台 http://www.longshidata.com/pages/exchange.html】