Reduce阶段values中的每个值都共享一个对象

Hadoop备忘:Reduce阶段Iterablevalues中的每个值都共享一个对象

/** 

* Iterate through the values for the current key, reusing the same value  

* object, which is stored in the context. 

* @return the series of values associated with the current key. All of the  

* objects returned directly and indirectly from this method are reused. 

*/  

public   

Iterable getValues() throws IOException, InterruptedException {  

return iterable;  

}  

在Reduce阶段，具有相同key的的所有的value都会被组织到一起，形成一种key:values的形式。

一般情况下，我们会针对某个key下的所有的values进行处理，这里需要注意一个问题，当我们写下如下代码的时候：

protected void reduce(KEYIN key, Iterable values, Context context  

) throws IOException, InterruptedException {  

for(VALUEIN value: values) {  

context.write((KEYOUT) key, (VALUEOUT) value);  

}  

}  

我们在一个循环中，每次得到的value实际上都是指向的同一个对象，只是在每次迭代的时候，将新的值反序列化到这个对象中，以更新此对象的值：

/** 

* Advance to the next key/value pair. 

*/  

@Override  

public boolean nextKeyValue() throws IOException, InterruptedException {  

if (!hasMore) {  

key = null;  

value = null;  

return false;  

}  

firstValue = !nextKeyIsSame;  

DataInputBuffer nextKey = input.getKey();  

currentRawKey.set(nextKey.getData(), nextKey.getPosition(),   

nextKey.getLength() - nextKey.getPosition());  

buffer.reset(currentRawKey.getBytes(), 0, currentRawKey.getLength());  

key = keyDeserializer.deserialize(key);  

DataInputBuffer nextVal = input.getValue();  

buffer.reset(nextVal.getData(), nextVal.getPosition(),  

nextVal.getLength() - nextVal.getPosition());  

value = valueDeserializer.deserialize(value);  

currentKeyLength = nextKey.getLength() - nextKey.getPosition();  

currentValueLength = nextVal.getLength() - nextVal.getPosition();  

hasMore = input.next();  

if (hasMore) {  

nextKey = input.getKey();  

nextKeyIsSame = comparator.compare(currentRawKey.getBytes(), 0,