SQL自連線

SQL自身連線，可以解決很多問題。下面舉的一個例子，就是使用了SQL自身連線，它解決了列與列之間的邏輯關係問題，準確的講是列與列之間的層次關係。

對於下面的表cp(儲存的孩子和父母的關係)，用一個SQL，找出所有的 grandchild 和 grandparent，就是找出所有的 孫子 -> 祖父母

+-------+--------+
| child | parent |
+-------+--------+
| tom   | jack   |
| hello | jack   |
| tom   | tong   |
| jack  | gao    |
| tom   | jack   |
| hello | jack   |
| tong  | haha   |
+-------+--------+
 

select t1.child,t2.parent from cp t1,cp t2 where t1.parent = t2.child;

結果如下：

+-------+--------+
| child | parent |
+-------+--------+
| tom   | gao    |
| hello | gao    |
| tom   | haha   |
+-------+--------+

上面的SQL其實是做了一個笛卡爾積，怎麼用MR演算法來實現呢？

使用連線列作為key來實現相等匹配。需要讓map的輸出能包含左右兩張表(t1,t2)的資訊。

對於如下的輸入檔案:

Tom Lucy
Tom Jack
Jone Lucy
Jone Jack
Lucy Mary
Lucy Ben
Jack Alice
Jack Jesse
Terry Tom

Tom parent_Lucy
Lucy child_Tom
Tom parent_Jack
Jack child_Tom
.....

map函式如下：

		public void map(Object key, Text value, Context context)
				throws IOException, InterruptedException {
			String strs[] = value.toString().split(" ");
			if (strs.length == 2) {
				context.write(new Text(strs[0]), new Text("parent_" + strs[1]));
				context.write(new Text(strs[1]), new Text("child_" + strs[0]));
			}
		}
 

reduce函式：

		public void reduce(Text text, Iterable<Text> values, Context context)
				throws IOException, InterruptedException {
			List<Text> grandchilds = new ArrayList<Text>();
			List<Text> grandparents = new ArrayList<Text>();
			for (Text name : values) {
				if (name.toString().trim().startsWith("child_")) {
					grandchilds.add(new Text(name.toString().substring(6)));
				} else if (name.toString().trim().startsWith("parent_")) {
					grandparents.add(new Text(name.toString().substring(7)));
				}
			}
			for (Text gchild : grandchilds) {
				for (Text gparent : grandparents) {
					context.write(gchild, gparent);
				}
			}
		}
	}

輸出結果為：

JoneJesse
JoneAlice
TomJesse
TomAlice
TomBen
TomMary
JoneBen
JoneMary
TerryJack
TerryLucy