1. 程式人生 > >Spark Streaming java實現簡單例子(一)

Spark Streaming java實現簡單例子(一)

1. 背景:之前已經學習過Spark SQL的相關知識,現在開始對Spark的另一模組Streaming部分進行學習。首先是參考官網上的Demo進行樣例的編寫,但是發現程式碼有點問題,百度之後發現,在一處程式碼處發現問題,所以寫此文。

2. 介紹:一些部落格上的

 JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String,String>(){ //如果是Scala,由於SAM裝換,可以寫成val words = lines.flatMap{line => line.split(" ")}

            @Override
            public Iterable<String> call(String line) throws Exception {

                return Arrays.asList(line.split(" "));//將其變成Iterable的子類
            }
        });

或者官網上
// Split each line into words
JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());

對於此處,都是有問題的,應該是
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
            public Iterator<String> call(String line) throws Exception {
                String aStr[] = line.split(",");
                return Arrays.asList(aStr).iterator();
            }
        });

此處值得注意,需要了解一下Interator,通過http://www.cnblogs.com/chenssy/p/3821328.html 認識到list可以轉化。
Iterator iterator = list.iterator();        while(iterator.hasNext()){            String string = iterator.next();            //do something        }
3. 對於之前提及的IDEA中設定本地執行Spark程式,然後在虛擬機器中執行
$ nc -lk 9999
同時,輸入例如“Hello,world”,即可實現streaming的簡單樣例