- ふらっと C#,C♯,C＃（初心者用） Part125 [無断転載禁止]©2ch.net
782 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 277b-gb6D)[]：2016/12/12(月) 08:05:25.67 ID:Jwz8x4f60 - >そんなもん別プロセスでやりゃいいでしょ
>パラメータや結果の受け渡しはRPC(IPC)使ってもいいけど、今回の要件なら
>ファイルベースでもオーバーヘッドは全く無視できる
全然意味がわからない。C#でCSVを作ったとして
１．C#からScalarにクエリを送信して、
２．Sparkの処理終了を待つ
３．結果を受信する。
これをC＃でプログラムして、Scalarでもプログラムするってこと？
言うのは簡単だが、、、、例でもなきゃ調べてプログラムするのに1週間はかかりそう。ｗ
本質的な情報が欠落しているとおもうよ。こんなのは初心者には全然意味がわからない。
| - ふらっと C#,C♯,C＃（初心者用） Part125 [無断転載禁止]©2ch.net
783 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 277b-gb6D)[]：2016/12/12(月) 08:06:12.67 ID:Jwz8x4f60 - >777
こういうのを使えってことだろうか？
Mobius: C# API for Spark
| - ふらっと C#,C♯,C＃（初心者用） Part125 [無断転載禁止]©2ch.net
784 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 277b-gb6D)[]：2016/12/12(月) 08:10:10.92 ID:Jwz8x4f60 - var lines = sparkContext.TextFile(@"hdfs://path/to/input.txt");
var words = lines.FlatMap(s => s.Split(' '));
var wordCounts = words.Map(w => new KeyValuePair<string, int>(w.Trim(), 1))
.ReduceByKey((x, y) => x + y);
var wordCountCollection = wordCounts.Collect();
wordCounts.SaveAsTextFile(@"hdfs://path/to/wordcount.txt");
こんな感じでC#からSparkをコントロールしたいのだが、もっとも一般的で初心者向け
な簡単な方法はなにでしょうか？
| - ふらっと C#,C♯,C＃（初心者用） Part125 [無断転載禁止]©2ch.net
789 ：デフォルトの名無しさん (ﾜｯﾁｮｲ 277b-gb6D)[]：2016/12/12(月) 14:45:07.46 ID:Jwz8x4f60 - >785
なるほど。
傾向を掴むだけの場合にはいいけれども、アプトプットの表現を加工したいような
場合にはやはりC#でないと、、、となって結局はC#が必要になるような気がする。
JavaもC#も言語的にはそんなに変わらないが、インテリセンスのないようなIDE
では作業できないと思わないか？
Scalaとか触ってはみたがインテリセンスがないのでこれでは使えない。
インテリセンスがあればうろ覚え程度でもなんとかなる。
|
|