- スレ立てるまでもない質問はここで 141匹目 [転載禁止]©2ch.net
414 ：デフォルトの名無しさん[sage]：2015/11/20(金) 09:55:44.64 ID:FnrKl1QX - >>404
そりゃぁテキスト読み込みなんてシーケンシャルな処理の代表例じゃないか。
スパコン使おうが普通のマシン使おうが同じくらい時間掛かるのは当たり前では。
10万個くらいあるCPUの大半を遊ばせてるよ、それ。
扱うのがスパース行列だって事が分かってるなら自分でファイル形式を定義して
fortranでその形式で吐き出し、python側でもその形式で読み込むのがこの場合一番高速になると思う。
逆にデンス行列ならそのfortranのbinary/unformattedだかいう形式を解析して
python側でそのファイルを読む為の関数を作るのが良いと思う。
どちらにしても、分散処理前提ならファイルの途中から必要な分だけ読み込む方法がどうしても欲しい。
つまり、必要な部分がファイルの何処から始まっているかを知るために必要な処理はできるだけ少なくしたい。
自分でファイル形式を定義するなら、PDFのxrefみたいなやつをファイルの先頭に埋め込むとかそういう工夫をするべきではあるよね。
その点で単純なテキスト形式は
あるデータが何処から始まっているかを知る為にその場所までの全てのデータを解析する必要があるって点で最悪だよね。
|
- C++相談室 part120 [転載禁止]©2ch.net
619 ：デフォルトの名無しさん[sage]：2015/11/20(金) 10:27:28.40 ID:FnrKl1QX - 一回LFSをやればc/c++がいかに使われているかが分かると思うんだがなぁ。
LFS内でc/c++以外で使われてる言語っつったらautoconf/automakeにmake、m4、perl、sed、awk、grep、flex/bison、
それにTclなんかが少しずつ使われてるくらいか。
とやや的外れな突っ込みをしてみる
|
- スレ立てるまでもない質問はここで 141匹目 [転載禁止]©2ch.net
415 ：デフォルトの名無しさん[sage]：2015/11/20(金) 10:29:52.51 ID:FnrKl1QX - >>407
少なくとも、京のスペックをみた感じだと
マルチプロセスにしないと十分にその性能を生かせないみたいだよ。
マルチスレッドじゃスパコンの意味がない
|
- Ruby 初心者スレッド Part 57©2ch.net [転載禁止]©2ch.net
673 ：デフォルトの名無しさん[sage]：2015/11/20(金) 13:11:04.99 ID:FnrKl1QX - どちらでもいいなんて事は無い。
require 'pathname'
してPathnameクラスを使うのが正しい。
|