- くだすれPython(超初心者用) その40
698 ：デフォルトの名無しさん[sage]：2019/01/12(土) 16:45:16.85 ID:1w+JfQLL - >>697
状況がよく分からないので適切なアドバイスは難しいけど、rowに日付、colに属性はよくある実装
colにインスタンス変数を、という表現は聞きなれない言い回しなので、何のことだか戸惑った
|
- くだすれPython(超初心者用) その40
700 ：デフォルトの名無しさん[sage]：2019/01/12(土) 17:05:45.50 ID:1w+JfQLL - >>699
記録することと、記録されたものをどう使うかは分けて考えないとダメだよ
例えばセンサーから温度と湿度の出力があるとする
これを一旦csvに落として、一列目に日付を、二列目に温度、三列目に湿度を入れるのはおかしい事ですか？と聞かれたら、全くおかしくない、普通です
csvに落とさず、インスタンス作って管理するけどおかしい？と聞かれたら、まあ、いいんじゃないと答える
csvに落とさず、インスタンス作って管理するけど、rowをインスタンスに、colに温度と湿度いれるのはおかしい？と言われたら、え？何したいの？O/Rマッパ？シリアライズ？それとも2次元のリストにインスタンス突っ込むの？え？え？となる
|
- くだすれPython(超初心者用) その40
702 ：デフォルトの名無しさん[sage]：2019/01/12(土) 17:21:10.85 ID:1w+JfQLL - >>701
高負荷かけてボトルネックを調査しよう
ハードウェア、ソフトウェア、ネットワーク、どこに問題があるのか
ハードウェアならCPU、メモリ、OS、ディスクIO、仮装環境プラットフォーム等
ソフトウェアはライブラリの実装
ネットワークはping打つなど
何十並列のときに重いならロードバランサ入れるとか
それだけシンプルなコードで速度上げるってのもかなりの難題だね
|
- くだすれPython(超初心者用) その40
704 ：デフォルトの名無しさん[sage]：2019/01/12(土) 17:43:31.66 ID:1w+JfQLL - >>703
センサーの記録はセンサー単位で生データを記録する方がいいよ
加工しながら記録すると集める部分にバグがあったときに古いデータが全損になる
保存されたデータを後からマージ処理をする手間は発生する
複数のセンサーのサンプリングタイミングは同じとは限らないので時間でリサンプリングすることになる
サイズが大きいならRDB使うし、小さくて良いならpandasをつかう
リアルタイム性が必要な場合は、後解析用に記録するプログラムと、リアルタイム処理で分離する
|
- くだすれPython(超初心者用) その40
706 ：デフォルトの名無しさん[sage]：2019/01/12(土) 21:16:37.02 ID:1w+JfQLL - >>705
規模にもよるけど最近はPCの性能が上がっているので大抵のことはpandasで足りることが多いです
リサンプリングもpythonで一行
データフレームのマージも一行
RDBを使うときは割と明確で、ウェブサービスと連携させたいか、並列処理で更新と読み込みが同時に発生して排他処理をする必要がある場合
この二つのケースに該当するときは規模に関わらずRDBを使うとトラブルが少ないです
参考ページはよく分かりませんが、RDBの初心者だとすると、まずpandasが良いかも知れません
|