data.table
要約統計の計算
サーチ…
備考
注意： DT[where, select|update|do, by]構文は、data.tableの列を操作するために使用されます。
- "where"部分が
i引数です。 - "select | update | do"部分は
j引数です
これらの2つの引数は、通常、名前ではなく位置によって渡されます。
グループ単位で行を数える
# example data
DT = data.table(iris)
DT[, Bin := cut(Sepal.Length, c(4,6,8))]
.Nを使用.N
.N in jは、サブセット内の行数を格納します。データを.Nとき、 .Nは便利です...
グループ内の行数をカウントし、
DT[Species == "setosa", .N] # 50すべてのグループの行を数えたり、
DT[, .N, by=.(Species, Bin)] # Species Bin N # 1: setosa (4,6] 50 # 2: versicolor (6,8] 20 # 3: versicolor (4,6] 30 # 4: virginica (6,8] 41 # 5: virginica (4,6] 9特定の行数を持つグループを見つけることができます。
DT[, .N, by=.(Species, Bin)][ N < 25 ] # Species Bin N # 1: versicolor (6,8] 20 # 2: virginica (4,6] 9
不足しているグループの処理
しかし、上記のカウントがゼロのグループはありません。重要であれば、ベースからtableを使用することができます：
DT[, data.table(table(Species, Bin))][ N < 25 ]
# Species Bin N
# 1: virginica (4,6] 9
# 2: setosa (6,8] 0
# 3: versicolor (6,8] 20
代わりに、我々はすべてのグループに参加することができます：
DT[CJ(Species=Species, Bin=Bin, unique=TRUE), on=c("Species","Bin"), .N, by=.EACHI][N < 25]
# Species Bin N
# 1: setosa (6,8] 0
# 2: versicolor (6,8] 20
# 3: virginica (4,6] 9
.N ：
- この例では、サブセットのサイズを参照する
j内の.Nを使用します。 -
iでは、行の総数を指します。
カスタムサマリー
# example data
DT = data.table(iris)
DT[, Bin := cut(Sepal.Length, c(4,6,8))]
Sepal.Length summary関数の出力と観測数をSepal.Lengthとします。
DT[, c(
as.list(summary(Sepal.Length)),
N = .N
), by=.(Species, Bin)]
# Species Bin Min. 1st Qu. Median Mean 3rd Qu. Max. N
# 1: setosa (4,6] 4.3 4.8 5.0 5.006 5.2 5.8 50
# 2: versicolor (6,8] 6.1 6.2 6.4 6.450 6.7 7.0 20
# 3: versicolor (4,6] 4.9 5.5 5.6 5.593 5.8 6.0 30
# 4: virginica (6,8] 6.1 6.4 6.7 6.778 7.2 7.9 41
# 5: virginica (4,6] 4.9 5.7 5.8 5.722 5.9 6.0 9
jを列のリストにする必要があります。通常、 c 、 as.listと.進むべき正しい方法を理解するには十分です。
要約統計量を新しい列として割り当てる
サマリー表を作成する代わりに、サマリー統計を新しい列に保管したい場合があります。私たちは:=をいつものように使うことができます。例えば、
DT[, is_big := .N >= 25, by=.(Species, Bin)]
落とし穴
不安定なデータ
カラム名を解析したいと思っている
x.Length/x.Width平均を取る。ここで、xは10の異なる値を取る。
カラム名に埋め込まれたデータを調べている可能性がありますが、これは悪い考えです。 整頓されたデータについて読んでから、長い形式に変更してください。
行ごとの要約
データフレームとデータテーブルは、行が観測値に対応し、列が変数に対応する表形式のデータ用に設計されています。あなたが自分が行を要約したいと思ったら、
各行の列間の標準偏差を求めます。
おそらく行列や他のデータ形式を使用しているはずです。
サマリー関数
# example data
DT = data.table(iris)
DT[, Bin := cut(Sepal.Length, c(4,6,8))]
summaryは、要約統計をブラウズするのに便利です。 summary(DT)ような直接的な使用の他に、 split便利にグループごとに適用することもできます。
lapply(split(DT, by=c("Species", "Bin"), drop=TRUE, keep.by=FALSE), summary)
# $`setosa.(4,6]`
# Sepal.Length Sepal.Width Petal.Length Petal.Width
# Min. :4.300 Min. :2.300 Min. :1.000 Min. :0.100
# 1st Qu.:4.800 1st Qu.:3.200 1st Qu.:1.400 1st Qu.:0.200
# Median :5.000 Median :3.400 Median :1.500 Median :0.200
# Mean :5.006 Mean :3.428 Mean :1.462 Mean :0.246
# 3rd Qu.:5.200 3rd Qu.:3.675 3rd Qu.:1.575 3rd Qu.:0.300
# Max. :5.800 Max. :4.400 Max. :1.900 Max. :0.600
#
# $`versicolor.(6,8]`
# Sepal.Length Sepal.Width Petal.Length Petal.Width
# Min. :6.10 Min. :2.20 Min. :4.000 Min. :1.20
# 1st Qu.:6.20 1st Qu.:2.80 1st Qu.:4.400 1st Qu.:1.30
# Median :6.40 Median :2.90 Median :4.600 Median :1.40
# Mean :6.45 Mean :2.89 Mean :4.585 Mean :1.42
# 3rd Qu.:6.70 3rd Qu.:3.10 3rd Qu.:4.700 3rd Qu.:1.50
# Max. :7.00 Max. :3.30 Max. :5.000 Max. :1.70
#
# [...results truncated...]
ゼロカウントグループを含めるには、 split drop=FALSEを設定しdrop=FALSE 。
複数の変数に要約関数を適用する
# example data
DT = data.table(iris)
DT[, Bin := cut(Sepal.Length, c(4,6,8))]
同じ要約関数をグループごとにすべての列に適用するには、 lapplyと.SD使用できます
DT[, lapply(.SD, median), by=.(Species, Bin)]
# Species Bin Sepal.Length Sepal.Width Petal.Length Petal.Width
# 1: setosa (4,6] 5.0 3.4 1.50 0.2
# 2: versicolor (6,8] 6.4 2.9 4.60 1.4
# 3: versicolor (4,6] 5.6 2.7 4.05 1.3
# 4: virginica (6,8] 6.7 3.0 5.60 2.1
# 5: virginica (4,6] 5.8 2.7 5.00 1.9
.SDcols引数で.SDの列をフィルタリングできます。
DT[, lapply(.SD, median), by=.(Species, Bin), .SDcols="Petal.Length"]
# Species Bin Petal.Length
# 1: setosa (4,6] 1.50
# 2: versicolor (6,8] 4.60
# 3: versicolor (4,6] 4.05
# 4: virginica (6,8] 5.60
# 5: virginica (4,6] 5.00
複数の要約機能
現在、複数の関数の中で最も簡単な拡張はおそらく次のとおりです：
DT[, unlist(recursive=FALSE, lapply(
.(med = median, iqr = IQR),
function(f) lapply(.SD, f)
)), by=.(Species, Bin), .SDcols=Petal.Length:Petal.Width]
# Species Bin med.Petal.Length med.Petal.Width iqr.Petal.Length iqr.Petal.Width
# 1: setosa (4,6] 1.50 0.2 0.175 0.100
# 2: versicolor (6,8] 4.60 1.4 0.300 0.200
# 3: versicolor (4,6] 4.05 1.3 0.525 0.275
# 4: virginica (6,8] 5.60 2.1 0.700 0.500
# 5: virginica (4,6] 5.00 1.9 0.200 0.200
Petal.Length.med代わりにmed.Petal.Lengthような名前を使用する場合は、順序を変更します。
DT[, unlist(recursive=FALSE, lapply(
.SD,
function(x) lapply(.(med = median, iqr = IQR), function(f) f(x))
)), by=.(Species, Bin), .SDcols=Petal.Length:Petal.Width]
# Species Bin Petal.Length.med Petal.Length.iqr Petal.Width.med Petal.Width.iqr
# 1: setosa (4,6] 1.50 0.175 0.2 0.100
# 2: versicolor (6,8] 4.60 0.300 1.4 0.200
# 3: versicolor (4,6] 4.05 0.525 1.3 0.275
# 4: virginica (6,8] 5.60 0.700 2.1 0.500
# 5: virginica (4,6] 5.00 0.200 1.9 0.200