Amostrar linhas em um data.frame

Algumas vezes necessitamos obter um subconjunto de um conjunto de dados. Se pudermos estabelecer um critério a partir dos valores deste conjunto de dados podemos utilizar o comando subset. Para obter uma amostra aleatória das linhas pensei na seguinte solução:

# cria um conjuto de dados com duas colunas e 500 linhas

dados <- data.frame(rnorm(500,5,3),rnorm(500,10,6))

dim(dados)

summary(dados)

# faz a amostra de 100 linhas sem reposição

dados.amostra<-dados[sample(1:nrow(dados),100,replace=F),]

dim(dados.amostra)

summary(dados.amostra)

Identificando grupos em um dendrograma

As técnicas de agrupamento (cluster analysis) são muito úteis para organizar, ou classificar, dados observados em estruturas de fácil interpretação. Uma ótima referência é o livro Numerical Ecology with R (Boccard et al. 2011). O tuturial do pacote vegan (clique aqui) também trás explicações e exemplos interessantes.

Os dendrogramas são como mobiles, seus grupos são sempre os mesmos, mas podem mudar de posição. O grupo 1 não é necessariamente o primeiro à esquerda, nem o grupo 2 vem a seguir. Isto pode complicar na hora de interpretar os fatores relacionados na formação dos grupos. Um bom exemplo está na página 38 do tutorial do vegan. Temos a figura de um dendrograma seguida de um boxplot. Se não prestarmos atenção poderemos ser levados a crer, por exemplo, que o grupo 2, onde encontramos a maior mediada é formado pelos objetos 1, 2, 10, 5, 6 e 7. No entanto, este conjunto de objetos forma o grupo 1, como veremos a seguir, que tem a menor mediana. A interpretação do dendrograma poder ser facilitada se o número do grupo puder ser visualizado em conjunto. Vamos ao exemplo do tutorial

# carrega a biblioteca e os dados

library(vegan)
data(dune)

# calcula a matriz de distância, as ligações, plota o dendrograma e identifica os grupos

dis <- vegdist(dune)
cluc <- hclust(dis, "complete")
plot(cluc)

rect.hclust(cluc, 3)

# verifica que objetos foram classificados em cada grupo

grp<-cutree(cluc, 3)
grp

# substitui no dendrograma o nome do objeto pelo número do grupo

plot(cluc, labels = as.character(grp))

# desenha no dendrograma os retângulos de cada grupo e os numera

# agradeço a dica de Elias T. Krainski (lista R-Br)

plot(cluc)

r <- rect.hclust(cluc, 3)
text(cumsum(sapply(r,length)),
     rep(mean(tail(unique(cluc$hei),2)), length(r)),
     paste(unique(grp[cluc$ord])))

Agora fica mais fácil relacionar o dendrograma ao boxplot no tutorial do vegan.

Gráfico ordenado com médias e intervalo de confiança

Este gráfico mostra os valores de b (coeficiente angular) e seus intervalos de confiança calculados para diversas espécies. Para melhor vizualização as espécies são ordenadas pelo valor de b e diferentes grupos (peixes, moluscos e crustáceos) são identificados com símbolos especícicos.

SP	GRP	b	ICi	ICs
S. brasiliensis	P	3,000	2,887	3,114
U. brasiliensis	P	2,993	2,931	3,055
U. mystacea	P	2,990	2,948	3,032
L. gastrophysus	P	2,897	2,841	2,952
C. jamaicensis	P	2,874	2,846	2,901
M. ancylodon	P	3,101	3,064	3,137
M. americanus	P	2,809	2,785	2,833
M. furnieri	P	2,946	2,935	2,957
P. punctatus	P	3,050	3,030	3,070
L. sanpaulensis	M	1,784	1,685	1,886
O. vulgaris	M	2,689	2,613	2,766
O. vulgaris F	M	2,651	2,539	2,764
O. vulgaris M	M	2,731	2,637	2,827
F. brasiliensis	C	2,409	2,352	2,466
F. brasiliensis F	C	2,350	2,262	2,439
F. brasiliensis M	C	2,201	2,011	2,392
F. paulensis	C	2,395	2,338	2,453
F. paulensis F	C	2,248	2,160	2,336
F. paulensis M	C	2,470	2,224	2,716
X. kroyeri	C	2,301	2,244	2,358
X. kroyeri F	C	2,305	2,228	2,383
X. kroyeri M	C	2,149	2,039	2,260

# carregando e verificando dados

rm(list=ls())

dat.bvar <- read.delim("clipboard",dec=",")

summary(dat.bvar)

                 SP     GRP         b              ICi             ICs      
 C. jamaicensis   : 1   C:9   Min.   :1.784   Min.   :1.685   Min.   :1.886 
 F. brasiliensis  : 1   M:4   1st Qu.:2.316   1st Qu.:2.232   1st Qu.:2.404 
 F. brasiliensis F: 1   P:9   Median :2.670   Median :2.576   Median :2.765 
 F. brasiliensis M: 1         Mean   :2.607   Mean   :2.527   Mean   :2.686 
 F. paulensis     : 1         3rd Qu.:2.934   3rd Qu.:2.877   3rd Qu.:2.956 
 F. paulensis F   : 1         Max.   :3.101   Max.   :3.064   Max.   :3.137 
 (Other)          :16                           

# reorganizando a tabela de dados
order(dat.bvar$b) # linhas em ordem crescente de b 

[1] 10 22 16 18 20 21 15 17 14 19 12 11 13  7  5  4  8  3  2  1  9  6

rank(dat.bvar$b) # posição de cada linha quando ordenada por b
[1] 20 19 18 16 15 22 14 17 21  1 12 11 13  9  7  3  8  4 10  5  6  2

dat.bvar$RAN <- rank(dat.bvar$b)
levels(dat.bvar$SP) # níveis de SP
 [1] "C. jamaicensis"    "F. brasiliensis"   "F. brasiliensis F"
 [4] "F. brasiliensis M" "F. paulensis"      "F. paulensis F"  
 [7] "F. paulensis M"    "L. gastrophysus"   "L. sanpaulensis" 
[10] "M. americanus"     "M. ancylodon"      "M. furnieri"     
[13] "O. vulgaris"       "O. vulgaris F"     "O. vulgaris M"   
[16] "P. punctatus"      "S. brasiliensis"   "U. brasiliensis" 
[19] "U. mystacea"       "X. kroyeri"        "X. kroyeri F"    
[22] "X. kroyeri M"

dat.bvar$SP<-ordered(dat.bvar$SP, levels=dat.bvar$SP[order(dat.bvar$b)]) # reordena SP pela ordem de b
levels(dat.bvar$SP) # níveis de SP reordenados

[1] "L. sanpaulensis"   "X. kroyeri M"      "F. brasiliensis M"
[4] "F. paulensis F"    "X. kroyeri"        "X. kroyeri F"    
[7] "F. brasiliensis F" "F. paulensis"      "F. brasiliensis" 
[10] "F. paulensis M"    "O. vulgaris F"     "O. vulgaris"     
[13] "O. vulgaris M"     "M. americanus"     "C. jamaicensis"  
[16] "L. gastrophysus"   "M. furnieri"       "U. mystacea"     
[19] "U. brasiliensis"   "S. brasiliensis"   "P. punctatus"    
[22] "M. ancylodon"
ord.sp<-dat.bvar$SP[order(dat.bvar$b)]

# criando o gráfico

attach(dat.bvar)
par(mar=c(8,4,2,2))
plot(c(1:nrow(dat.bvar)),rep(3,nrow(dat.bvar)),ylab="valores de b",xlab="",ylim=c(min(ICi)*0.97,max(ICs)*1.03),type="n",xaxt="n")
axis(1,1:nrow(dat.bvar),labels=ord.sp,las=2)
for (i in 1:length(ord.sp)){
segments(i,ICi[SP==ord.sp[i]],i,ICs[SP==ord.sp[i]])
}
points(RAN[GRP=="P"],b[GRP=="P"],pch=19)
points(RAN[GRP=="M"],b[GRP=="M"],pch=17)
points(RAN[GRP=="C"],b[GRP=="C"],pch=15)
legend(locator(1),bty="n",c("Peixes","Moluscos","Crustáceos"),pch=c(19,17,15)) # clique no gráfico para indicar o local da legenda

detach(dat.bvar)

Cálculo da moda

O R trás funções para o cálculo da média (mean) e da mediana (median) mas não para moda. A sugestão postada na lista R-Help por Dr. Brian D. Ripley para distribuições discretas foi:
 

statmod <- function(x) {

  z <- table(as.vector(x))
  names(z)[z == max(z)]
}
 

n <- c(1,2,2,2,3,3)
statmod(n)
[1] "2"

Como reordenar categorias

Independendo da ordem que sejam colocadas, as categorias sempre aparecem em ordem alfabética nos sumários estatísticos e nos gráficos. No entanto muitas vezes queremos que as categorias apareçam em uma ordem determinada, como o nome dos meses. O comando utilizado é o ordered, conforme os exemplos abaixo:

categ <- rep(c("c","b","a"),c(10,10,10))

valor<-c(rnorm(10,5,2),rnorm(10,8,4),rnorm(10,12,3))

dados1<-data.frame(categ,valor)

levels(dados1$categ)

[1] "a" "b" "c"

plot(dados1)

dados1$categ<-ordered(categ, levels=c("b","c","a"))

levels(dados1$categ)

[1] "b" "c" "a"

plot(dados1)

Outra forma, mais complicada, de reordenar as categorias é:

dados1$categ <- factor(dados1$categ,levels(dados1$categ)[c(2,3,1)])

levels(dados1$categ)

[1] "c" "a" "b"

plot(dados1)

Como remover categorias (levels) não utilizadas

Um problema que encontramos ao subdividir um conjunto de dados é que as categorias excluídas continuam aparecendo nos sumários e nos gráficos.

Para se ver livre destas deve-se utilizar a função droplevels, que foi inserida na versão 2.12.0. No exemplo abaixo crio o data.frame dados1 onde a coluna categ possui três níveis: “a”, “b” e “c”. Em seguida crio o data.frame dados2 excluindo as linhas da categoria “b”. Veja que ela ainda conta como um nível e aparece no gráfico. Com a utilização da função droplevels este problema é contornado.

categ <- rep(c("a","b","c"),c(10,10,10))

valor<-c(rnorm(10,5,2),rnorm(10,8,4),rnorm(10,12,3))

dados1<-data.frame(categ,valor)

levels(dados1$categ)

[1] "a" "b" "c"

plot(dados1)

dados2<-subset(dados1,categ!="b")

levels(dados2$categ)

[1] "a" "b" "c"

plot(dados2) 

dados3<-droplevels(subset(dados1,categ!="b"))

levels(dados3$categ)

[1] "a" "c"

plot(dados3) 

Em casos específicos pode-se utilizar:

levels(dados2$categ[,drop=T])
[1] "a" "c"