pandas
Tipi di dati
Ricerca…
Osservazioni
i dtypes non sono nativi dei panda. Sono il risultato di un accoppiamento architettonico dei panda vicino a Numpy.
il dtype di una colonna non deve in alcun modo correlare al tipo python dell'oggetto contenuto nella colonna.
Qui abbiamo un pd.Series con float. Il dtype sarà float .
Quindi usiamo astype per "lanciarlo" su oggetto.
pd.Series([1.,2.,3.,4.,5.]).astype(object)
0 1
1 2
2 3
3 4
4 5
dtype: object
Il dtype è ora oggetto, ma gli oggetti nell'elenco sono ancora mobili. Logico se sai che in python tutto è un oggetto e può essere upcasted per oggetto.
type(pd.Series([1.,2.,3.,4.,5.]).astype(object)[0])
float
Qui proviamo a "lanciare" i float alle stringhe.
pd.Series([1.,2.,3.,4.,5.]).astype(str)
0 1.0
1 2.0
2 3.0
3 4.0
4 5.0
dtype: object
Il dtype è ora oggetto, ma il tipo di voci nell'elenco sono stringhe. Questo perché numpy non ha a che fare con le stringhe e quindi agisce come se fossero solo oggetti e di nessun interesse.
type(pd.Series([1.,2.,3.,4.,5.]).astype(str)[0])
str
Non fidatevi dei dtypes, sono un artefatto di un difetto architettonico nei panda. Specificate come necessario, ma non fare affidamento su quale dtype è impostato su una colonna.
Verifica dei tipi di colonne
I tipi di colonne possono essere controllati da .dtypes atrribute di DataFrames.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 'C': [True, False, True]})
In [2]: df
Out[2]:
A B C
0 1 1.0 True
1 2 2.0 False
2 3 3.0 True
In [3]: df.dtypes
Out[3]:
A int64
B float64
C bool
dtype: object
Per una singola serie, puoi usare .dtype attributo .dtype .
In [4]: df['A'].dtype
Out[4]: dtype('int64')
Cambiare i dtypes
astype() metodo astype() cambia il dtype di una serie e restituisce una nuova serie.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0],
'C': ['1.1.2010', '2.1.2011', '3.1.2011'],
'D': ['1 days', '2 days', '3 days'],
'E': ['1', '2', '3']})
In [2]: df
Out[2]:
A B C D E
0 1 1.0 1.1.2010 1 days 1
1 2 2.0 2.1.2011 2 days 2
2 3 3.0 3.1.2011 3 days 3
In [3]: df.dtypes
Out[3]:
A int64
B float64
C object
D object
E object
dtype: object
Cambia il tipo di colonna A in float e il tipo di colonna B in intero:
In [4]: df['A'].astype('float')
Out[4]:
0 1.0
1 2.0
2 3.0
Name: A, dtype: float64
In [5]: df['B'].astype('int')
Out[5]:
0 1
1 2
2 3
Name: B, dtype: int32
astype() metodo astype() è per la conversione del tipo specifico (cioè è possibile specificare .astype(float64') , .astype(float32) o .astype(float16) ). Per la conversione generale, è possibile utilizzare pd.to_numeric , pd.to_datetime e pd.to_timedelta .
Cambiando il tipo in numerico
pd.to_numeric cambia i valori in un tipo numerico.
In [6]: pd.to_numeric(df['E'])
Out[6]:
0 1
1 2
2 3
Name: E, dtype: int64
Per impostazione predefinita, pd.to_numeric genera un errore se un input non può essere convertito in un numero. È possibile modificare tale comportamento utilizzando il parametro errors .
# Ignore the error, return the original input if it cannot be converted
In [7]: pd.to_numeric(pd.Series(['1', '2', 'a']), errors='ignore')
Out[7]:
0 1
1 2
2 a
dtype: object
# Return NaN when the input cannot be converted to a number
In [8]: pd.to_numeric(pd.Series(['1', '2', 'a']), errors='coerce')
Out[8]:
0 1.0
1 2.0
2 NaN
dtype: float64
Se necessario, controlla tutte le righe con input non può essere convertito in numerico usa boolean indexing con isnull :
In [9]: df = pd.DataFrame({'A': [1, 'x', 'z'],
'B': [1.0, 2.0, 3.0],
'C': [True, False, True]})
In [10]: pd.to_numeric(df.A, errors='coerce').isnull()
Out[10]:
0 False
1 True
2 True
Name: A, dtype: bool
In [11]: df[pd.to_numeric(df.A, errors='coerce').isnull()]
Out[11]:
A B C
1 x 2.0 False
2 z 3.0 True
Modifica del tipo in data / ora
In [12]: pd.to_datetime(df['C'])
Out[12]:
0 2010-01-01
1 2011-02-01
2 2011-03-01
Name: C, dtype: datetime64[ns]
Si noti che il 2.1.2011 viene convertito al 1 ° febbraio 2011. Se si desidera invece il 2 gennaio 2011, è necessario utilizzare il parametro dayfirst .
In [13]: pd.to_datetime('2.1.2011', dayfirst=True)
Out[13]: Timestamp('2011-01-02 00:00:00')
Cambiando il tipo in timedelta
In [14]: pd.to_timedelta(df['D'])
Out[14]:
0 1 days
1 2 days
2 3 days
Name: D, dtype: timedelta64[ns]
Selezione delle colonne in base al dtype
select_dtypes metodo select_dtypes può essere utilizzato per selezionare le colonne in base al dtype.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 'C': ['a', 'b', 'c'],
'D': [True, False, True]})
In [2]: df
Out[2]:
A B C D
0 1 1.0 a True
1 2 2.0 b False
2 3 3.0 c True
Con i parametri di include ed exclude puoi specificare quali tipi desideri:
# Select numbers
In [3]: df.select_dtypes(include=['number']) # You need to use a list
Out[3]:
A B
0 1 1.0
1 2 2.0
2 3 3.0
# Select numbers and booleans
In [4]: df.select_dtypes(include=['number', 'bool'])
Out[4]:
A B D
0 1 1.0 True
1 2 2.0 False
2 3 3.0 True
# Select numbers and booleans but exclude int64
In [5]: df.select_dtypes(include=['number', 'bool'], exclude=['int64'])
Out[5]:
B D
0 1.0 True
1 2.0 False
2 3.0 True
Riassumendo i dtypes
get_dtype_counts metodo get_dtype_counts può essere utilizzato per vedere una ripartizione dei dtypes.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 'C': ['a', 'b', 'c'],
'D': [True, False, True]})
In [2]: df.get_dtype_counts()
Out[2]:
bool 1
float64 1
int64 1
object 1
dtype: int64