pandas
Типы данных
Поиск…
замечания
dtypes не являются родными для панд. Они являются результатом пандса, близкого архитектурному соединению, к numpy.
dtype столбца никоим образом не должен коррелировать с типом python объекта, содержащегося в столбце.
Здесь у нас есть pd.Series с поплавками. Dtype будет float .
Затем мы используем astype для «отливки» объекта.
pd.Series([1.,2.,3.,4.,5.]).astype(object)
0 1
1 2
2 3
3 4
4 5
dtype: object
Dtype теперь объект, но объекты в списке все еще плавают. Логически, если вы знаете, что в python все является объектом и может быть повышенным до объекта.
type(pd.Series([1.,2.,3.,4.,5.]).astype(object)[0])
float
Здесь мы пытаемся «отличить» поплавки к строкам.
pd.Series([1.,2.,3.,4.,5.]).astype(str)
0 1.0
1 2.0
2 3.0
3 4.0
4 5.0
dtype: object
Dtype теперь объект, но тип записей в списке - строка. Это потому, что numpy не имеет отношения к строкам и, таким образом, действует так, как если бы они были просто объектами и не вызывали беспокойства.
type(pd.Series([1.,2.,3.,4.,5.]).astype(str)[0])
str
Не доверяйте dtypes, они являются артефактом архитектурного недостатка в пандах. Укажите их так, как вы должны, но не полагайтесь на то, что dtype задано в столбце.
Проверка типов столбцов
Типы столбцов можно проверить с помощью .dtypes atrribute из DataFrames.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 'C': [True, False, True]})
In [2]: df
Out[2]:
A B C
0 1 1.0 True
1 2 2.0 False
2 3 3.0 True
In [3]: df.dtypes
Out[3]:
A int64
B float64
C bool
dtype: object
Для одной серии вы можете использовать атрибут .dtype .
In [4]: df['A'].dtype
Out[4]: dtype('int64')
Изменение типов
astype() изменяет dtype серии и возвращает новую серию.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0],
'C': ['1.1.2010', '2.1.2011', '3.1.2011'],
'D': ['1 days', '2 days', '3 days'],
'E': ['1', '2', '3']})
In [2]: df
Out[2]:
A B C D E
0 1 1.0 1.1.2010 1 days 1
1 2 2.0 2.1.2011 2 days 2
2 3 3.0 3.1.2011 3 days 3
In [3]: df.dtypes
Out[3]:
A int64
B float64
C object
D object
E object
dtype: object
Измените тип столбца A на float и введите столбец B в целое число:
In [4]: df['A'].astype('float')
Out[4]:
0 1.0
1 2.0
2 3.0
Name: A, dtype: float64
In [5]: df['B'].astype('int')
Out[5]:
0 1
1 2
2 3
Name: B, dtype: int32
astype() предназначен для определенного преобразования типов (т. е. вы можете указать .astype(float64') , .astype(float32) или .astype(float16) ). Для общего преобразования вы можете использовать pd.to_numeric , pd.to_datetime и pd.to_timedelta .
Изменение типа на числовое
pd.to_numeric изменяет значения на числовой тип.
In [6]: pd.to_numeric(df['E'])
Out[6]:
0 1
1 2
2 3
Name: E, dtype: int64
По умолчанию pd.to_numeric вызывает ошибку, если вход не может быть преобразован в число. Вы можете изменить это поведение, используя параметр errors .
# Ignore the error, return the original input if it cannot be converted
In [7]: pd.to_numeric(pd.Series(['1', '2', 'a']), errors='ignore')
Out[7]:
0 1
1 2
2 a
dtype: object
# Return NaN when the input cannot be converted to a number
In [8]: pd.to_numeric(pd.Series(['1', '2', 'a']), errors='coerce')
Out[8]:
0 1.0
1 2.0
2 NaN
dtype: float64
Если нужно проверить, что все строки с вводом не могут быть преобразованы в числовые, используйте boolean indexing с помощью isnull :
In [9]: df = pd.DataFrame({'A': [1, 'x', 'z'],
'B': [1.0, 2.0, 3.0],
'C': [True, False, True]})
In [10]: pd.to_numeric(df.A, errors='coerce').isnull()
Out[10]:
0 False
1 True
2 True
Name: A, dtype: bool
In [11]: df[pd.to_numeric(df.A, errors='coerce').isnull()]
Out[11]:
A B C
1 x 2.0 False
2 z 3.0 True
Изменение типа datetime
In [12]: pd.to_datetime(df['C'])
Out[12]:
0 2010-01-01
1 2011-02-01
2 2011-03-01
Name: C, dtype: datetime64[ns]
Обратите внимание, что 2.1.2011 конвертируется в 1 февраля 2011 года. Если вы хотите 2 января 2011 года вместо этого, вам нужно использовать параметр dayfirst .
In [13]: pd.to_datetime('2.1.2011', dayfirst=True)
Out[13]: Timestamp('2011-01-02 00:00:00')
Изменение типа timedelta
In [14]: pd.to_timedelta(df['D'])
Out[14]:
0 1 days
1 2 days
2 3 days
Name: D, dtype: timedelta64[ns]
Выбор столбцов на основе dtype
select_dtypes метод может использоваться для выбора столбцов на основе dtype.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 'C': ['a', 'b', 'c'],
'D': [True, False, True]})
In [2]: df
Out[2]:
A B C D
0 1 1.0 a True
1 2 2.0 b False
2 3 3.0 c True
С параметрами include и exclude вы можете указать, какие типы вы хотите:
# Select numbers
In [3]: df.select_dtypes(include=['number']) # You need to use a list
Out[3]:
A B
0 1 1.0
1 2 2.0
2 3 3.0
# Select numbers and booleans
In [4]: df.select_dtypes(include=['number', 'bool'])
Out[4]:
A B D
0 1 1.0 True
1 2 2.0 False
2 3 3.0 True
# Select numbers and booleans but exclude int64
In [5]: df.select_dtypes(include=['number', 'bool'], exclude=['int64'])
Out[5]:
B D
0 1.0 True
1 2.0 False
2 3.0 True
Подведение итогов
Метод get_dtype_counts может использоваться для просмотра разбивки dtypes.
In [1]: df = pd.DataFrame({'A': [1, 2, 3], 'B': [1.0, 2.0, 3.0], 'C': ['a', 'b', 'c'],
'D': [True, False, True]})
In [2]: df.get_dtype_counts()
Out[2]:
bool 1
float64 1
int64 1
object 1
dtype: int64