pandas
Чтение MySQL в DataFrame
Поиск…
Использование sqlalchemy и PyMySQL
from sqlalchemy import create_engine
cnx = create_engine('mysql+pymysql://username:password@server:3306/database').connect()
sql = 'select * from mytable'
df = pd.read_sql(sql, cnx)
Чтобы прочитать mysql для dataframe, в случае большого объема данных
Для получения больших данных мы можем использовать генераторы в пандах и загружать данные в куски.
import pandas as pd
from sqlalchemy import create_engine
from sqlalchemy.engine.url import URL
# sqlalchemy engine
engine = create_engine(URL(
drivername="mysql"
username="user",
password="password"
host="host"
database="database"
))
conn = engine.connect()
generator_df = pd.read_sql(sql=query, # mysql query
con=conn,
chunksize=chunksize) # size you want to fetch each time
for dataframe in generator_df:
for row in dataframe:
pass # whatever you want to do
Modified text is an extract of the original Stack Overflow Documentation
Лицензировано согласно CC BY-SA 3.0
Не связан с Stack Overflow