Python读取数据小技巧分享

Chenrs

共 1347字,需浏览 3分钟

 ·

2021-04-04 08:42


各位看客,早中晚好。


今日随笔,介绍python读取数据的一些小技巧。


重要的事说三遍:

做数据分析/挖掘/处理,一定要熟练使用pandas!简单方便快捷!

做数据分析/挖掘/处理,一定要熟练使用pandas!简单方便快捷!

做数据分析/挖掘/处理,一定要熟练使用pandas!简单方便快捷!


pandas读取csv、txt、excel文件、数据库数据:

import pandas as pd# ======== 读取csvdf = pd.read_csv("data.csv")# ======== 读取txtdf = pd.read_csv("data.txt",sep = "\t")# ======== 读取exceldf = pd.read_excel("data.xlsx")# ======== 读取数据库import sqlalchemy as create_engine# 建立连接con = create_engine('mysql+pymysql://user_name:password@127.0.0.1:3306/database_name')# 通过查询读取df = pd.read_sql_query('select * from table', con)


读取txt文本数据:

# 打开文件with open(r"data.txt", "r",encoding='utf8') as f:    # 一次性全部 读取    # data = f.read()    # print(data)    # 读取成一个list    # data = f.readlines()    # 一行一行读取    line = f.readline()                   while line:        line = f.readline()        print(line)


读取较大的csv文件,最快的方式如下:

import dask.dataframe as ddimport pandas as pd# 读取csvdf = dd.read_csv("D:/df.csv")# 转为DataFrame 操作df = df.compute()



做数据的持久化,我选择采用python 的pickle包,读写速度较快:

import pickle# 读取pkl文件def read_pkl(data_path):    with open(data_path, 'rb') as f:        return pickle.load(f)
# 写数据到pkl文件def save_file(data,data_path): with open(data_path, 'wb') as f:        pickle.dump(data, f)


到这。


共勉,感谢查看。


更多干货敬请期待!




扫描二维码关注我吧!


热门文章:


python实战:

浏览 46
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报