一.项目背景
一个目录下有若干个Csv/Excel文件,现在需求是根据这些Csv文件的表头,生成对
应的SQL建表语句。
二.实现过程
1.获取文件
》》遍历路径下文件
》》获取Excel文件
》》返回文件路径
#获取文件路径
def get_path(file_path):
#存储路径信息
path_list=[]
#遍历路径下文件
for file in os.listdir(file_path):
#获取文件名称
file_name=os.path.splitext(file)[0]
#判断是否为Excel文件
if file.endswith('.xlsx'):
#添加文件路径
path_list.append((os.path.join(file_path,file),file_name))
#返回文件路径
return path_list
2.构建Mysql类
》》初始化Mysql连接
》》运行SQL语句
#MySQL类
class Mysql_connect():
def __init__(self, host, user, password, database):
#初始化连接信息
self.conn = pymysql.connect(host=host,
user=user,
password=password,
database=database
)
#运行sql语句
def run_sql(self, sql):
#获取游标
cursor = self.conn.cursor()
#执行SQL语句
cursor.execute(sql)
#提交事务
self.conn.commit()
#关闭连接
self.conn.close()
3.获取sql语句
》》读取文件名称
》》获取表头和类型
》》生成SQL语句
#获取sql语句
def get_sql(table_name,df,length=255):
'''
table_name:表名称
df:DataFrame数据结构
length:默认是255
'''
#存储sql语句列表
create_list=[]
#遍历每一列
for col in df.columns.tolist():
#判断数据类型
if df[col].dtypes=='float':
#构建sql语句
sql_col=col+' '+'float'
#添加到列表
create_list.append(sql_col)
#判断数据类型
elif df[col].dtypes=='int64' or df[col].dtypes=='int32' or df[col].dtypes=='int':
#构建sql语句
sql_col=col+' '+'int'
#添加到列表
create_list.append(sql_col)
#判断数据类型
elif df[col].dtypes=='datetime64[ns]':
#构建sql语句
sql_col=col+' '+'datetime'
#添加到列表
create_list.append(sql_col)
else:
#构建sql语句
sql_col=col+' '+f'varchar({length})'
#添加到列表
create_list.append(sql_col)
#添加主键,替换列表中不必要内容
table_str='id int(64) primary key not null auto_increment,'+str(create_list).replace('[','').replace(']','').replace("'","")
#设置引擎
sql_create=f'''create table if not exists {table_name}({table_str})'''+' engine=innodb default charset=utf8'
#返回sql语句
return sql_create
4.生成数据库表格
》》运行SQL语句生成表格
#遍历该目录下文件
for files in get_path('./'):
#获取文件名称
name=files[1]
#读取表格
df=pd.read_excel(files[0])
#获取sql语句
sql=get_sql(name,df)
#连接MySQL
conn=Mysql_connect('127.0.0.1','root','253611','test')
#输出sql语句
print(sql+'n')
#运行sql语句
conn.run_sql(sql)
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
SQL
+关注
关注
1文章
738浏览量
43462 -
文件
+关注
关注
1文章
540浏览量
24402 -
csv
+关注
关注
0文章
35浏览量
5760
发布评论请先 登录
相关推荐
labviEW中使用LabSQL在数据库创建新表
的说明请搜索百度,另外需要下载LabSQL才能运行这个程序。补:程序中最后应该加一个别Connection Close.vi的,不知怎么忘了加了,在使用中是要加上的。 对于创建新的ACCESS数据库而不是在现在的数据库里面新建
发表于 03-23 10:38
Python操作SQLite数据库---插入温度记录
SQLite数据库中包含一张只包含三个字段的记录表——参数名称,时间和温度值。本文使用python向SQLite数据库中插入树莓派温度数据。
发表于 09-18 17:09
如何把存入数据库的大数据的表导出来电脑上,要求excel格式和txt格式,谢谢各位大神!!!
如何把存入数据库的大数据的表导出来放电脑上硬盘,要求excel格式和txt格式,存入数据库的数据
发表于 01-05 11:24
Python存储数据详解
在Python开发中,数据存储、读取是必不可少的环节,而且可以采用的存储方式也很多,常用的方法有json文件、csv文件、MySQL数据库、Redis数据库以及Mongdb
发表于 03-29 15:47
python有什么用 如何用python创建数据库
python有什么用 如何用python创建数据库 Python是一种高级编程语言,可以用于开发各种类型的应用程序和工具。它的广泛应用使它在
评论