技术标签: python
一、使用python导入的原因
1、csv文件为从文件数据库导出的数据文件,一个一个的导入到数据库效率就比较低下;
2、日期形式的字段会存在特殊的字符或者字段中包含了单引号就会报错。
二、操作
1、循环读取选定文件夹下的文件
'''
读取文件夹下的csv文件
'''
def readAllFiles(filePath):
fileList = os.listdir(filePath)
for file in fileList:
path = os.path.join(filePath, file)
if os.path.isfile(path):
file = open(path, 'r', encoding='utf-8')
print(path)
#流程记录信息
if path.find("workflow") != -1:
analysisWorkflowCsv(file)
pass
#意见信息
elif path.find("opinion") != -1:
analysisOpinionCsv(file)
pass
#发文数据
elif path.find("wd_24") != -1:
analysisWd24Csv(file)
pass
#收文数据
elif path.find("wd_25") != -1:
analysisWd25Csv(file)
pass
else:
readAllFiles(path)
2、解析文件内容,首行为标题栏需要跳过。入库操作每满1000条commit一次主要是python频繁提交执行次数达到1000+就会报错。1000条commit一次可以避免错误并缓解内存压力。
'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
def analysisWorkflowCsv(file):
csvFile = csv.reader(file)
# 读取一行,下面的reader中已经没有该行了
head_row = next(csvFile)
# print(head_row)
__conn = getConnect_old()
counter = 0
for row in csvFile:
workflow = {
}
workflow['UUID'] = row[0]
workflow['subject'] = row[1]
workflow['signdate'] = row[2]
workflow['U_UnitName'] = row[3]
workflow['U_UnitUser'] = row[4]
workflow['U_UnitUserTitle'] = row[5]
workflow['U_UnitEndTime'] = row[6]
workflow['U_UnitAction'] = row[7]
workflow['U_UnitToTitle'] = row[8]
if insertWorkflows(__conn, workflow):
counter += 1
if counter % 1000 == 0:
__conn.commitData()
print("已经插入工作流数据: %d 条。"%counter)
__conn.commitData()
__conn.closeConn()
2、解析文件内容,首行为标题栏需要跳过。入库操作每满1000条commit一次主要是python频繁提交执行次数达到1000+就会报错。1000条commit一次可以避免错误并缓解内存压力。
'''
解析文件
'''
def analysisWorkflowCsv(file):
csvFile = csv.reader(file)
# 读取一行,下面的reader中已经没有该行了
head_row = next(csvFile)
# print(head_row)
__conn = getConnect_old()
counter = 0
for row in csvFile:
workflow = {
}
workflow['UUID'] = row[0]
workflow['subject'] = row[1]
workflow['signdate'] = row[2]
workflow['U_UnitName'] = row[3]
workflow['U_UnitUser'] = row[4]
workflow['U_UnitUserTitle'] = row[5]
workflow['U_UnitEndTime'] = row[6]
workflow['U_UnitAction'] = row[7]
workflow['U_UnitToTitle'] = row[8]
if insertWorkflows(__conn, workflow):
counter += 1
if counter % 1000 == 0:
__conn.commitData()
print("已经插入工作流数据: %d 条。"%counter)
__conn.commitData()
__conn.closeConn()
3、数据入库
'''
插入工作流程数据
'''
def insertWorkflows(__conn, workflow):
__sql = '''
INSERT INTO workflows (
UUID, U_UnitName, U_UnitUser, U_UnitUserTitle, U_UnitEndTime, U_UnitAction, U_UnitToTitle, subject, signdate
) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s)
'''
__params = (
workflow['UUID'], workflow['U_UnitName'], workflow['U_UnitUser'], workflow['U_UnitUserTitle'],
workflow['U_UnitEndTime'], workflow['U_UnitAction'], workflow['U_UnitToTitle'], workflow['subject'],
workflow['signdate']
)
# print(__sql % __params)
return __conn.mssql_exe_sql(__sql, __params)
4、python操作sqlserver代码
'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:778463939
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
import pymssql
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
'''
数据库连接
'''
class ConnectionDatabase(object):
# 连接mysql数据库
def __init__(self, ip, user_name, passwd, db, char='utf8'):
self.ip = ip
# self.port = port
self.username = user_name
self.passwd = passwd
self.mysqldb = db
self.char = char
self.MsSQL_db = pymssql.connect(
host=self.ip,
user=self.username,
password=self.passwd,
database=self.mysqldb,
charset=self.char)
# 查询数据(sqlserver)
def mssql_findList(self, sql):
cursor = self.MsSQL_db.cursor()
MsSQL_sql = sql
results = None
if not cursor:
raise (NameError,"数据库连接失败")
try:
# 执行SQL语句
cursor.execute(MsSQL_sql)
# 获取所有记录列表
results = cursor.fetchall()
except Exception as e:
print(e)
self.MsSQL_db.close()
if results:
return results
else:
return None
# 数据增删改查(sqlserver)
def mssql_exe_sql(self, sql, params):
cursor = self.MsSQL_db.cursor()
MsSQL_sql = sql
result = 0
if not cursor:
raise (NameError,"数据库连接失败")
try:
# 执行SQL语句
cursor.execute(MsSQL_sql, params)
result = cursor.rowcount
except Exception as e:
print(e)
self.MsSQL_db.rollback()
self.MsSQL_db.close()
return result>0
'''
提交数据集
'''
def commitData(self):
try:
self.MsSQL_db.commit()
except Exception as e:
print(e)
'''
关闭数据库连接
'''
def closeConn(self):
if self.MsSQL_db:
self.MsSQL_db.close()
5、执行代码
if __name__ == "__main__":
#文件所在的文件夹父路径
# testFilePath = "G:\数据解析\csv\workflowcsv"
testFilePath = "G:\数据解析\csv\wd25csv"
readAllFiles(testFilePath)
遇到的问题及解决方式:
(1)以上代码执行时如果有时间类型的字段需要对字符串进行转换;
re.sub('[^0-9 | \- | : ]', '', timestr)
利用正则表达式将时间字符串中的特殊字符去掉,再转换为时间字符串,避免代码执行时类型转换错误。
(2)数据库插入数据的sql语句最好使用的是带参数的执行方式,不要使用sql占位符拼接的方式,这样可能出现单引号“’”导致sql执行失败。
文章浏览阅读3.5k次,点赞2次,收藏13次。为了从FTP服务器下载文件,需要要实现一个简单的FTP客户端。FTP(文件传输协议) 是 TCP/IP 协议组中的应用层协议。FTP协议使用字符串格式命令字,每条命令都是一行字符串,以“\r\n”结尾。客户端发送格式是:命令+空格+参数+"\r\n"的格式服务器返回格式是以:状态码+空格+提示字符串+"\r\n"的格式,代码只要解析状态码就可以了。读写文件需要登陆服务器,特殊用..._ftp 登录返回230
文章浏览阅读648次。前提:systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing:强制模式,SELinux 运作中,且已经正确的开始限制..._centos7 安装rabbitmq3.6.5
文章浏览阅读5.8k次。满意答案s55f2avsx2017.09.05采纳率:46%等级:12已帮助:5646人新版Android Studio/IntelliJ IDEA可以直接导入eclipse项目,不再推荐使用eclipse导出gradle的方式2启动Android Studio/IntelliJ IDEA,选择 import project3选择eclipse 项目4选择 create project f..._android studio 项目导入idea 看不懂安卓项目
文章浏览阅读860次,点赞2次,收藏6次。AI大模型技术已经在自然语言处理、计算机视觉、多模态交互等领域取得了显著的进展和成果,同时也引发了一系列新的挑战和问题,如数据质量、计算效率、知识可解释性、安全可靠性等。城市运维涉及到多个方面,如交通管理、环境监测、公共安全、社会治理等,它们需要处理和分析大量的多模态数据,如图像、视频、语音、文本等,并根据不同的场景和需求,提供合适的决策和响应。知识搜索有多种形式,如语义搜索、对话搜索、图像搜索、视频搜索等,它们可以根据用户的输入和意图,从海量的数据源中检索出最相关的信息,并以友好的方式呈现给用户。_ai大模型应用开发
文章浏览阅读8.2k次,点赞12次,收藏121次。为什么要测量阻抗呢?阻抗能代表什么?阻抗测量的注意事项... ...很多人可能会带着一系列的问题来阅读本文。不管是数字电路工程师还是射频工程师,都在关注各类器件的阻抗,本文非常值得一读。全文13000多字,认真读完大概需要2小时。一、阻抗测试基本概念阻抗定义:阻抗是元器件或电路对周期的交流信号的总的反作用。AC 交流测试信号 (幅度和频率)。包括实部和虚部。图1 阻抗的定义阻抗是评测电路、元件以及制作元件材料的重要参数。那么什么是阻抗呢?让我们先来看一下阻抗的定义。首先阻抗是一个矢量。通常,阻抗是_阻抗实部和虚部
文章浏览阅读955次。前面章节分享试用了pyzero,pygame但随着想增加更丰富的游戏内容,好多还要进行自己编写类,从今天开始解绍一个新的python游戏库arcade模块。通过此次的《连连看》游戏实现,让我对swing的相关知识有了进一步的了解,对java这门语言也有了比以前更深刻的认识。java的一些基本语法,比如数据类型、运算符、程序流程控制和数组等,理解更加透彻。java最核心的核心就是面向对象思想,对于这一个概念,终于悟到了一些。_arcade语言 like
文章浏览阅读1.1k次。源码简介与安装说明:2021增强版短视频去水印源码 去水印微信小程序源码网站 去水印软件源码安装环境(需要材料):备案域名–服务器安装宝塔-安装 Nginx 或者 Apachephp5.6 以上-安装 sg11 插件小程序已自带解析接口,支持全网主流短视频平台,搭建好了就能用注:接口是公益的,那么多人用解析慢是肯定的,前段和后端源码已经打包,上传服务器之后在配置文件修改数据库密码。然后输入自己的域名,进入后台,创建小程序,输入自己的小程序配置即可安装说明:上传源码,修改data/_去水印机要增强版
文章浏览阅读557次。1. 触发器是FPGA存储数据的基本单元2. 触发器作为时序逻辑的基本元件,官方提供了丰富的配置方式,以适应各种可能的应用场景。_fdre #(.init(1'b0) // initial value of register (1'b0 or 1'b1) ) fdce_osc (
文章浏览阅读560次。本该是不同编译器结果不同,但是尝试了g++ msvc都是先计算c,再计算b,最后得到a+b+c是经过赋值以后的b和c参与计算而不是6。由上表可知,将q复制到p数组可以表示为:*p++=*q++,*优先级高,先取到对应q数组的值,然后两个++都是在后面,该行运算完后执行++。在电脑端编译完后会分为text data bss三种,其中text为可执行程序,data为初始化过的ro+rw变量,bss为未初始化或初始化为0变量。_嵌入式面试笔试c语言知识点
文章浏览阅读2.3k次。57 Things I've Learned Founding 3 Tech CompaniesJason Goldberg, Betashop | Oct. 29, 2010, 1:29 PMI’ve been founding andhelping run techn_mature
文章浏览阅读1.9k次。问题:先讲下需求,有若干个文本文件(txt或者csv文件等),每行代表一条数据,现在希望能合并成 1 个文本文件,且需要去除重复行。分析:一向奉行简单原则,如无必要,绝不复杂。如果数据量不大,那么如下两条命令就可以搞定合并:cat a.txt >> new.txtcat b.txt >> new.txt……去重:cat new...._python 超大文本合并
文章浏览阅读489次。这个过渡页是第一次打开小程序展示的,点击某个小程序前把手机的开发者->network link conditioner->enable & very bad network 就会在停在此页。比如《支付宝运动》这个小程序先看这个类的.h可以看到它继承于DTViewController点击左上角返回的方法- (void)back;#import "DTViewController.h"#import "APBaseLoadingV..._类似支付宝页面过度加载页