gitea/scripts
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Compare commits

base: gitea:de6d1d47c84e4c68a07eb77d63f41fc688df5a22
Branches Tags
gitea:main
...
compare: gitea:09d63b66306196a9541a621f84feb5b3565cce0c
Branches Tags
gitea:main

2 Commits
de6d1d47c8 ... 09d63b6630

Author SHA1 Message Date
gitea
09d63b6630 [add] icon.ico and readme.txt 2024-05-23 14:00:32 +08:00
gitea
44ef429d5a [modify] 
v0.0.5(2024/05/23)
1. 完善了函数注释
2. 调整了阈值和步长
3. 删除了just_open函数，以及对应的win32com库（Thank GOD!终于可以不用这个库了）
4. 重写了获取开始点位的代码，直接使用speed来判断，而不用角度，所以find_row_start_dp以及copy_data_to_excel_file函数也被一并删除
 2024-05-23 13:59:06 +08:00
5 changed files with 173 additions and 109 deletions
Show Stats Expand all files Collapse all files

167
rokae/brake/brake.py
View File

@ -2,25 +2,15 @@
import os
import sys
import openpyxl
from win32com.client import DispatchEx
import time
from threading import Thread
import pythoncom
import pandas
def just_open(filename):
pythoncom.CoInitialize()
xlapp = DispatchEx("Excel.Application")
xlapp.Visible = False
xlbook = xlapp.Workbooks.Open(filename)
xlapp.DisplayAlerts = 0
xlbook.SaveAs(filename)
xlbook.Close()
xlapp.Quit()
def traversal_files(path):
# 功能：以列表的形式分别返回指定路径下的文件和文件夹，不包含子目录
# 参数：路径
# 返回值：路径下的文件夹列表 路径下的文件列表
if not os.path.exists(path):
msg = f'数据文件夹{path}不存在，请确认后重试......'
warn_pause_exit(msg, 1, 11)
@ -37,55 +27,57 @@ def traversal_files(path):
def get_threshold_step(excel_file, AXIS):
# 功能：负载和速度100%，且是j2的时候，做特殊处理
# 参数：新生成的excel，轴号
# 返回值：速度差阈值，处理步长
conditions = sorted(excel_file.split('\\')[-2].split('_'))
# 只有负载和速度是100%时，才会启用更敏感的step
flg = 1 if conditions[0][-3:] == '100' and conditions[2][-3:] == '100' else 0
if flg == 1 and AXIS == 'j2':
threshold = 50
step = 20
threshold = 30
step = 5
else:
threshold = 50
step = 100
threshold = 10
step = 5
return threshold, step
def find_row_start(excel_file, ws_data, conditions, AV, RR, AXIS):
# 功能：查找数据文件中有效数据的行号，也即最后一个速度下降的点位
# 参数：如上
# 返回值：速度下降点位，最后的数据点位
ratio = float(conditions[1].removeprefix('speed'))/100
speed_max = AV * ratio * RR / 6
row_max = ws_data.max_row
row_start = row_max - 1000
row_max = row_start = ws_data.max_row
threshold, step = get_threshold_step(excel_file, AXIS)
while row_start > 0:
while row_start > step+1:
speed = ws_data[f"A{row_start}"].value
if speed is None or int(speed) < 1:
row_start -= step
row_start -= 50
continue
row_end = row_start - step
if row_end < 2:
msg = f"可能是{excel_file.replace('xlsx', 'data')}, 这个文件数据采集有问题，也有可能是程序步长设定问题......" \
f"建议重新采集，或者先删除该文件夹，重新运行程序，先手动处理"
warn_pause_exit(msg, 1, 10)
_a = ws_data[f"A{row_start}"].value
_b = ws_data[f"A{row_end}"].value
if abs(_a-speed_max) < threshold and abs(_b-speed_max) < threshold and abs(_a-_b) < threshold:
row_start -= (step + 200)
_ = []
for i in range(row_start, row_start-step+1, -1):
_.append(ws_data[f"A{i}"].value)
speed_avg = abs(sum(_))/len(_)
if abs(speed_avg-speed_max) < threshold:
row_start = row_start - 10
break
else:
row_start -= step
else:
os.remove(excel_file)
msg = f"可能是{excel_file.replace('xlsx', 'data')},这个文件数据采集有问题，比如采集的时机不对，请检查......"
msg = f"可能是{excel_file.replace('xlsx', 'data')},这个文件数据采集有问题，比如采集的时机不对，也有可能是程序步长设定问题，请检查......"
warn_pause_exit(msg, 1, 9)
return row_max, row_start
def find_result_sheet_name(conditions, count):
# 该函数比较简单，功能是获取结果文件准确的sheet页名称
# 功能：获取结果文件准确的sheet页名称
# 参数：臂展和速度的列表
# 返回值：结果文件对应的sheet name
# 33%臂展_33%速度_正1
reach = conditions[0].removeprefix('reach')
speed = conditions[1].removeprefix('speed')
@ -95,12 +87,17 @@ def find_result_sheet_name(conditions, count):
def copy_data_to_result(ws_data, ws_result, row_max, row_start):
# 功能：将数据文件中有效数据拷贝至结果文件对应的 sheet
# 参数：如上
# 返回值：-
# 结果文件数据清零
for row in ws_result.iter_rows(min_row=2, min_col=1, max_row=6000 - row_start + 2, max_col=2):
for row in ws_result.iter_rows(min_row=2, min_col=1, max_row=2000, max_col=2):
for cell in row:
cell.value = None
# 将合适的数据复制到结果文件
row_max = row_start + 399 if row_max-row_start > 400 else row_max
data = []
for row in ws_data.iter_rows(min_row=row_start, min_col=1, max_row=row_max, max_col=2):
for cell in row:
@ -112,74 +109,16 @@ def copy_data_to_result(ws_data, ws_result, row_max, row_start):
i = i + 1
def copy_data_to_excel_file(wb_data, ws_result, row_max, row_start, excel_file, RC, RR):
try:
del wb_data['dp']
wb_data.create_sheet('dp')
ws_dp = wb_data['dp']
except Exception as Err:
wb_data.create_sheet('dp')
ws_dp = wb_data['dp']
data = []
for row in ws_result.iter_rows(min_row=1, min_col=1, max_row=row_max-row_start+2, max_col=5):
for cell in row:
data.append(cell.value)
i = 0
for row in ws_dp.iter_rows(min_row=1, min_col=1, max_row=row_max-row_start+2, max_col=5):
for cell in row:
cell.value = data[i]
i = i + 1
ws_dp.cell(row=5, column=7).value = RC
ws_dp.cell(row=6, column=7).value = RR
wb_data.save(excel_file)
wb_data.close()
just_open(excel_file) # 为了能读取到公式计算的数值，必须要用 win32com 打开关闭一次
wb_data = openpyxl.load_workbook(excel_file, data_only=True)
ws_dp = wb_data['dp']
return wb_data, ws_dp
def find_row_start_dp(data_file, ws_dp, row_max, row_start, conditions, AV):
ratio = float(conditions[1].removeprefix('speed'))/100
av_max = AV * ratio
row_max_dp = row_max - row_start + 1 + 1 # title row
row_start_dp = row_max_dp - 5
while row_start_dp > 6:
# 处理异常数据：当从数据文件中拷贝的有效数据超过5000时，会触发下面代码块
angular = ws_dp.cell(row=row_start_dp, column=4).value
if angular is None or str(angular) == '0':
row_start_dp -= 50
continue
_a = float(ws_dp.cell(row=row_start_dp, column=4).value)
_b = float(ws_dp.cell(row=row_start_dp - 1, column=4).value)
_c = float(ws_dp.cell(row=row_start_dp - 2, column=4).value)
_d = float(ws_dp.cell(row=row_start_dp - 3, column=4).value)
_e = float(ws_dp.cell(row=row_start_dp - 4, column=4).value)
avg = (_a + _b + _c + _d + _e) / 5
if abs(avg - av_max) < 1:
row_start_dp = row_start_dp + 10 - 5 # +10 是因为结果文件 C2 的值是 10，-5是做了保守处理，相当于再往前移动 5 个点位
break
else:
row_start_dp -= 5 # 保守一点，每次移动 5 个点位，如果想要加快程序运行，可适当调整更大一些，建议不超过 15
else:
msg = "数据有误，未找到平衡的点，请确认！"
warn_pause_exit(msg, 1, 1)
return row_start_dp
def single_file_process(data_file, wb_result, count, AV, RR, RC, AXIS):
# 功能：完成单个数据文件的处理
# 参数：如上
# 返回值：-
excel_file = data_file.replace('.data', '.xlsx')
sheet_name = data_file.split('\\')[-1].removesuffix('.data')
df = pandas.read_csv(data_file, sep='\t')
df.to_excel(excel_file, sheet_name=sheet_name, index=False)
conditions = sorted(data_file.split('\\')[-2].split('_')[1:])
# print(f"conditions = {conditions}")
result_sheet_name = find_result_sheet_name(conditions, count)
ws_result = wb_result[result_sheet_name]
@ -188,16 +127,17 @@ def single_file_process(data_file, wb_result, count, AV, RR, RC, AXIS):
row_max, row_start = find_row_start(excel_file, ws_data, conditions, AV, RR, AXIS)
copy_data_to_result(ws_data, ws_result, row_max, row_start)
wb_data, ws_dp = copy_data_to_excel_file(wb_data, ws_result, row_max, row_start, excel_file, RC, RR)
row_start_dp = find_row_start_dp(data_file, ws_dp, row_max, row_start, conditions, AV)
ws_result["G2"] = int(row_start_dp)
ws_result["C2"] = int(2)
ws_result["G2"] = int(10+4)
wb_data.save(excel_file)
wb_data.close()
def now_doing_msg(docs, flag):
# 功能：输出正在处理的文件或目录
# 参数：文件或目录，start 或 done 标识
# 返回值：-
now = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
file_type = 'file' if os.path.isfile(docs) else 'dir'
if flag == 'start' and file_type == 'dir':
@ -211,6 +151,9 @@ def now_doing_msg(docs, flag):
def data_process(result_file, raw_data_dirs, AV, RR, RC, AXIS):
# 功能：完成一个结果文件的数据处理
# 参数：结果文件，数据目录，以及预读取的参数
# 返回值：-
prefix = result_file.split('\\')[-1].split('_')[0]
wb_result = openpyxl.load_workbook(result_file) # 打开和关闭结果文件夹十分耗时间
for raw_data_dir in raw_data_dirs:
@ -220,12 +163,11 @@ def data_process(result_file, raw_data_dirs, AV, RR, RC, AXIS):
# 数据文件串行处理模式---------------------------------
# count = 1
# for data_file in data_files:
# now_doing_msg(data_file, 'start')
# single_file_process(data_file, wb_result, count, AV, RR, RC, AXIS)
# count += 1
# now_doing_msg(data_file, 'done')
# now_doing_msg(data_file, 'start')
# single_file_process(data_file, wb_result, count, AV, RR, RC, AXIS)
# count += 1
# now_doing_msg(data_file, 'done')
# ---------------------------------------------------
# 数据文件并行处理模式---------------------------------
threads = [Thread(target=single_file_process, args=(data_files[0], wb_result, 1, AV, RR, RC, AXIS)),
Thread(target=single_file_process, args=(data_files[1], wb_result, 2, AV, RR, RC, AXIS)),
@ -242,6 +184,9 @@ def data_process(result_file, raw_data_dirs, AV, RR, RC, AXIS):
def warn_pause_exit(msg, pause_num, exit_num):
# 功能：打印告警信息，并推出程序
# 参数：告警信息，暂停的次数，退出的值
# 返回值：-
print(msg + '\n')
for i in range(pause_num):
_ = input("Press ENTER to continue......\n")
@ -249,6 +194,9 @@ def warn_pause_exit(msg, pause_num, exit_num):
def check_files(raw_data_dirs, result_files):
# 功能：检查数据文件以及结果文件的合规性
# 参数：数据文件夹，结果文件
# 返回值：-
if len(result_files) != 3:
msg = "结果文件数目错误，结果文件有且只有三个，请确认！"
for result_file in result_files:
@ -299,6 +247,9 @@ def check_files(raw_data_dirs, result_files):
def delete_excel_files(raw_data_dirs):
# 功能：删除数据文件夹里的 .xlsx 文件
# 参数：数据文件夹
# 返回值：-
for raw_data_dir in raw_data_dirs:
_, raw_data_files = traversal_files(raw_data_dir)
for raw_data_file in raw_data_files:
@ -307,6 +258,9 @@ def delete_excel_files(raw_data_dirs):
def initialization():
# 功能：初始化，记录开始时间，读取预定义参数
# 参数：-
# 返回值：结果文件，数据文件夹，以及预定义参数
time_start = time.time() # 记录开始时间
try:
# read init configurations from config file
@ -331,6 +285,9 @@ def initialization():
def execution(args):
# 功能：执行处理所有数据文件
# 参数：initialization函数的返回值
# 返回值：-
raw_data_dirs, result_files, time_start, AV, RR, RC, AXIS = args
prefix = []
for raw_data_dir in raw_data_dirs:

BIN
rokae/brake/configs.xlsx
View File

Binary file not shown.

8
rokae/brake/file_version_info.txt
View File

@ -6,8 +6,8 @@ VSVersionInfo(
ffi=FixedFileInfo(
# filevers and prodvers should be always a tuple with four items: (1, 2, 3, 4)
# Set not needed items to zero 0.
filevers=(0, 0, 4, 0),
prodvers=(0, 0, 4, 0),
filevers=(0, 0, 5, 0),
prodvers=(0, 0, 5, 0),
# Contains a bitmask that specifies the valid bits 'flags'r
mask=0x3f,
# Contains a bitmask that specifies the Boolean attributes of the file.
@ -31,12 +31,12 @@ VSVersionInfo(
'040904b0',
[StringStruct('CompanyName', 'Rokae - https://www.rokae.com/'),
StringStruct('FileDescription', 'All in one automatic operating tool'),
StringStruct('FileVersion', '0.0.4 (2024-05-20)'),
StringStruct('FileVersion', '0.0.5 (2024-05-20)'),
StringStruct('InternalName', 'AIO.exe'),
StringStruct('LegalCopyright', '© 2024-2024 Manford Fan'),
StringStruct('OriginalFilename', 'AIO.exe'),
StringStruct('ProductName', 'AIO'),
StringStruct('ProductVersion', '0.0.4 (2024-05-20)')])
StringStruct('ProductVersion', '0.0.5 (2024-05-20)')])
]),
VarFileInfo([VarStruct('Translation', [1033, 1200])])
]

BIN
rokae/brake/icon.ico Normal file
View File

Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 4.2 KiB

107
rokae/brake/readme.txt Normal file
View File

@ -0,0 +1,107 @@
程序功能：自动化处理制动性能采集的数据，减少人工处理时长，目前测试单轴可从原来的4-6h，减少到15min
使用方法：修改 configs.xlsx 配置文件中的一些参数（数据文件路径/减速比/最大角速度/额定电流），然后直接执行即可
第三方库：pandas/pywin32/openpyxl
pip3 install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
pip3 install openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
pip3 install pywin32 -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
pip3 install Pillow -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
python.exe -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
pip3 install --upgrade --force-reinstall numpy -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn
打包方法：pyinstaller.exe -F --version-file file_version_info.txt -i .\icon.ico .\aio.py
最好不用虚拟环境
注意事项：
1. 数据文件存储存储规则
所谓数据文件，就是我们拍急停的时候，采集到的 .data 文件，正方向拍三次急停，会采集到三个 .data 文件，存储在同一个文件夹内，即每组（三个 .data 文件）文件必须存储在同一个文件夹内，数据文件的命名无要求，
2. 文件夹命名规则
虽然对采集到的 .data 文件没有命名要求，但是对于文件夹的命名是有要求的，必须是如下格式：
loadXX_speedXX_reachXX 或者 loadXX_reachXX_speedXX
这里的XX代表不同条件下的测试数值，比如：
load100_speed33_reach66，指的是，负载100%，速度33%，臂展66%
3. 结果文件命名规则
所谓结果文件，就是处理数据的那个 excle 文件，该文件名字的前缀必须是 loadXX_XXXXXXXXX.xlsx，比如：
load33_自研_制动性能测试.xlsx
load66_自研_制动性能测试.xlsx
load100_自研_制动性能测试.xlsx
！！结果文件可以是没有数据的，也可以是之前有数据的，只要保证第 6 点中的那几个数据准确即可
4. 数据存储的组织结
..../j1/load100_speed33_reach100
..../j1/load100_speed66_reach100
....
..../j1/load100_speed100_reach100
..../j1/load100_speed33_reach100/2024_05_16_09_18_52.data
..../j1/load100_speed33_reach100/2024_05_16_09_19_52.data
..../j1/load100_speed33_reach100/2024_05_16_09_20_52.data
..../j1/load33_自研_制动性能测试.xlsx
..../j1/load66_自研_制动性能测试.xlsx
..../j1/load100_自研_制动性能测试.xlsx
5. 文件的打开与关闭
a. 在执行程序之前，需要关闭所有相关 excle 文件
b. 在执行程序之中，不允许打开相关 excle 文件
c. 在执行程序之后，需要逐个打开结果文件，并保存一次
6. 参数一致性检查
执行程序前，需要确定 configs.xlsx 中设定的减速比/最大角速度/额定电流的值是正确的
7. 数据准确性检查
执行完程序之后，需要对结果文件的数据准确性做核对，通过我自己的数据观察，误差基本在10ms以内，也即10个数据点，误差较大的情况可自行调整
8. .data 数据顺序
.data 文件的第一列和第二列必须分别是速度和电流
9. 其他
程序运行主要的耗时集中在打开，保存和关闭结果文件，第一次打开的时候会比较慢，是因为 excel 在做首次公式的计算，保存关闭之后，再打开会比较快一些，另外，如果在运行出错并重复运行程序的时候无响应，或者出现异常，请打开任务管理器，关闭一切和excel相关的进程，重新运行即可
RELEASE CHANGES
已知问题：
1. office套件下运行好像有问题，WPS无问题，集中在just_open函数的实现上
v0.0.1(2024/05/18)
Draft
v0.0.2(2024/05/20)
1. 功能模块化，为后面其他功能奠定一个基本的框架
2. 使用了多线程提高效率
3. 优化了准备工作中的细节
4. 运行初始化时自动删除 raw_data_dir 中的 .xlsx 文件
5. 优化了输出格式
6. 使用 pyinstaller 库进行代码冻结并调试成功
v0.0.3(2024/05/21)
1. just_open函数打开失败的信息中，添加文件名
2. 删除global变量，函数全部通过传参实现
3. configuration.xlsx配置文件增加AXIS常量，表示那个轴，取值为 j1/j2/j3/j4/j5/j6/j7
4. [bugfix] 增加get_threshold_step函数，用来获取在计算row_start时合适的阈值和步长，主要是解决了二轴最差工况下，最大速度是个尖端的问题：
a. load100_speed100_reachxxx 二轴 threshold = 50 step = 20
b. 其他 threshold = 50 step = 100
如上是一个比较保守的设定，因为设定的step比较小，找到点之后要往后延200最好
5. 在find_row_start_dp函数中新增一个参数data_file，方便后续调试
v0.0.4(2024/05/22)
1. 重新标定了get_threshold_step函数，让处理更加准确
2. 新定义了now_doing_msg函数，实时输出处理信息
3. 修改了find_row_start和find_row_start_dp函数，增加的部分相同，处理数据的时候，先判断是否是空值，或者是0，此时可以加快步进
4. 修改了just_open函数，不在做重试
v0.0.5(2024/05/23)
1. 完善了函数注释
2. 调整了阈值和步长
3. 删除了just_open函数，以及对应的win32com库（Thank GOD!终于可以不用这个库了）
4. 重写了获取开始点位的代码，直接使用speed来判断，而不用角度，所以find_row_start_dp以及copy_data_to_excel_file函数也被一并删除
v0.x.x(2024/05/xx)
1. 修改configuration.xlsx变量顺序，同步调整代码，为了调整多功能框架，aio.py文件将会作为入口程序存在，不实现具体功能
2. 功能的实现将由具体的功能脚本实现，aio.py只负责条件调用
3. 使用pytinstaller打包多文件为exe可执行程序
4. 新增了自动化处理电机电流数据的功能