当前位置 : 主页 > 编程语言 > 其它开发 >

南京大学编译实验 Lab 3 自动测试脚本

来源:互联网 收集:自由互联 发布时间:2022-05-30
南京大学编译实验 Lab 3 自动测试脚本 (NJU编译原理课程 C-- 语言实验的 irsim.pyc 虚拟机小程序自动化执行) 文章版权属于 法华寺中班小屁孩 @ 自由互联,遵循 CC BY-NC-ND 4.0 协议。 文章
南京大学编译实验 Lab 3 自动测试脚本

(NJU编译原理课程 C-- 语言实验的 irsim.pyc 虚拟机小程序自动化执行)

文章版权属于 法华寺中班小屁孩 @ 自由互联,遵循 CC BY-NC-ND 4.0 协议。
文章地址 https://www.cnblogs.com/stupidpanther/p/16226201.html
GitHub: StupidPanther

本文将贴出用于编译实验3的自动测试脚本源码。

涉及版权,本文将不会提供 irsim.pyc 虚拟机小程序和任何官方测试样例。

脚本的运行需要配置python3等环境,相信对于大家来说不是问题,后文也会对环境配置给予讨论。

OK,进入正题。首先明确,本脚本判断测试是否正确的标准 执行你的编译器编译得到的IR程序,是否能产生预期的输出

本地文件结构

使用脚本自动测试,需要按照如下所示组织本地文件结构:

.
├── auto_run_irsim.py   # 与运行irsim.pyc相关的脚本
├── run.py              # 自动化测试脚本,即你要执行的脚本
├── irsim.pyc -> /home/me/Compiler/irsim/irsim.pyc  # 链接到irsim.pyc的软链接
├── expects             # 你期望的输出(即执行C--编译器输出的IR文件所期望的输出)
│   └── doc.1.1.expect
├── inputs              # 测试样例(用C--语言编写)
│   └── doc.1.1.cmm
├── irs                 # 编译测试样例得到的IR文件(该文件夹无需预先新建)
├── outputs             # 执行IR程序的实际输出(该文件夹无需预先新建)
└── texts               # 执行IR程序所对应的stdin(即执行IR程序时本需要手工输入的数据)
    └── doc.1.1.text

run.pyauto_run_irsim.py的代码将在稍后贴出。接下来将会解释inputstextsexpects文件夹中的文件应如何准备(即如何准备测试样例)。

准备测试样例

需要准备好inputstextsexpects文件夹。

inputs文件夹:C--语言源程序

无需多说,C--语言源程序符合实验手册要求即可。需要注意,inputs文件夹中的文件名(不含后缀)需要与textsexpects文件夹中对应的文件相同,正如上文中的文件结构图所示。

下面给出一个示例:doc.1.1.cmm

int main()
{
	int a;
	int b;
	read(a);
	b = a + 1;
	write(b);
	return 0;
}
texts文件夹:执行IR程序需要的stdin内容(即本需手工输入的数据)

C--语言源程序中如果调用了read函数,那么,在执行其对应的IR时,需要手工输入数据,这里将本应手工输入的数据写在texts文件夹中后缀为.text的文件中。

注意:每个数据均以换行符结束,文件的后缀必须.text

下面给出一个示例:doc.1.1.text,这个示例恰对应于上文中的doc.1.1.cmm,注意数字100后有一个换行符。

100

expects文件夹:执行IR程序期望获得的输出

脚本会自动执行你的C--编译器,并将生成的IR程序存于irs文件夹中;之后,脚本自动运行irsim.qyc虚拟机小程序,使用其执行刚刚生成的IR程序,并将输出结果写入outputs文件夹中。

你要做的,是将你所期望的输出结果写入expects文件夹中以.expect为结尾的文件中。

注意:文件的结束没有换行符,文件的后缀必须.expect

下面给出一个示例:doc.1.1.expect,这个示例恰对应于上文中的源程序和stdin。根据源程序的语义,应期望输出整数101,注意数字101后没有换行符。

101
脚本源代码

下面的脚本由python3书写。

脚本run.py

注意:对于脚本,有唯一一处必要的修改,在第42行,详见注释。

#!/usr/bin/python3

# Author: stupidpanther @ GitHub

import time
import os
import re
import sys
import auto_run_irsim

ESC_RED="\033[31m"
ESC_GREEN="\033[32m"
ESC_CYAN="\033[36m"
ESC_END="\033[0m"

def RunParser(executable, input_file_full_name, ir_file_full_name, output_file_full_name):
    os.system("touch " + output_file_full_name)
    os.system(executable + " " + input_file_full_name + " " + ir_file_full_name + " > " + output_file_full_name)
    f = open(output_file_full_name)
    output_text = f.read()
    f.close()
    if output_text == '':
        return 0
    else:
        return -1

def main():
    try:
        print(ESC_CYAN + "script running..." + ESC_END)

        start_time = time.asctime(time.localtime(time.time()))

        num_total_files=0
        num_pass_files=0

        # mission start
        #

        output_dir_name = "./outputs/"
        ir_dir_name = "./irs/"
        input_text_dir_name = "./texts/"
        input_dir_name  = "./inputs/"
        expect_dir_name = "./expects/"
        executable = "../cc" # 请将双引号内修改为你的编译器的绝对地址 或 相对于本文件夹的相对地址
        irsim = "./irsim.pyc"
        output_file_suffix = ".output"
        ir_file_suffix = ".ir"
        input_text_suffix = ".text"
        expect_file_suffix = ".expect"

        # make ir/output dir
        if not os.path.exists(ir_dir_name):
            os.makedirs(ir_dir_name)
        if not os.path.exists(output_dir_name):
            os.makedirs(output_dir_name)

        # traverse input files
        for root_dir, dirs, files in os.walk(input_dir_name):
            for input_file_name in files:
                num_total_files += 1
                # === process an input file ===
                file_pass = True     # is this file pass
                input_file_full_name = root_dir + input_file_name
                input_file_pure_name = (re.findall(r"(.+)\.", input_file_name))[0]
                output_file_full_name = output_dir_name + input_file_pure_name + output_file_suffix
                ir_file_full_name = ir_dir_name + input_file_pure_name + ir_file_suffix
                input_text_file_full_name = input_text_dir_name + input_file_pure_name + input_text_suffix
                expect_file_full_name = expect_dir_name + input_file_pure_name + expect_file_suffix
                # get output
                ### ====== STEP I  ====== 
                run_rst = 0
                compile_rst = 0
                compile_rst = RunParser(executable, input_file_full_name, ir_file_full_name, output_file_full_name)
                if compile_rst == 0:
                    ### == STEP II ====== 
                    auto_run_irsim.RunIRSim()
                    f = open(input_text_file_full_name)
                    input_text = f.read()
                    f.close()
                    input_text_lines = input_text.split("\n")
                    input_text_lines.remove('')
                    run_rst = auto_run_irsim.RunTestCase(ir_file_full_name, output_file_full_name, input_text_lines)
                    auto_run_irsim.StopIRSim()
                ### ====================
                if run_rst != 0:
                    file_pass = False
                else:
                    if compile_rst != 0:
                        print(input_file_full_name, "Compile error, ignore.")
                    # read output file
                    f = open(output_file_full_name)
                    my_lines = f.readlines()
                    f.close()
                    # read expect file
                    f = open(expect_file_full_name)
                    official_lines = f.readlines()
                    f.close
                    # compare
                    if my_lines == official_lines:
                        file_pass = True
                    else:
                        file_pass = False
                # print result
                if file_pass == True:
                    num_pass_files += 1
                    print(ESC_GREEN + "PASS " + input_file_full_name + ESC_END)
                else:
                    print(ESC_RED + "FAIL " + input_file_full_name + ESC_END, file=sys.stderr)
                    print(ESC_CYAN + ">>>" + expect_file_full_name + ">>>" + ESC_END)
                    os.system("cat " + expect_file_full_name)
                    print("")
                    print(ESC_CYAN + ">>>" + output_file_full_name + ">>>" + ESC_END)
                    os.system("cat " + output_file_full_name)
                    print("")
                    
        #
        # mission complete

        end_time = time.asctime(time.localtime(time.time()))

        print("------")
        print("number of total files: ", num_total_files )
        print("number of pass  files: ", num_pass_files  )
        print("------")
        print(ESC_CYAN + "start at " + start_time + ESC_END)
        print(ESC_CYAN + "end   at " + end_time   + ESC_END)

        if num_total_files == num_pass_files:
            sys.exit(0)
        else:
            sys.exit(-1)
    except Exception as excep:
        print(excep, file=sys.stderr)
        sys.exit(-2)

if __name__ == "__main__":
    main()

脚本auto_run_irsim.py

这个脚本无需修改任何内容。

#!/usr/bin/python3

# Author: stupidpanther @ GitHub

import pyautogui
import os
import time
import gi
gi.require_version('Wnck', '3.0')
from gi.repository import Wnck

def RunIRSim():
    os.system("python ./irsim.pyc &")
    time.sleep(0.75)

def StopIRSim():
    pyautogui.hotkey('alt', 'f4')

def RunTestCase(testcase_name, output_name, input_text_lines):
    pyautogui.hotkey('ctrl', 'o')
    time.sleep(0.1)
    pyautogui.typewrite(testcase_name)
    pyautogui.press('enter')
    time.sleep(0.05)
    # run
    pyautogui.press('f5')
    for line in input_text_lines: # enter input
        pyautogui.typewrite(line) 
        pyautogui.press('enter')
    time.sleep(0.1)
    # check if successful
    src = Wnck.Screen.get_default()
    src.force_update()
    window_title = src.get_active_window().get_name()
    src = None
    Wnck.shutdown()
    pyautogui.press('enter')
    if window_title != "Finish":
        return -1
    else:
        # scroll
        pyautogui.moveTo(836, 533)
        pyautogui.dragTo(836, 350)
        # select
        pyautogui.moveTo(492, 400)
        pyautogui.mouseDown()
        pyautogui.moveTo(855, 626)
        time.sleep(1.2)
        pyautogui.mouseUp()
        pyautogui.hotkey('ctrl', 'c')
        os.system("xclip -o > " + output_name)
        return 0

脚本使用

首先赋予脚本执行权限:

chmod +x ./run.py
chmod +x ./auto_run_irsim.py

要自动化执行测试样例,在当前目录下,执行以下命令:(注意,脚本运行期间,不要使用鼠标、不要使用键盘)

./run.py

在我的本地环境,得到以下输出:

script running...
PASS ./inputs/doc.2.2.cmm
PASS ./inputs/doc.1.1.cmm
PASS ./inputs/doc.3.1.cmm
PASS ./inputs/doc.2.1.cmm
PASS ./inputs/doc.1.3.cmm
PASS ./inputs/doc.2.3.cmm
PASS ./inputs/doc.4.1.cmm
PASS ./inputs/doc.1.2.cmm
------
number of total files:  8
number of pass  files:  8
------
start at Thu May  5 18:24:56 2022
end   at Thu May  5 18:25:28 2022
环境依赖

最后,如你所见,脚本中使用了如pyAutoGUI等第三方包。虽然安装它们并不难,但在这里多说几句也不是坏事。

再次强调,本脚本依赖于 Python 3,我的本地环境是:

me@ubuntu:~$ uname -a
Linux ubuntu 4.15.0-142-generic #146~16.04.1-Ubuntu SMP Tue Apr 13 09:27:15 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
me@ubuntu:~$ python3 --version
Python 3.5.2
me@ubuntu:~$ python3 -m pip --version
pip 20.3.4 from /home/me/.local/lib/python3.5/site-packages/pip (python 3.5)

另外,脚本需要安装包括但不限于以下依赖:

pyAutoGUIWnck

关于pyAutoGUI,有人并不建议在 Ubuntu 16.04 上使用,但限于实验要求,不得不作出让步。我确实注意到,在安装pyAutoGUI时,有些其依赖没有安装成功;不过,本着“能用就是好用”的原则,经过实践,这并没有影响我实现这个自动化测试脚本。

结语

写这个脚本的主要目的是自用,而不是面向用户体验,所以用起来有些繁琐在所难免。

祝我和大家实验愉快。

上一篇:算法题-爬楼梯
下一篇:没有了
网友评论