python SQLAlchemy 缓存问题

2020-05-08 16:02:04 浏览数 (1)

python SQLAlchemy 缓存问题

背景

公司自动化框架采用的python的 SQLAlchemy 进行数据库的操作，在编写一条自动化用例的时候发现，从mysql从获取的数据不对，有个字段一直拿到错误的值（None） 自动化用例设计场景如下：

  1. 数据准备阶段，自动化代码删除mysql中的数据；
  2. 数据准备阶段，自动化代码往mysql中insert一条数据；
  3. 业务代码处理，update刚刚新增的数据；
  4. 断言阶段，自动化代码获取数据进行断言；

过程

过程是坎坷的，而且一开始就跑错了方向

明确现象

从mysql的角度来看，数据是update成功了的，符合预期了的，只是自动化代码去拿数据拿错了的 问题就是为什么自动化代码拿不到那个字段的数据

推测

  1. 简化重现流程，在sql_template层写了一个main方式，直接通过sqlalchemy的方式去获取数据，如下：
代码语言：javascript复制
if __name__ == '__main__':
    import pymysql, assertpy.assertpy

    pymysql.install_as_MySQLdb()

    import pkgutil
    from features import model

    for importer_sql, modname, ispkg_sql in pkgutil.walk_packages(path=model.__path__,
                                                                  prefix=model.__name__   '.',
                                                                  onerror=lambda x: None):
        exec('from '   modname   ' import *')
    sql_session = SqlTemplate()

    params_dict = {
        "material_type": 131,
        "creative_source_id": 718567,
        "adv_user_id": 148
    }

    expect_result = {
        "deleted_at": "${~is_not_none}"
    }
    model_name = "AdvCreativeWarehouse"

    result = sql_session.selectOne(eval(model_name), params_dict)
    print(result)
    result_dict = result.as_dict()
    print(result_dict)

这里发现从mysql中取出的数据是对的，deleted_at字段取出来正确的值 那么排除了selectOne方法的问题，排除了AdvCreativeWarehouse这个实现类的问题

  1. 推测是不是因为pyc文件导致，在执行python文件的时候，还是引用的老的编译文件
  2. 采用了python setup.py install 重新打包了项目
  3. 直接删除pyc文件
代码语言：javascript复制
find {指定目录} -name "*.pyc" | xargs rm -rf

一顿报错过来发现没有解决问题

  1. 拆减重现步骤，简化重现步骤，排除干扰项目
  2. 自动化代码插入数据
  3. 手动update数据
  4. 自动化代码读取数据

发现重现了问题，排除业务代码的问题 又发现了重大问题，c步骤取出来的数据，是a步骤插入的数据，意味着c取出来的数据可能是去到的缓存的数据 **

  1. 缩小范文，细读代码
  2. 重新review了自动化框架，发现insert的动作被封装过，每次insert完会调用sqlalchemy的query查询一次数据，第二次查询其实也是同一条数据
  3. 直接google查询sqlalchemy确实有缓存机制
  4. 解决问题

发现了问题就比较好解决，在query完后强制刷新，如下：

代码语言：javascript复制
    def selectOne(self, class_or_type_or_tuple, param):
        obj = None
        try:
            obj = self.session.query(class_or_type_or_tuple).filter_by(**param).one()
            self.session.expire_all() # 就是这句，强制刷新
        except NoResultFound:
            return None
        except(MultipleResultsFound) as e:
            print(e)
        return obj

Expires all persistent instances within this Session

额外学习

pyc文件

.pyc文件是由.py文件经过编译后生成的字节码文件，其加载速度相对于之前的.py文件有所提高，而且还可以实现源码隐藏，以及一定程度上的反编译。 Python的程序中，是把原始程序代码放在.py文件里，而Python会在执行.py文件的时候。将.py形式的程序编译成中间式文件（byte-compiled）的.pyc文件，这么做的目的就是为了加快下次执行文件的速度。 所以，在我们运行python文件的时候，就会自动首先查看是否具有.pyc文件，如果有的话，而且.py文件的修改时间和.pyc的修改时间一样，就会读取.pyc文件，否则，Python就会读原来的.py文件。 其实并不是所有的.py文件在与运行的时候都会差生.pyc文件，只有在import相应的.py文件的时候，才会生成相应的.pyc文件

编译语言vs解释语言

计算机是不能够识别高级语言的，所以当我们运行一个高级语言程序的时候，就需要一个“翻译机”来从事把高级语言转变成计算机能读懂的机器语言的过程。这个过程分成两类，第一种是编译，第二种是解释。 编译型语言在程序执行之前，先会通过编译器对程序执行一个编译的过程，把程序转变成机器语言。运行时就不需要翻译，而直接执行就可以了。最典型的例子就是C语言。 解释型语言就没有这个编译的过程，而是在程序运行的时候，通过解释器对程序逐行作出解释，然后直接运行，最典型的例子是Ruby。 通过以上的例子，我们可以来总结一下解释型语言和编译型语言的优缺点，因为编译型语言在程序运行之前就已经对程序做出了“翻译”，所以在运行时就少掉了“翻译”的过程，所以效率比较高。但是我们也不能一概而论，一些解释型语言也可以通过解释器的优化来在对程序做出翻译时对整个程序做出优化，从而在效率上接近编译型语言，而不能超过编译型语言。 此外，随着Java等基于虚拟机的语言的兴起，我们又不能把语言纯粹地分成解释型和编译型这两种。 用Java来举例，Java首先是通过编译器编译成字节码文件，然后在运行时通过解释器给解释成机器文件。所以我们说Java是一种先编译后解释的语言。

参考资料

pyc相关 https://www.zhihu.com/question/30296617 https://blog.csdn.net/weixin_30345577/article/details/96035867?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-1 编译语言vs解释语言 https://www.cnblogs.com/zoe233/p/6993972.html（推荐） sqlalchemy缓存问题 https://stackoverflow.com/questions/12108913/how-to-avoid-caching-in-sqlalchemy https://www.thinbug.com/q/10210080

打包 ide 自动化 sqlalchemy https

0 人点赞