圆月山庄资源网

使用Python设置tmpfs来加速项目的教程
脚本专栏 2024/11/8 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

 对我当前工程进行全部测试需要花费不少时间。既然有 26 GB 空闲内存，为何不让其发挥余热呢"_blank" href="http://en.wikipedia.org/wiki/Tmpfs#Linux">tmpfs 可以通过把文件系统保存在大内存中来加速测试的执行效率。

但优点也是缺点，tmpfs 只把结果保存在内存中，所以你必须自己编写脚本来把结果回写到磁盘上进行保留。而且这些脚本必须良好书写和执行，否则就要失去部分或全部的工作成果了。

一种常见的方法是直接在tmpfs文件夹中工作，然后把工作成果备份到磁盘上的一个文件夹中。当您的机器启动时你从那个备份文件夹恢复tmpfs文件夹。启动之后用cron同步tmpfs文件夹和磁盘文件夹。


我发现这个设置有点复杂容易出错。在启动的时候，或者对于crom，我从没有真正的相信。现在我用一种简单得多的设置，根本不用cron。

在我的机器上运行一个单项测试，使用IDE并发布于web服务器，其性能通常是合理的，只有运行全部测试需要许多时间。

我发现最佳之处是在磁盘上设置一个workspace，与/dev/shmand目录下运行所有测试的tmpfs同步。这或多或少使我的设置无需改变，并消除了可能松散的工作，这些仅仅是因为我在正确设置方面太垃圾了。


性能提升的结果是合理的:
 

$ nosetests && run_tests.py
........................................................................................................................................................................................................................................................
----------------------------------------------------------------------
Ran 248 tests in 107.070s
 
OK
........................................................................................................................................................................................................................................................
----------------------------------------------------------------------
Ran 248 tests in 19.423s
 
OK

现在比原来提高了 5 倍速度。

使用 python 来进行设置非常简单:
 

#!/bin/bash -e
 
WORK=src/py
LOG=$(pwd)/test.log
TARGET=$(hg root)
SHADOW=/dev/shm/shadow/$TARGET
 
date > $LOG
mkdir -p $SHADOW
 
cd $SHADOW
rsync --update --delete --exclude=".*" --exclude=ENV --archive $TARGET ./..
 
if [ ! -d ENV ]
then
  virtualenv ENV
fi
. ENV/bin/activate
 
cd $WORK
python setup.py develop  $LOG
nosetests $* | tee -a $LOG
exit ${PIPESTATUS[0]}

我只要重复同步到/dev/shm目录，设置测试环境（virtualenv and python setup.PY）和运行测试（nosetests）。

在tmpfs文件夹里仍可用命令行运行单个测试。也可以把这个从你的IDE中踢走，但你会失去你的测试运行和调试的能力。如我之前所说，我现在不需要这些。

我希望我对tmpfs的这个变通使用能帮助你建立一个更快速的开发环境，而无须遭受所有的脚本麻烦。

标签：
Python
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接