圆月山庄资源网

transform python环境快速配置方法
脚本专栏 2024/11/6 佚名
3 2
圆月山庄资源网 Design By www.vgjia.com

经常在数据开发中需要搞udf，最近发现transform更加方便易用，但是经常会涉及到集群python版本不一、包不全或者部分机器上没有安装python。

所以咱们需要快速的进行环境配置。

因为mac自带安装好的python，所以就不讲怎么安装了。可以去官网下个： https://www.python.org/downloads/source/

1、安装虚拟环境工具：

执行：pip install virtualenv，如果没有pip的话可以google一把，自行安装

2、创建虚拟环境：

新建一个目录，各种环境文件放里面：

midir envs

cd 到该目录下，创建python虚拟环境:

virtualenv python-env

创建完了可以看到会新增一个python-env文件夹。

如果你对python版本有要求，也可以指定python版本进行创建：

virtualenv -p /usr/bin/python2.7 python-env

3、在新的虚拟环境安装自己需要的包：

激活虚拟环境：

source python-env/bin/activate

这时候在这个环境下安装的py包都是在该环境下的，可以用pip install进行安装

例如：pip install pyhs2

(安装pyhs2的时候出现异常 Cannot uninstall 'six'. It is a distutils installed project，直接跳过 sudo pip install pyhs2 --ignore-installed six)

退出虚拟环境：

deactivate

4、修改文件配置：

进入虚拟环境的bin文件夹

修改activate文件内的路径：

DIR_PATH="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
VIRTUAL_ENV="$( readlink -f "${DIR_PATH}/../" )"

5、打包文件：

进入 python-env文件夹内（因为目录层级少一点）， 打包虚拟环境：

tar -zcf python-env.tgz *

检查一下打包文件是否把对应包打进去了，查看打包是否把pyhs2打进去了：

tar -tvf python-env.tgz |grep "pyhs2"

6、如何引用python环境

新建shell文件例如test.sh,代码如下:

source ./python-env.tgz/bin/activate
python test_transform.py

写好 test_ transform 的代码，例如简单的计算(不要纠结案例的业务逻辑)：

# -*- coding: utf-8 -*-
import sys

def main():
  data_list = sys.stdin.readlines()
  # 获取id循环次数,除数-1,结果加+1
  n = (data_list.__len__() - 1)/20 + 1
  j = 1
  while j <= n:
    id_lists = data_list[(j - 1) * 20:j * 20]
    ids = []
    for id in id_lists:
      ids.append(id.strip())
    j += 1
    for id in ids:
      result=[id,str(id*100),str(id+10)]
    print '\t'.join(str(e) for e in result)

if __name__ == "__main__":
  main()

把python-env.tgz、 test.sh、test_ transform.py 上传至集群的hdfs上，例如在：hdfs:///user/tmp

7、hive引用transfrom：

进入hive客户端后，加载上述文件：

ADD ARCHIVE hdfs:///user/tmp/python-env.tgz;
ADD FILE hdfs:///user/tmp/test.sh;
ADD FILE hdfs:///user/tmp/test_transform.py;

执行hsql：

select
transform(id) USING 'test.sh' as (id,price1,price2)
from
(
select 100 as id from dual
)

以上整个流程搞通，那么就算集群上没有装python，你都可以自己创建transform进行快速开发了。

以上所述是小编给大家介绍的transform python环境快速配置方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

标签：
python环境配置,transform,python
圆月山庄资源网 Design By www.vgjia.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
圆月山庄资源网 Design By www.vgjia.com
www.vgjia.com 圆月山庄资源网
139,976互联网资源
144,792高清电影
21,817无损音乐
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接