欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

还能这样?把Python自动翻译成C++

时间:2022-10-09 17:43:03 | 浏览:2874

作者:byronhe,腾讯 WXG 开发工程师一、问题背景随着深度学习的广泛应用,在搜索引擎/推荐系统/机器视觉等业务系统中,越来越多的深度学习模型部署到线上服务。机器学习模型在离线训练时,一般要将输入的数据做特征工程预处理,再输入模型在

作者:byronhe,腾讯 WXG 开发工程师

一、问题背景

随着深度学习的广泛应用,在搜索引擎/推荐系统/机器视觉等业务系统中,越来越多的深度学习模型部署到线上服务。

机器学习模型在离线训练时,一般要将输入的数据做特征工程预处理,再输入模型在 TensorFlow PyTorch 等框架上做训练。

1.常见的特征工程逻辑

常见的特征工程逻辑有:

  1. 分箱/分桶 离散化

  2. log/exp 对数/幂等 math numpy 常见数学运算

  3. 特征缩放/归一化/截断

  4. 交叉特征生成

  5. 分词匹配程度计算

  6. 字符串分隔匹配判断 tong

  7. 缺省值填充等

  8. 数据平滑

  9. onehot 编码,hash 编码等

这些特征工程代码,当然一般使用深度学习最主要的语言 python实现。

二、业务痛点

离线训练完成,模型上线部署后,同样要用 C++ 重新实现这些 python 的特征工程逻辑代码。

我们发现,“用 C++ 重新实现”这个步骤,给实际业务带来了大量的问题:

  1. 繁琐,费时费力,极容易出现 python 和 C++ 代码不一致

  2. 不一致会直接影响模型在线上的效果,导致大盘业务指标不如预期,产生各种 bad case

  3. 不一致难以发现,无法测试,无法监控,经常要靠用户投诉反馈,甚至大盘数据异常才能发现

1. 业界方案

针对这些问题,我调研了这些业界方案:

《推荐系统中模型训练及使用流程的标准化》https://www.infoq.cn
/article/2E6LCqb1GeqFRAjkkjX3

《自主研发、不断总结经验,美团搜索推荐机器学习平台》https://cloud.tencent.com/developer/article/1357309

《京东电商推荐系统实践》https://www.infoq.cn
/article/1OkKmb_gEYNR3YqC9RcW

“模型线上线下一致性问题对于模型效果非常重要,我们使用特征日志来实时记录特征,保证特征的一致性。这样离线处理的时候会把实时的用户反馈,和特征日志做一个结合生成训练样本,然后更新到模型训练平台上,平台更新之后在推送到线上,这样整个排序形成了一个闭环。”

总结起来,有几种思路:

  1. 在线特征存储起来给离线用

  2. 在线 C++ 代码编译成 so 导出给离线用

  3. 根据一份配置生成离线和在线代码

  4. 提取公共代码,加强代码复用,等软件工程手段,减少不一致

2. 自动翻译方案

(1) .已有方案的缺点

但这些思路都有各种缺点:

  1. 所有在线请求的所有特征,这个存储量数据量很大

  2. 算法改代码需要等待后台开发,降低了算法同学的工作效率

  3. 特征处理代码的复杂度转移到配置文件中,不一定能充分表达,而且配置格式增加学习成本

  4. 就这边真实离线特征处理代码来看,大部分代码都无法抽取出公共代码做复用。

(2). 翻译器

回到问题出发点考虑,显而易见,这个问题归根结底就是需要一个 “ python 到 c++ 的翻译器 ” 。

那其实 “翻译器 Transpiler ” ,和编译器解释器类似,也是个古老的热门话题了,比如 WebAssembly, CoffeeScript ,Babel ,Google Closure Compiler,f2c

于是一番搜索,发现 python 到 C++ 的翻译器也不少,其中 Pythran 是新兴比较热门的开源项目。

于是一番尝试后,借助 pythran,我们实现了:

  1. 一条命令 全自动把 Python 翻译成等价 C++

  2. 严格等价保证改写,彻底消除不一致

  3. 完全去掉重新实现这块工作量,后台开发成本降到 0 ,彻底解放生产力

  4. 算法同学继续使用纯 python,开发效率无影响,** 无学习成本 **

  5. 并能推广到其他需要 python 改写成后台 C++ 代码的业务场景,解放生产力

三、pythran 的使用流程

(1). 安装

一条命令安装:

pip3 install pythran

(2). 写 Python 代码

下面这个 python demo,是 pythran 官方 demo

import math
import numpy as np
def zero(n, m):
return [[0]*n for col in range(m)]
#pythran export matrix_multiply(float list list, float list list)
def matrix_multiply(m0, m1):
new_matrix = zero(len(m0),len(m1[0]))
for i in range(len(m0)):
for j in range(len(m1[0])):
for k in range(len(m1)):
new_matrix[i][j] += m0[i][k]*m1[k][j]
return new_matrix
#pythran export arc_distance(float[], float[], float[], float[])
def arc_distance(theta_1, phi_1, theta_2, phi_2):
"""
Calculates the pairwise arc distance
between all points in vector a and b.
"""
temp = (np.sin((theta_2-theta_1)/2)**2
+ np.cos(theta_1)*np.cos(theta_2) * np.sin((phi_2-phi_1)/2)**2)
distance_matrix = 2 * np.arctan2(np.sqrt(temp), np.sqrt(1-temp))
return distance_matrix

#pythran export dprod(int list, int list)
def dprod(l0,l1):
"""WoW, generator expression, zip and sum."""
return sum(x * y for x, y in zip(l0, l1))

#pythran export get_age(int )
def get_age(age):
if age <= 20:
age_x = "0_20"
elif age <= 25:
age_x = "21_25"
elif age <= 30:
age_x = "26_30"
elif age <= 35:
age_x = "31_35"
elif age <= 40:
age_x = "36_40"
elif age <= 45:
age_x = "41_45"
elif age <= 50:
age_x = "46_50"
else:
age_x = "50+"
return age_x

(3). Python 转成 C++

一条命令完成翻译

pythran -e demo.py -o demo.hpp

(4). 写 C++ 代码调用

pythran/pythonic/ 目录下是 python 标准库的 C++ 等价实现,翻译出来的 C++ 代码需要 include 这些头文件

写个 C++ 代码调用

#include "demo.hpp"
#include "pythonic/numpy/random/rand.hpp"
#include <iostream>
using std::cout;
using std::endl;
intmain {
pythonic::types::list<pythonic::types::list<double>> m0 = {{2.0, 3.0},
{4.0, 5.0}},
m1 = {{1.0, 2.0},
{3.0, 4.0}};
cout << m0 << "*" << m1 << " = "
<< __pythran_demo::matrix_multiply(m0, m1) << endl
<< endl;
auto theta_1 = pythonic::numpy::random::rand(3),
phi_1 = pythonic::numpy::random::rand(3),
theta_2 = pythonic::numpy::random::rand(3),
phi_2 = pythonic::numpy::random::rand(3);
cout << "arc_distance " << theta_1 << "," << phi_1 << "," << theta_2 << ","
<< phi_2 << " = "
<< __pythran_demo::arc_distance(theta_1, phi_1, theta_2, phi_2) << endl
<< endl;
pythonic::types::list<int> l0 = {2, 3}, l1 = {4, 5};
cout << "dprod " << l0 << "," << l1 << " = "
<< __pythran_demo::dprod(l0, l1) << endl
<< endl;
cout << "get_age 30 = " << __pythran_demo::get_age(30) << endl << endl;
return 0;
}

(5). 编译运行

g++ -g -std=c++11 main.cpp -fopenmp -march=native -DUSE_XSIMD -I /usr/local/lib/python3.6/site-packages/pythran/ -o pythran_demo
./pythran_demo

四、pythran 的功能与特性

(1). 介绍

按官方定义,Pythran 是一个 AOT (Ahead-Of-Time - 预先编译) 编译器。给科学计算的 python 加注解后,pythran 可以把 python 代码变成接口相同的原生 python 模块,大幅度提升性能。

并且 pythran 也可以利用 OpenMP 多核和 SIMD 指令集。

支持 python 3 和 Python 2.7 。

pythran 的 manual 挺详细:
https://pythran.readthedocs.io/en/latest/MANUAL.html

(2). 功能

pythran 并不支持完整的 python, 只支持 python 语言特性的一个子集:

  • polymorphic functions 多态函数(翻译成 C++ 的泛型模板函数)

  • lambda

  • list comprehension 列表推导式

  • map, reduce 等函数

  • dictionary, set, list 等数据结构

  • exceptions 异常

  • file handling 文件处理

  • 部分 numpy

不支持的功能:

  • classes 类

  • polymorphic variables 可变类型变量

(3). 支持的数据类型和函数

pythran export 可以导出函数和全局变量。支持导出的数据类型,BNF 定义是:

 argument_type = basic_type
| (argument_type+) # this is a tuple
| argument_type list # this is a list
| argument_type set # this is a set
| argument_type + # this is a ndarray, C-style
| argument_type [::]+ # this is a strided ndarray
| argument_type [:,...,:]+ # this is a ndarray, Cython style
| argument_type [:,...,3]+ # this is a ndarray, some dimension fixed
| argument_type:argument_type dict # this is a dictionary
basic_type = bool | byte | int | float | str | None | slice
| uint8 | uint16 | uint32 | uint64 | uintp
| int8 | int16 | int32 | int64 | intp
| float32 | float64 | float128
| complex64 | complex128 | complex256

可以看到基础类型相当全面,支持各种 整数,浮点数,字符串,复数

复合类型支持 tuple, list, set, dict, numpy.ndarray 等,

对应 C++ 代码的类型实现在
pythran/pythonic/include/types/ 下面,可以看到比如 dict 实际就是封装了一下 std::unordered_map

https://pythran.readthedocs.io/en/latest/SUPPORT.html

可以看到支持的 python 基础库,其中常用于机器学习的 numpy 支持算比较完善。

五、pythran 的基本原理

和常见的编译器/解释器类似, pythran 的架构是分成 3 层:

  1. python 代码解析成抽象语法树 AST 。用 python 标准库自带的的 ast 模块实现

  2. 代码优化。在 AST 上做优化,有多种 transformation pass,比如 deadcode_elimination 死代码消除,loop_full_unrolling 循环展开 等。还有 Function/Module/Node 级别的 Analysis,用来遍历 AST 供 transformation 利用。

  3. 后端,实现代码生成。目前有 2 个后端,Cxx / Python, Cxx 后端可以把 AST 转成 C++ 代码( Python 后端用来调试)。

目前看起来 ,pythran 还欠缺的:

  1. 字符串处理能力欠缺,缺少 str.encode/str.decode 对 utf8 的支持

  2. 缺少正则表达式 regex 支持

看文档要自己加也不麻烦,看业务需要可以加

六、相关文章

《京东电商推荐系统实践》https://www.infoq.cn
/article/1OkKmb_gEYNR3YqC9RcW

《自主研发、不断总结经验,美团搜索推荐机器学习平台》https://cloud.tencent.com/developer/article/1357309

《推荐系统中模型训练及使用流程的标准化》https://www.infoq.cn
/article/2E6LCqb1GeqFRAjkkjX3

numbahttp://numba.pydata.org

订阅我的微信公众号“杨建荣的学习笔记”,第一时间免费收到文章更新。别忘了加星标,以免错过新推送提示。

7

8

相关资讯

零基础学Python:Python五种Python解释器分享给你

不论你是Python新手零基础入门Python还是对于Python有了一定的经验积累,这里跟大家分享5个Python计时器,希望伙伴们有能用得上的!Python是一门解释器语言,代码想运行,必须通过解释器执行,Python存在多种解释器,分

Python之父:Python4.0可能不会来了

机器之心报道编辑:力元、蛋酱2020 年 1 月 1 日,Python 官方结束了对 Python 2 的维护,意味着 Python 2 完全退休,进入 Python 3 时代。之后,关于 Python 4 的发布排期也成为了社区的热门议题

python入门之python简介

一、python了解python 是脚本语言。python 是一种面向对象的解释型计算机程序设计语言。语法简洁清晰,特色之一是强制用空白符作为语句缩进。优点:跨平台、胶水语言、开源免费、丰富的库 。缺点:运行速度慢、代码不能加密、场景、数据

最新的python,整整16个G,附零基础入门Python思维导图

思维导图是整理知识的一种非常有效的手段,这里分享几张 Python 基础学习的思维导图,可以帮助自己巩固下基础,有需要的小伙伴可以加紧时间收藏哦!获取方式:

什么是Python?为什么要学习Python?

第一期计算机等考二级程序设计科目的学习,我们从简单易学的Python开始,今天,就让我们揭开它神秘的面纱!我们先看三组数据:第一组呢是TIOBE指数排行,可以看到我们的Python在今年三月份排在了榜首的位置,相比去年的三月份,Python

Python:是!“用Python的,全是假程序员”!HR:太真实……

都说Python什么都能做,本来我是不信的!直到我在CSDN站内看到了一件真事儿:一位博主贴出了自己10分钟用Python搭建小说网站的全过程!全程只用了2步操作,简直太秀了!!……第一步:爬取小说数据库第二步:用Python的热门框架Dj

封神级Python开发核心知识点笔记!一篇带你学透Python

之前老看Java岗的一个朋友炫耀他的一份Java核心知识点笔记,当时,我内心毫无波澜,只有一点点酸……其实Python开发也有很多知识点,我一直一来就想要一份Python核心知识点笔记来帮助自己查漏补缺,后来想想,既然一直没有找到让我满意的

明年至少令Python提速2倍?Python之父给出爆料

去年 11 月,退休失败的 Python 之父 Guido van Rossum 在推特上宣布,退休生活太无聊,从而加入了微软开发者部门。微软自然支持优秀人才的发展,所以赋予了 Guido van Rossum “自由选择项目”的权利,Gu

Python入门教程:超详细1小时学会Python

小编贴心提醒,本文阅读时间9分钟1.Hello world安装完Python之后,打开IDLE(Python GUI) ,该程序是Python语言解释器,你写的语句能够立即运行。我们写下一句著名的程序语句:并按回车,你就能看到这句被K&R引

想学习Python不知从何学起?一份超详细Python入门资料,干货满满

Python是近年来非常火热的一门编程语言,Python 语言最大的特点就是简单,该特点主要体现在以下 2 个方面:1. Python 语言的语法非常简洁明了,即便是非软件专业的初学者,也很容易上手。2. 和其它编程语言相比,实现同一个功能

python入门基础教学,再不学python就晚了

经过了前一段时间的python学习,那么今天我们来学习一下字典,首先来看一个简单的字典:在python中,字典是一系列键-值对,每个键都与一个值相关联,例如前面的color和age就是键,yelllow和23就是他们分别对应的值对1.访问字

学习Python你一定要知道的知识Python解释器的作用和分类有哪些

之前已经讲解了Python解释器的下载和安装,现在就讲下解释器的作用和分类,在讲解任何Python代码之前我们得先知道解释器概念和作用,因为解释器扮演的角色是非常重要的。一、解释器的作用****作用:运行文件(运行代码)****Python

如何在PythonIDLE中查看Python中turtle库中所有方法及用法

在IDLE中点击help中的Python Docs找到“Python Docs”然后就进入Python文档的界面,在左边找到“搜索”按钮,并点击。找到“搜索”按钮在搜索框中搜索所需要的库名称或者函数名称,就能含有该关键词对应的文件。你会在这

7步搞定Python数据可视化,大牛出品教程,Jupyter、Colab版都有

郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI做图表,谁不会?打开Excel,自动就可以生成各种各样的图表。但你看这些图表呢?结合真实地理数据,展现美国每个县的失业率。全球自然灾害统计,类型、规模、时间,一目了然。甚至还有可爱

分析Python3中的bytes和str类型

从例子可以看出,s是个字符串类型。Python有个内置函数bytes()可以将字符串str类型转换成bytes类型,b实际上是一串01的组合,但为了在ide环境中让我们相对直观的观察,它被表现成了b’xe4xb8xadxe6x96

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈川崎机车网