實現C++與Python的通訊
## 更新:關於ctypes,見拙作 聊聊Python ctypes 模組 - 蛇之魅惑 - 知乎專欄
屬於混合程式設計的問題。較全面的介紹一下,不僅限於題主提出的問題。
以下討論中,Python指它的標準實現,即CPython(雖然不是很嚴格)
本文分4個部分
- C/C++ 呼叫 Python (基礎篇)— 僅討論Python官方提供的實現方式
- Python 呼叫 C/C++ (基礎篇)— 僅討論Python官方提供的實現方式
- C/C++ 呼叫 Python (高階篇)— 使用 Cython
- Python 呼叫 C/C++ (高階篇)— 使用 SWIG
1 C/C++ 呼叫 Python(基礎篇)
Python 本身就是一個C庫。你所看到的可執行體python只不過是個stub。真正的python實體在動態連結庫裡實現,在Windows平臺上,這個檔案位於 %SystemRoot%\System32\python27.dll。
你也可以在自己的程式中呼叫Python,看起來非常容易:
//my_python.c
#include <Python.h>
int main(int argc, char *argv[])
{
Py_SetProgramName(argv[0]);
Py_Initialize();
PyRun_SimpleString("print 'Hello Python!'\n");
Py_Finalize();
return 0;
}
在Windows平臺下,開啟Visual Studio命令提示符,編譯命令為cl my_python.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為gcc my_python.c -o my_python -I/usr/include/python2.7/ -lpython2.7
在Mac OS X 下的編譯命令同上產生可執行檔案後,直接執行,結果為輸出
Python庫函式PyRun_SimpleString可以執行字串形式的Python程式碼。Hello Python!
雖然非常簡單,但這段程式碼除了能用C語言動態生成一些Python程式碼之外,並沒有什麼用處。我們需要的是C語言的資料結構能夠和Python互動。
下面舉個例子,比如說,有一天我們用Python寫了一個功能特別強大的函式:
def great_function(a):
return a + 1
接下來要把它包裝成C語言的函式。我們期待的C語言的對應函式應該是這樣的:
int great_function_from_python(int a) {
int res;
// some magic
return res;
}
首先,複用Python模組得做‘import’,這裡也不例外。所以我們把great_function放到一個module裡,比如說,這個module名字叫 great_module.py
接下來就要用C來呼叫Python了,完整的程式碼如下:
#include <Python.h>
int great_function_from_python(int a) {
int res;
PyObject *pModule,*pFunc;
PyObject *pArgs, *pValue;
/* import */
pModule = PyImport_Import(PyString_FromString("great_module"));
/* great_module.great_function */
pFunc = PyObject_GetAttrString(pModule, "great_function");
/* build args */
pArgs = PyTuple_New(1);
PyTuple_SetItem(pArgs,0, PyInt_FromLong(a));
/* call */
pValue = PyObject_CallObject(pFunc, pArgs);
res = PyInt_AsLong(pValue);
return res;
}
從上述程式碼可以窺見Python內部執行的方式:- 所有Python元素,module、function、tuple、string等等,實際上都是PyObject。C語言裡操縱它們,一律使用PyObject *。
- Python的型別與C語言型別可以相互轉換。Python型別XXX轉換為C語言型別YYY要使用PyXXX_AsYYY函式;C型別YYY轉換為Python型別XXX要使用PyXXX_FromYYY函式。
- 也可以建立Python型別的變數,使用PyXXX_New可以建立型別為XXX的變數。
- 若a是Tuple,則a[i] = b對應於 PyTuple_SetItem(a,i,b),有理由相信還有一個函式PyTuple_GetItem完成取得某一項的值。
- 不僅Python語言很優雅,Python的庫函式API也非常優雅。
現在我們得到了一個C語言的函數了,可以寫一個main測試它
#include <Python.h>
int great_function_from_python(int a);
int main(int argc, char *argv[]) {
Py_Initialize();
printf("%d",great_function_from_python(2));
Py_Finalize();
}
編譯的方式就用本節開頭使用的方法。
在Linux/Mac OSX執行此示例之前,可能先需要設定環境變數:
bash:
export PYTHONPATH=.:$PYTHONPATH
csh:
setenv PYTHONPATH .:$PYTHONPATH
2 Python 呼叫 C/C++(基礎篇)
這種做法稱為Python擴充套件。
比如說,我們有一個功能強大的C函式:
int great_function(int a) {
return a + 1;
}
期望在Python裡這樣使用:>>> from great_module import great_function
>>> great_function(2)
3
考慮最簡單的情況。我們把功能強大的函式放入C檔案 great_module.c 中。#include <Python.h>
int great_function(int a) {
return a + 1;
}
static PyObject * _great_function(PyObject *self, PyObject *args)
{
int _a;
int res;
if (!PyArg_ParseTuple(args, "i", &_a))
return NULL;
res = great_function(_a);
return PyLong_FromLong(res);
}
static PyMethodDef GreateModuleMethods[] = {
{
"great_function",
_great_function,
METH_VARARGS,
""
},
{NULL, NULL, 0, NULL}
};
PyMODINIT_FUNC initgreat_module(void) {
(void) Py_InitModule("great_module", GreateModuleMethods);
}
除了功能強大的函式great_function外,這個檔案中還有以下部分:- 包裹函式_great_function。它負責將Python的引數轉化為C的引數(PyArg_ParseTuple),呼叫實際的great_function,並處理great_function的返回值,最終返回給Python環境。
- 匯出表GreateModuleMethods。它負責告訴Python這個模組裡有哪些函式可以被Python呼叫。匯出表的名字可以隨便起,每一項有4個引數:第一個引數是提供給Python環境的函式名稱,第二個引數是_great_function,即包裹函式。第三個引數的含義是引數變長,第四個引數是一個說明性的字串。匯出表總是以{NULL, NULL, 0, NULL}結束。
- 匯出函式initgreat_module。這個的名字不是任取的,是你的module名稱新增字首init。匯出函式中將模組名稱與匯出表進行連線。
在Windows下面,在Visual Studio命令提示符下編譯這個檔案的命令是
cl /LD great_module.c /o great_module.pyd -IC:\Python27\include C:\Python27\libs\python27.lib
/LD 即生成動態連結庫。編譯成功後在當前目錄可以得到 great_module.pyd(實際上是dll)。這個pyd可以在Python環境下直接當作module使用。
在Linux下面,則用gcc編譯:
gcc -fPIC -shared great_module.c -o great_module.so -I/usr/include/python2.7/ -lpython2.7
在當前目錄下得到great_module.so,同理可以在Python中直接使用。
本部分參考資料
用以上的方法實現C/C++與Python的混合程式設計,需要對Python的內部實現有相當的瞭解。接下來介紹當前較為成熟的技術Cython和SWIG。
3 C/C++ 呼叫 Python(使用Cython)
在前面的小節中談到,Python的資料型別和C的資料型別貌似是有某種“一一對應”的關係的,此外,由於Python(確切的說是CPython)本身是由C語言實現的,故Python資料型別之間的函式運算也必然與C語言有對應關係。那麼,有沒有可能“自動”的做替換,把Python程式碼直接變成C程式碼呢?答案是肯定的,這就是Cython主要解決的問題。
安裝Cython非常簡單。Python 2.7.9以上的版本已經自帶easy_install:
easy_install -U cython
在Windows環境下依然需要Visual Studio,由於安裝的過程需要編譯Cython的原始碼,故上述命令需要在Visual Studio命令提示符下完成。一會兒使用Cython的時候,也需要在Visual Studio命令提示符下進行操作,這一點和第一部分的要求是一樣的。繼續以例子說明:
#great_module.pyx
cdef public great_function(a,index):
return a[index]
這其中有非Python關鍵字cdef和public。這些關鍵字屬於Cython。由於我們需要在C語言中使用“編譯好的Python程式碼”,所以得讓great_function從外面變得可見,方法就是以“public”修飾。而cdef類似於Python的def,只有使用cdef才可以使用Cython的關鍵字public。這個函式中其他的部分與正常的Python程式碼是一樣的。
接下來編譯 great_module.pyx
cython great_module.pyx
得到great_module.h和great_module.c。開啟great_module.h可以找到這樣一句宣告:__PYX_EXTERN_C DL_IMPORT(PyObject) *great_function(PyObject *, PyObject *)
寫一個main使用great_function。注意great_function並不規定a是何種型別,它的功能只是提取a的第index的成員而已,故使用great_function的時候,a可以傳入Python String,也可以傳入tuple之類的其他可迭代型別。仍然使用之前提到的型別轉換函式PyXXX_FromYYY和PyXXX_AsYYY。//main.c
#include <Python.h>
#include "great_module.h"
int main(int argc, char *argv[]) {
PyObject *tuple;
Py_Initialize();
initgreat_module();
printf("%s\n",PyString_AsString(
great_function(
PyString_FromString("hello"),
PyInt_FromLong(1)
)
));
tuple = Py_BuildValue("(iis)", 1, 2, "three");
printf("%d\n",PyInt_AsLong(
great_function(
tuple,
PyInt_FromLong(1)
)
));
printf("%s\n",PyString_AsString(
great_function(
tuple,
PyInt_FromLong(2)
)
));
Py_Finalize();
}
編譯命令和第一部分相同:在Windows下編譯命令為
cl main.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為gcc main.c great_module.c -o main -I/usr/include/python2.7/ -lpython2.7
這個例子中我們使用了Python的動態型別特性。如果你想指定型別,可以利用Cython的靜態型別關鍵字。例子如下:#great_module.pyx
cdef public char great_function(const char * a,int index):
return a[index]
cython編譯後得到的.h裡,great_function的宣告是這樣的:__PYX_EXTERN_C DL_IMPORT(char) great_function(char const *, int);
很開心對不對!這樣的話,我們的main函式已經幾乎看不到Python的痕跡了:
//main.c
#include <Python.h>
#include "great_module.h"
int main(int argc, char *argv[]) {
Py_Initialize();
initgreat_module();
printf("%c",great_function("Hello",2));
Py_Finalize();
}
在這一部分的最後我們給一個看似實用的應用(僅限於Windows):還是利用剛才的great_module.pyx,準備一個dllmain.c:
#include <Python.h>
#include <Windows.h>
#include "great_module.h"
extern __declspec(dllexport) int __stdcall _great_function(const char * a, int b) {
return great_function(a,b);
}
BOOL WINAPI DllMain(HINSTANCE hinstDLL,DWORD fdwReason,LPVOID lpReserved) {
switch( fdwReason ) {
case DLL_PROCESS_ATTACH:
Py_Initialize();
initgreat_module();
break;
case DLL_PROCESS_DETACH:
Py_Finalize();
break;
}
return TRUE;
}
在Visual Studio命令提示符下編譯:cl /LD dllmain.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
會得到一個dllmain.dll。我們在Excel裡面使用它,沒錯,傳說中的Excel與Python混合程式設計:&lt;img data-rawheight="797" data-rawwidth="1007" src="https://pic2.zhimg.com/2f45c9f2f8407d46f51f203efc2e8181_b.png" class="origin_image zh-lightbox-thumb" width="1007" data-original="https://pic2.zhimg.com/2f45c9f2f8407d46f51f203efc2e8181_r.png"&gt;
參考資料:Cython的官方文件,質量非常高:
Welcome to Cython’s Documentation
4 Python呼叫C/C++(使用SWIG)
用C/C++對指令碼語言的功能擴充套件是非常常見的事情,Python也不例外。除了SWIG,市面上還有若干用於Python擴充套件的工具包,比較知名的還有Boost.Python、SIP等,此外,Cython由於可以直接整合C/C++程式碼,並方便的生成Python模組,故也可以完成擴充套件Python的任務。
答主在這裡選用SWIG的一個重要原因是,它不僅可以用於Python,也可以用於其他語言。如今SWIG已經支援C/C++的好基友Java,主流指令碼語言Python、Perl、Ruby、PHP、JavaScript、tcl、Lua,還有Go、C#,以及R。SWIG是基於配置的,也就是說,原則上一套配置改變不同的編譯方法就能適用各種語言(當然,這是理想情況了……)
SWIG的安裝方便,有Windows的預編譯包,解壓即用,綠色健康。主流Linux通常整合swig的包,也可以下載原始碼自己編譯,SWIG非常小巧,通常安裝不會出什麼問題。
用SWIG擴充套件Python,你需要有一個待擴充套件的C/C++庫。這個庫有可能是你自己寫的,也有可能是某個專案提供的。這裡舉一個不浮誇的例子:希望在Python中用到SSE4指令集的CRC32指令。
首先開啟指令集的文件:https://software.intel.com/en-us/node/514245
可以看到有6個函式。分析6個函式的原型,其引數和返回值都是簡單的整數。於是書寫SWIG的配置檔案(為了簡化起見,未包含2個64位函式):
/* File: mymodule.i */
%module mymodule
%{
#include "nmmintrin.h"
%}
int _mm_popcnt_u32(unsigned int v);
unsigned int _mm_crc32_u8 (unsigned int crc, unsigned char v);
unsigned int _mm_crc32_u16(unsigned int crc, unsigned short v);
unsigned int _mm_crc32_u32(unsigned int crc, unsigned int v);
接下來使用SWIG將這個配置檔案編譯為所謂Python Module Wrapperswig -python mymodule.i
得到一個 mymodule_wrap.c和一個mymodule.py。把它編譯為Python擴充套件:
Windows:
cl /LD mymodule_wrap.c /o _mymodule.pyd -IC:\Python27\include C:\Python27\libs\python27.lib
Linux:
gcc -fPIC -shared mymodule_wrap.c -o _mymodule.so -I/usr/include/python2.7/ -lpython2.7
注意輸出檔名前面要加一個下劃線。現在可以立即在Python下使用這個module了:
>>> import mymodule
>>> mymodule._mm_popcnt_u32(10)
2
回顧這個配置檔案分為3個部分:
- 定義module名稱mymodule,通常,module名稱要和檔名保持一致。
- %{ %} 包裹的部分是C語言的程式碼,這段程式碼會原封不動的複製到mymodule_wrap.c
- 欲匯出的函式簽名列表。直接從標頭檔案裡複製過來即可。
還記得本文第2節的那個great_function嗎?有了SWIG,事情就會變得如此簡單:
/* great_module.i */
%module great_module
%{
int great_function(int a) {
return a + 1;
}
%}
int great_function(int a);
換句話說,SWIG自動完成了諸如Python型別轉換、module初始化、匯出程式碼表生成的諸多工作。
對於C++,SWIG也可以應對。例如以下程式碼有C++類的定義:
//great_class.h
#ifndef GREAT_CLASS
#define GREAT_CLASS
class Great {
private:
int s;
public:
void setWall (int _s) {s = _s;};
int getWall () {return s;};
};
#endif // GREAT_CLASS
對應的SWIG配置檔案
/* great_class.i */
%module great_class
%{
#include "great_class.h"
%}
%include "great_class.h"
這裡不再重新敲一遍class的定義了,直接使用SWIG的%include指令
SWIG編譯時要加-c++這個選項,生成的副檔名為cxx
swig -c++ -python great_class.i
Windows下編譯:cl /LD great_class_wrap.cxx /o _great_class.pyd -IC:\Python27\include C:\Python27\libs\python27.lib
Linux,使用C++的編譯器
g++ -fPIC -shared great_class_wrap.cxx -o _great_class.so -I/usr/include/python2.7/ -lpython2.7
在Python互動模式下測試:>>> import great_class
>>> c = great_class.Great()
>>> c.setWall(5)
>>> c.getWall()
5
也就是說C++的class會直接對映到Python classSWIG非常強大,對於Python介面而言,簡單型別,甚至指標,都無需人工干涉即可自動轉換,而複雜型別,尤其是自定義型別,SWIG提供了typemap供轉換。而一旦使用了typemap,配置檔案將不再在各個語言當中通用。
參考資料:
SWIG的官方文件,質量比較高。SWIG Users Manual
有個對應的中文版官網,很多年沒有更新了。
寫在最後:
由於CPython自身的結構設計合理,使得Python的C/C++擴充套件非常容易。如果打算快速完成任務,Cython(C/C++呼叫Python)和SWIG(Python呼叫C/C++)是很不錯的選擇。但是,一旦涉及到比較複雜的轉換任務,無論是繼續使用Cython還是SWIG,仍然需要學習Python原始碼。
本文使用的開發環境:
Python 2.7.10
Cython 0.22
SWIG 3.0.6
Windows 10 x64 RTM
CentOS 7.1 AMD 64
Mac OSX 10.10.4
文中所述原理與具體環境適用性強。
文章所述程式碼均用於演示,缺乏必備的異常檢查
相關推薦
實現C++與Python的通訊
########## 以下所有文字均為答主手敲,轉載請註明出處和作者 ########## ## 更新:關於ctypes,見拙作 聊聊Python ctypes 模組 - 蛇之魅惑 - 知乎專欄 屬於混合程式設計的問題。較全面的介紹一下,不僅限於題主提出的問題。 以下討論中,Python指它的標準實現,即C
C#與python UDP打洞通訊
本標題的應用場景是C#系統服務端和基於linux的python裝置在不同的區域網下通訊,通常C#系統端在辦公室內部wifi下,裝置在室外利用4G上網。 打洞原理網上蠻多的,隨便一搜就是好多,實際將如何打洞的確很少。這裡需要理論的推薦一篇部落格,個人覺得寫的很好。 https://blog.csd
apollo實現c#與android消息推送(三)
class net names oid urn 服務 mbo target parse 3 實現c#消息推送服務 c#實現消息推送必須引入M2Mqtt.dll,源碼 a 連接apache apollo代理服務器的代碼。需要引入using uPLibrar
藉助事件匯流排框架(EventBus)實現Fragment與Activity通訊
最開始學Android的時候,Fragment與Activity之間的通訊一直是比較讓人頭疼的部分。 所謂通訊,其實就是要讓Activity裡的某些成員資訊與Fragment共享(或者相反)。一個方法是藉助回撥介面,Fragment裡定義一個介面由Activity實現,Fragment裡獲取Ac
在 Cef 中實現 C++ 與 JavaScript 互動場景分析
此文已由作者鄧佳佳授權網易雲社群釋出。 歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗 本文主要介紹 CEF 場景中 C++ 和 JavaScript 互動(以下簡稱 JS Bridge)中的一些重要節點,包括了 C++/JavaScript 的方法註冊、方法呼叫、回撥管理。以下是一些
分享一個C++與Python開發的中小型通用遊戲服務端框架(跨平臺,開源,適合MMORPG遊戲)
在開發一款遊戲專案時,在立項時我們往往會考慮或者糾結很多,比如: 1,對於開發來說:服務端和客戶端應該選擇什麼語言?用什麼協議通訊才更效率?協議後期如何維護?Socket是用長連線還是短連線?TCP還是UDP?客戶端資源、配置表、程式碼如何進行熱更新?等等。 2,對於策劃來說:配置表使用什麼比較方便?
使用C API 實現C調Python 和python調C
Python調C python 調C語言主要是將C程式碼編譯成so檔案,通過python端的ctypes匯入C庫使用C函式,簡單使用如下 void TestLib::hello(int a) { printf("hello world"); } extern "C
Fragment學習之使用介面回撥的方式實現Fragment與Activity通訊
Fragment與Fragment之間可以進行資訊傳遞,同樣,Fragment與Activity也可以進行資訊的傳遞。 下面是一個演示在Activity中獲取來自Fragment的資訊,使用介面回撥的方法在Activity中接收資訊 MainActivity.java:
工大助手(C#與python互動)
工大助手(爬蟲——C#與python互動) 基本內容 工大助手(桌面版) 實現登陸、查成績、計算加權平均分等功能 團隊人員 13070046 孫宇辰 13070003 張帆 13070004 崔巍 13070006 王奈 13070002 張雨帆 13070045 汪天米 工大教務爬蟲編寫(C#與py
實現C#和Python高效率混合程式設計
為什麼C#和Python要屢屢進行混合程式設計呢?之前我們提到了使用託管C++封裝Python的核心庫為一個託管dll,然後供C#呼叫的途徑,這種方式算是一種比較科學的方式。但是它仍然有兩個小的問題,一來,我們是封裝了Win平臺的Python,使用的是託管C++,這就側面說明
c++與python 資料型別對應
NPY_BOOL The enumeration value for the boolean type, stored as one byte. It may only be set to the values 0 and 1. NPY_BYTENPY_INT8 The enumeration value
swift 實現websocket與後臺通訊(swift 如何構建簡單的json字串)
swift 語言在國內流傳度不是很廣,初學者者想找相關資料很困難,想去國外找資料又被牆了,本人才疏學淺,記錄下一些學習過程中的經驗,希望看完對你也有所幫助! 一個應用不可避免要與伺服器進行通訊,主要有,http 與 socket。(相關概念請自行google) http暫時
好厲害的庫edge js 實現C 與node js互操作
封裝 task net div 特性 tel write null ofo 最近在網上閑逛,又發現個好東西,edge.js 這個庫可以讓node.js 調用 C# 的代碼,還可以讓 C# 調用node.js 的代碼,看到這裏,只問你服不服?反正我是很驚嘆了…… 不過
HC-05實現電腦與stm32通訊
藍芽在通訊中代替的是串列埠通訊時的一根線,所以在串列埠通訊改藍芽通訊時無需更改程式碼,只需將藍芽連到微控制器上,注意若使用usart1,注意連線位置,之前我用的正點mini的板子,PA9、10用跳線帽和USB串列埠R和T連在一起,導致我把藍芽的R和Tlian連
Android 通訊之EventBus實現廣播與Activity通訊
本章節講述 如何利用EventBus 實現Android廣播與Activity通訊 根據廣播接收到的內容更新Activity資料本章節中的廣播是極光推送操作別名和標籤的廣播程式碼1:@Override
C++ 與 Python 的介面:Cython的初次使用要點總結
我在用機器學習/深度學習對點雲進行分類時,需要對原始點雲資料進行增強(Data Aumentation),但原始點雲資料為PCD檔案,我後續還要用PCL點雲庫(C++)進行特徵提取等操作,因此就想在C++中進行。資料增強的程式碼當然也可以用C++寫,但想學習用一下Cython
VMware12虛擬機器實現上網與主機通訊
主機環境: windows10 64bit 虛擬機器版本: 12 虛擬機器: CentOS 7 /minimal 參考一些網路上各位大牛的文章,一步步的實現了上網與主機通訊的2個功能,為以後的模擬
C++與Flex通訊
環境:xp sp3,vs2008 c++控制檯,flex 4.6 一、C++伺服器端 #include <stdio.h> #include <Winsock2.h> #pragma comment(lib, "ws2_32.lib") #defi
乾貨|從決策樹到隨機森林:樹型演算法的實現原理與Python 示例
原文地址 基於樹(Tree based)的學習演算法在資料科學競賽中是相當常見的。這些演算法給預測模型賦予了準確性、穩定性以及易解釋性。和線性模型不同,它們對非線性關係也能進行很好的對映。常見的基於樹的模型有:決策樹、隨機森林和提升樹。 在本篇文章中,我們將會介紹決策
【Arduino】使用C#實現Arduino與電腦進行串行通訊
可視化 action 指示 追加 停止 format reads 接受 按鈕 在給Arduino編程的時候,因為沒有調試工具,經常要通過使用串口通訊的方式調用Serial.print和Serial.println輸出Arduino運行過程中的相關信息,然後在電腦上用Ardu