1. 程式人生 > >實現C++與Python的通訊

實現C++與Python的通訊

########## 以下所有文字均為答主手敲,轉載請註明出處和作者 ##########
## 更新:關於ctypes,見拙作 聊聊Python ctypes 模組 - 蛇之魅惑 - 知乎專欄

屬於混合程式設計的問題。較全面的介紹一下,不僅限於題主提出的問題。
以下討論中,Python指它的標準實現,即CPython(雖然不是很嚴格)

本文分4個部分
  1. C/C++ 呼叫 Python (基礎篇)— 僅討論Python官方提供的實現方式
  2. Python 呼叫 C/C++ (基礎篇)— 僅討論Python官方提供的實現方式
  3. C/C++ 呼叫 Python (高階篇)— 使用 Cython
  4. Python 呼叫 C/C++ (高階篇)— 使用 SWIG
練習本文中的例子,需要搭建Python擴充套件開發環境。具體細節見
搭建Python擴充套件開發環境 - 蛇之魅惑 - 知乎專欄


1 C/C++ 呼叫 Python(基礎篇)
Python 本身就是一個C庫。你所看到的可執行體python只不過是個stub。真正的python實體在動態連結庫裡實現,在Windows平臺上,這個檔案位於 %SystemRoot%\System32\python27.dll。

你也可以在自己的程式中呼叫Python,看起來非常容易:

//my_python.c
#include <Python.h>

int main(int argc, char *argv[])
{
  Py_SetProgramName(argv[0]);
Py_Initialize(); PyRun_SimpleString("print 'Hello Python!'\n"); Py_Finalize(); return 0; }
在Windows平臺下,開啟Visual Studio命令提示符,編譯命令為
cl my_python.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc my_python.c -o my_python -I/usr/include/python2.7/ -lpython2.7
在Mac OS X 下的編譯命令同上

產生可執行檔案後,直接執行,結果為輸出
Hello Python!
Python庫函式PyRun_SimpleString可以執行字串形式的Python程式碼。

雖然非常簡單,但這段程式碼除了能用C語言動態生成一些Python程式碼之外,並沒有什麼用處。我們需要的是C語言的資料結構能夠和Python互動。

下面舉個例子,比如說,有一天我們用Python寫了一個功能特別強大的函式:

def great_function(a):
    return a + 1

接下來要把它包裝成C語言的函式。我們期待的C語言的對應函式應該是這樣的:

int great_function_from_python(int a) {
    int res; 
    // some magic
    return res;
}

首先,複用Python模組得做‘import’,這裡也不例外。所以我們把great_function放到一個module裡,比如說,這個module名字叫 great_module.py

接下來就要用C來呼叫Python了,完整的程式碼如下:
#include <Python.h>

int great_function_from_python(int a) {
    int res;
    PyObject *pModule,*pFunc;
    PyObject *pArgs, *pValue;
    
    /* import */
    pModule = PyImport_Import(PyString_FromString("great_module"));

    /* great_module.great_function */
    pFunc = PyObject_GetAttrString(pModule, "great_function"); 
    
    /* build args */
    pArgs = PyTuple_New(1);
    PyTuple_SetItem(pArgs,0, PyInt_FromLong(a));
      
    /* call */
    pValue = PyObject_CallObject(pFunc, pArgs);
    
    res = PyInt_AsLong(pValue);
    return res;
}
從上述程式碼可以窺見Python內部執行的方式:
  • 所有Python元素,module、function、tuple、string等等,實際上都是PyObject。C語言裡操縱它們,一律使用PyObject *。
  • Python的型別與C語言型別可以相互轉換。Python型別XXX轉換為C語言型別YYY要使用PyXXX_AsYYY函式;C型別YYY轉換為Python型別XXX要使用PyXXX_FromYYY函式。
  • 也可以建立Python型別的變數,使用PyXXX_New可以建立型別為XXX的變數。
  • 若a是Tuple,則a[i] = b對應於 PyTuple_SetItem(a,i,b),有理由相信還有一個函式PyTuple_GetItem完成取得某一項的值。
  • 不僅Python語言很優雅,Python的庫函式API也非常優雅。

現在我們得到了一個C語言的函數了,可以寫一個main測試它

#include <Python.h>

int great_function_from_python(int a); 

int main(int argc, char *argv[]) {
    Py_Initialize();
    printf("%d",great_function_from_python(2));
    Py_Finalize();
}

編譯的方式就用本節開頭使用的方法。

在Linux/Mac OSX執行此示例之前,可能先需要設定環境變數:

bash:

export PYTHONPATH=.:$PYTHONPATH

csh:

setenv PYTHONPATH .:$PYTHONPATH

2 Python 呼叫 C/C++(基礎篇)
這種做法稱為Python擴充套件。
比如說,我們有一個功能強大的C函式:
int great_function(int a) {
    return a + 1;
}
期望在Python裡這樣使用:
>>> from great_module import great_function 
>>> great_function(2)
3
考慮最簡單的情況。我們把功能強大的函式放入C檔案 great_module.c 中。
#include <Python.h>

int great_function(int a) {
    return a + 1;
}

static PyObject * _great_function(PyObject *self, PyObject *args)
{
    int _a;
    int res;

    if (!PyArg_ParseTuple(args, "i", &_a))
        return NULL;
    res = great_function(_a);
    return PyLong_FromLong(res);
}

static PyMethodDef GreateModuleMethods[] = {
    {
        "great_function",
        _great_function,
        METH_VARARGS,
        ""
    },
    {NULL, NULL, 0, NULL}
};

PyMODINIT_FUNC initgreat_module(void) {
    (void) Py_InitModule("great_module", GreateModuleMethods);
}
除了功能強大的函式great_function外,這個檔案中還有以下部分:
  • 包裹函式_great_function。它負責將Python的引數轉化為C的引數(PyArg_ParseTuple),呼叫實際的great_function,並處理great_function的返回值,最終返回給Python環境。
  • 匯出表GreateModuleMethods。它負責告訴Python這個模組裡有哪些函式可以被Python呼叫。匯出表的名字可以隨便起,每一項有4個引數:第一個引數是提供給Python環境的函式名稱,第二個引數是_great_function,即包裹函式。第三個引數的含義是引數變長,第四個引數是一個說明性的字串。匯出表總是以{NULL, NULL, 0, NULL}結束。
  • 匯出函式initgreat_module。這個的名字不是任取的,是你的module名稱新增字首init。匯出函式中將模組名稱與匯出表進行連線。

在Windows下面,在Visual Studio命令提示符下編譯這個檔案的命令是

cl /LD great_module.c /o great_module.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

/LD 即生成動態連結庫。編譯成功後在當前目錄可以得到 great_module.pyd(實際上是dll)。這個pyd可以在Python環境下直接當作module使用。


在Linux下面,則用gcc編譯:

gcc -fPIC -shared great_module.c -o great_module.so -I/usr/include/python2.7/ -lpython2.7

在當前目錄下得到great_module.so,同理可以在Python中直接使用。


本部分參考資料


用以上的方法實現C/C++與Python的混合程式設計,需要對Python的內部實現有相當的瞭解。接下來介紹當前較為成熟的技術Cython和SWIG。

3 C/C++ 呼叫 Python(使用Cython)

在前面的小節中談到,Python的資料型別和C的資料型別貌似是有某種“一一對應”的關係的,此外,由於Python(確切的說是CPython)本身是由C語言實現的,故Python資料型別之間的函式運算也必然與C語言有對應關係。那麼,有沒有可能“自動”的做替換,把Python程式碼直接變成C程式碼呢?答案是肯定的,這就是Cython主要解決的問題。

安裝Cython非常簡單。Python 2.7.9以上的版本已經自帶easy_install:
easy_install -U cython
在Windows環境下依然需要Visual Studio,由於安裝的過程需要編譯Cython的原始碼,故上述命令需要在Visual Studio命令提示符下完成。一會兒使用Cython的時候,也需要在Visual Studio命令提示符下進行操作,這一點和第一部分的要求是一樣的。

繼續以例子說明:
#great_module.pyx
cdef public great_function(a,index):
    return a[index]
這其中有非Python關鍵字cdef和public。這些關鍵字屬於Cython。由於我們需要在C語言中使用“編譯好的Python程式碼”,所以得讓great_function從外面變得可見,方法就是以“public”修飾。而cdef類似於Python的def,只有使用cdef才可以使用Cython的關鍵字public。

這個函式中其他的部分與正常的Python程式碼是一樣的。

接下來編譯 great_module.pyx
cython great_module.pyx
得到great_module.h和great_module.c。開啟great_module.h可以找到這樣一句宣告:
__PYX_EXTERN_C DL_IMPORT(PyObject) *great_function(PyObject *, PyObject *)
寫一個main使用great_function。注意great_function並不規定a是何種型別,它的功能只是提取a的第index的成員而已,故使用great_function的時候,a可以傳入Python String,也可以傳入tuple之類的其他可迭代型別。仍然使用之前提到的型別轉換函式PyXXX_FromYYY和PyXXX_AsYYY。

//main.c
#include <Python.h>
#include "great_module.h"

int main(int argc, char *argv[]) {
    PyObject *tuple;
    Py_Initialize();
    initgreat_module();
    printf("%s\n",PyString_AsString(
                great_function(
                    PyString_FromString("hello"),
                    PyInt_FromLong(1)
                )
            ));
    tuple = Py_BuildValue("(iis)", 1, 2, "three");
    printf("%d\n",PyInt_AsLong(
                great_function(
                    tuple,
                    PyInt_FromLong(1)
                )
            ));
    printf("%s\n",PyString_AsString(
                great_function(
                    tuple,
                    PyInt_FromLong(2)
                )
            ));
    Py_Finalize();
}
編譯命令和第一部分相同:
在Windows下編譯命令為
cl main.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
在Linux下編譯命令為
gcc main.c great_module.c -o main -I/usr/include/python2.7/ -lpython2.7
這個例子中我們使用了Python的動態型別特性。如果你想指定型別,可以利用Cython的靜態型別關鍵字。例子如下:

#great_module.pyx
cdef public char great_function(const char * a,int index):
    return a[index]
cython編譯後得到的.h裡,great_function的宣告是這樣的:
__PYX_EXTERN_C DL_IMPORT(char) great_function(char const *, int);
很開心對不對!
這樣的話,我們的main函式已經幾乎看不到Python的痕跡了:
//main.c
#include <Python.h>
#include "great_module.h"

int main(int argc, char *argv[]) {
    Py_Initialize();
    initgreat_module();
    printf("%c",great_function("Hello",2));
    Py_Finalize();
}
在這一部分的最後我們給一個看似實用的應用(僅限於Windows):
還是利用剛才的great_module.pyx,準備一個dllmain.c:
#include <Python.h>
#include <Windows.h>
#include "great_module.h"

extern __declspec(dllexport) int __stdcall _great_function(const char * a, int b) {
    return great_function(a,b);
}

BOOL WINAPI DllMain(HINSTANCE hinstDLL,DWORD fdwReason,LPVOID lpReserved) {
    switch( fdwReason ) { 
        case DLL_PROCESS_ATTACH:
            Py_Initialize();
            initgreat_module();
            break;
        case DLL_PROCESS_DETACH:
            Py_Finalize();
            break;
    }
    return TRUE;
}
在Visual Studio命令提示符下編譯:
cl /LD dllmain.c great_module.c -IC:\Python27\include C:\Python27\libs\python27.lib
會得到一個dllmain.dll。我們在Excel裡面使用它,沒錯,傳說中的Excel與Python混合程式設計
&amp;lt;img data-rawheight=&quot;797&quot; data-rawwidth=&quot;1007&quot; src=&quot;https://pic2.zhimg.com/2f45c9f2f8407d46f51f203efc2e8181_b.png&quot; class=&quot;origin_image zh-lightbox-thumb&quot; width=&quot;1007&quot; data-original=&quot;https://pic2.zhimg.com/2f45c9f2f8407d46f51f203efc2e8181_r.png&quot;&amp;gt;
參考資料:Cython的官方文件,質量非常高:
Welcome to Cython’s Documentation

4 Python呼叫C/C++(使用SWIG)

用C/C++對指令碼語言的功能擴充套件是非常常見的事情,Python也不例外。除了SWIG,市面上還有若干用於Python擴充套件的工具包,比較知名的還有Boost.Python、SIP等,此外,Cython由於可以直接整合C/C++程式碼,並方便的生成Python模組,故也可以完成擴充套件Python的任務。

答主在這裡選用SWIG的一個重要原因是,它不僅可以用於Python,也可以用於其他語言。如今SWIG已經支援C/C++的好基友Java,主流指令碼語言Python、Perl、Ruby、PHP、JavaScript、tcl、Lua,還有Go、C#,以及R。SWIG是基於配置的,也就是說,原則上一套配置改變不同的編譯方法就能適用各種語言(當然,這是理想情況了……)

SWIG的安裝方便,有Windows的預編譯包,解壓即用,綠色健康。主流Linux通常整合swig的包,也可以下載原始碼自己編譯,SWIG非常小巧,通常安裝不會出什麼問題。

用SWIG擴充套件Python,你需要有一個待擴充套件的C/C++庫。這個庫有可能是你自己寫的,也有可能是某個專案提供的。這裡舉一個不浮誇的例子:希望在Python中用到SSE4指令集的CRC32指令。

首先開啟指令集的文件:software.intel.com/en-u
可以看到有6個函式。分析6個函式的原型,其引數和返回值都是簡單的整數。於是書寫SWIG的配置檔案(為了簡化起見,未包含2個64位函式):

/* File: mymodule.i */
%module mymodule

%{
#include "nmmintrin.h"
%}

int _mm_popcnt_u32(unsigned int v);
unsigned int _mm_crc32_u8 (unsigned int crc, unsigned char v);
unsigned int _mm_crc32_u16(unsigned int crc, unsigned short v);
unsigned int _mm_crc32_u32(unsigned int crc, unsigned int v);
接下來使用SWIG將這個配置檔案編譯為所謂Python Module Wrapper

swig -python mymodule.i

得到一個 mymodule_wrap.c和一個mymodule.py。把它編譯為Python擴充套件:

Windows:

cl /LD mymodule_wrap.c /o _mymodule.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

Linux:

gcc -fPIC -shared mymodule_wrap.c -o _mymodule.so -I/usr/include/python2.7/ -lpython2.7
注意輸出檔名前面要加一個下劃線。
現在可以立即在Python下使用這個module了:

>>> import mymodule
>>> mymodule._mm_popcnt_u32(10)
2

回顧這個配置檔案分為3個部分:
  1. 定義module名稱mymodule,通常,module名稱要和檔名保持一致。
  2. %{ %} 包裹的部分是C語言的程式碼,這段程式碼會原封不動的複製到mymodule_wrap.c
  3. 欲匯出的函式簽名列表。直接從標頭檔案裡複製過來即可。

還記得本文第2節的那個great_function嗎?有了SWIG,事情就會變得如此簡單:

/* great_module.i */
%module great_module
%{
int great_function(int a) {
    return a + 1;
}
%}
int great_function(int a);

換句話說,SWIG自動完成了諸如Python型別轉換、module初始化、匯出程式碼表生成的諸多工作。


對於C++,SWIG也可以應對。例如以下程式碼有C++類的定義:

//great_class.h
#ifndef GREAT_CLASS
#define GREAT_CLASS
class Great {
    private:
        int s;
    public:
        void setWall (int _s) {s = _s;};
        int getWall () {return s;};
};
#endif // GREAT_CLASS

對應的SWIG配置檔案

/* great_class.i */
%module great_class
%{
#include "great_class.h"
%}
%include "great_class.h"

這裡不再重新敲一遍class的定義了,直接使用SWIG的%include指令

SWIG編譯時要加-c++這個選項,生成的副檔名為cxx

swig -c++ -python great_class.i
Windows下編譯:
cl /LD great_class_wrap.cxx /o _great_class.pyd -IC:\Python27\include C:\Python27\libs\python27.lib

Linux,使用C++的編譯器

g++ -fPIC -shared great_class_wrap.cxx -o _great_class.so  -I/usr/include/python2.7/ -lpython2.7
在Python互動模式下測試:
>>> import great_class
>>> c = great_class.Great()
>>> c.setWall(5)
>>> c.getWall()
5
也就是說C++的class會直接對映到Python class

SWIG非常強大,對於Python介面而言,簡單型別,甚至指標,都無需人工干涉即可自動轉換,而複雜型別,尤其是自定義型別,SWIG提供了typemap供轉換。而一旦使用了typemap,配置檔案將不再在各個語言當中通用。

參考資料:
SWIG的官方文件,質量比較高。SWIG Users Manual
有個對應的中文版官網,很多年沒有更新了。

寫在最後:
由於CPython自身的結構設計合理,使得Python的C/C++擴充套件非常容易。如果打算快速完成任務,Cython(C/C++呼叫Python)和SWIG(Python呼叫C/C++)是很不錯的選擇。但是,一旦涉及到比較複雜的轉換任務,無論是繼續使用Cython還是SWIG,仍然需要學習Python原始碼。

本文使用的開發環境:
Python 2.7.10
Cython 0.22
SWIG 3.0.6
Windows 10 x64 RTM
CentOS 7.1 AMD 64
Mac OSX 10.10.4
文中所述原理與具體環境適用性強。

文章所述程式碼均用於演示,缺乏必備的異常檢查

相關推薦

實現C++Python通訊

########## 以下所有文字均為答主手敲,轉載請註明出處和作者 ########## ## 更新:關於ctypes,見拙作 聊聊Python ctypes 模組 - 蛇之魅惑 - 知乎專欄 屬於混合程式設計的問題。較全面的介紹一下,不僅限於題主提出的問題。 以下討論中,Python指它的標準實現,即C

C#python UDP打洞通訊

本標題的應用場景是C#系統服務端和基於linux的python裝置在不同的區域網下通訊,通常C#系統端在辦公室內部wifi下,裝置在室外利用4G上網。 打洞原理網上蠻多的,隨便一搜就是好多,實際將如何打洞的確很少。這裡需要理論的推薦一篇部落格,個人覺得寫的很好。 https://blog.csd

apollo實現c#android消息推送(三)

class net names oid urn 服務 mbo target parse 3 實現c#消息推送服務 c#實現消息推送必須引入M2Mqtt.dll,源碼 a 連接apache apollo代理服務器的代碼。需要引入using uPLibrar

藉助事件匯流排框架(EventBus)實現FragmentActivity通訊

最開始學Android的時候,Fragment與Activity之間的通訊一直是比較讓人頭疼的部分。 所謂通訊,其實就是要讓Activity裡的某些成員資訊與Fragment共享(或者相反)。一個方法是藉助回撥介面,Fragment裡定義一個介面由Activity實現,Fragment裡獲取Ac

在 Cef 中實現 C++ JavaScript 互動場景分析

此文已由作者鄧佳佳授權網易雲社群釋出。 歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗 本文主要介紹 CEF 場景中 C++ 和 JavaScript 互動(以下簡稱 JS Bridge)中的一些重要節點,包括了 C++/JavaScript 的方法註冊、方法呼叫、回撥管理。以下是一些

分享一個C++Python開發的中小型通用遊戲服務端框架(跨平臺,開源,適合MMORPG遊戲)

在開發一款遊戲專案時,在立項時我們往往會考慮或者糾結很多,比如:   1,對於開發來說:服務端和客戶端應該選擇什麼語言?用什麼協議通訊才更效率?協議後期如何維護?Socket是用長連線還是短連線?TCP還是UDP?客戶端資源、配置表、程式碼如何進行熱更新?等等。   2,對於策劃來說:配置表使用什麼比較方便?

使用C API 實現C調Pythonpython調C

Python調C python 調C語言主要是將C程式碼編譯成so檔案,通過python端的ctypes匯入C庫使用C函式,簡單使用如下 void TestLib::hello(int a) { printf("hello world"); } extern "C

Fragment學習之使用介面回撥的方式實現FragmentActivity通訊

Fragment與Fragment之間可以進行資訊傳遞,同樣,Fragment與Activity也可以進行資訊的傳遞。 下面是一個演示在Activity中獲取來自Fragment的資訊,使用介面回撥的方法在Activity中接收資訊 MainActivity.java:

工大助手(C#python互動)

工大助手(爬蟲——C#與python互動) 基本內容 工大助手(桌面版) 實現登陸、查成績、計算加權平均分等功能 團隊人員 13070046 孫宇辰 13070003 張帆 13070004 崔巍 13070006 王奈 13070002 張雨帆 13070045 汪天米 工大教務爬蟲編寫(C#與py

實現C#和Python高效率混合程式設計

為什麼C#和Python要屢屢進行混合程式設計呢?之前我們提到了使用託管C++封裝Python的核心庫為一個託管dll,然後供C#呼叫的途徑,這種方式算是一種比較科學的方式。但是它仍然有兩個小的問題,一來,我們是封裝了Win平臺的Python,使用的是託管C++,這就側面說明

c++python 資料型別對應

NPY_BOOL The enumeration value for the boolean type, stored as one byte. It may only be set to the values 0 and 1. NPY_BYTENPY_INT8 The enumeration value

swift 實現websocket後臺通訊(swift 如何構建簡單的json字串)

swift 語言在國內流傳度不是很廣,初學者者想找相關資料很困難,想去國外找資料又被牆了,本人才疏學淺,記錄下一些學習過程中的經驗,希望看完對你也有所幫助! 一個應用不可避免要與伺服器進行通訊,主要有,http 與 socket。(相關概念請自行google) http暫時

好厲害的庫edge js 實現C node js互操作

封裝 task net div 特性 tel write null ofo 最近在網上閑逛,又發現個好東西,edge.js 這個庫可以讓node.js 調用 C# 的代碼,還可以讓 C# 調用node.js 的代碼,看到這裏,只問你服不服?反正我是很驚嘆了…… 不過

HC-05實現電腦stm32通訊

        藍芽在通訊中代替的是串列埠通訊時的一根線,所以在串列埠通訊改藍芽通訊時無需更改程式碼,只需將藍芽連到微控制器上,注意若使用usart1,注意連線位置,之前我用的正點mini的板子,PA9、10用跳線帽和USB串列埠R和T連在一起,導致我把藍芽的R和Tlian連

Android 通訊之EventBus實現廣播Activity通訊

本章節講述 如何利用EventBus 實現Android廣播與Activity通訊  根據廣播接收到的內容更新Activity資料本章節中的廣播是極光推送操作別名和標籤的廣播程式碼1:@Override

C++ Python 的介面:Cython的初次使用要點總結

我在用機器學習/深度學習對點雲進行分類時,需要對原始點雲資料進行增強(Data Aumentation),但原始點雲資料為PCD檔案,我後續還要用PCL點雲庫(C++)進行特徵提取等操作,因此就想在C++中進行。資料增強的程式碼當然也可以用C++寫,但想學習用一下Cython

VMware12虛擬機器實現上網主機通訊

主機環境: windows10 64bit 虛擬機器版本: 12 虛擬機器: CentOS 7 /minimal 參考一些網路上各位大牛的文章,一步步的實現了上網與主機通訊的2個功能,為以後的模擬

C++Flex通訊

環境:xp sp3,vs2008 c++控制檯,flex 4.6 一、C++伺服器端 #include <stdio.h> #include <Winsock2.h> #pragma comment(lib, "ws2_32.lib") #defi

乾貨|從決策樹到隨機森林:樹型演算法的實現原理Python 示例

原文地址 基於樹(Tree based)的學習演算法在資料科學競賽中是相當常見的。這些演算法給預測模型賦予了準確性、穩定性以及易解釋性。和線性模型不同,它們對非線性關係也能進行很好的對映。常見的基於樹的模型有:決策樹、隨機森林和提升樹。 在本篇文章中,我們將會介紹決策

【Arduino】使用C#實現Arduino電腦進行串行通訊

可視化 action 指示 追加 停止 format reads 接受 按鈕 在給Arduino編程的時候,因為沒有調試工具,經常要通過使用串口通訊的方式調用Serial.print和Serial.println輸出Arduino運行過程中的相關信息,然後在電腦上用Ardu