關於Netlink多播機制的用法

        在上一篇博文中我們所遇到的情況都是使用者空間作為訊息程序的發起者，Netlink還支援核心作為訊息的傳送方的情況。這一般用於核心主動向使用者空間報告一些核心狀態，例如我們在使用者空間看到的USB的熱插拔事件的通告就是這樣的應用。

       先說一下我們的目標，核心執行緒每個一秒鐘往一個多播組裡傳送一條訊息，然後使用者空間所以加入了該組的程序都會收到這樣的訊息，並將訊息內容打印出來。

       Netlink地址結構體中的nl_groups是32位，也就是說每種Netlink協議最多支援32個多播組。如何理解這裡所說的每種Netlink

協議？在/include/linux/netlink.h>裡預定義的如下協議都是Netlink協議簇的具體協議，還有我們新增的NETLINK_TEST也是一種Netlink協議。

點選(此處)摺疊或開啟

1. #define NETLINK_ROUTE        0    /* Routing/device hook                */
   
2. #define NETLINK_UNUSED        1    /* Unused number                */
   
3. #define NETLINK_USERSOCK    2    /* Reserved for user mode socket protocols     *
   /
   
4. #define NETLINK_FIREWALL    3    /* Firewalling hook                */
   
5. #define NETLINK_INET_DIAG    4    /* INET socket monitoring            */
   
6. #define NETLINK_NFLOG        5    /* netfilter/iptables ULOG */
   
7. #define NETLINK_XFRM        6    /* ipsec */
   
8. #define NETLINK_SELINUX        7    /* SELinux event notifications *
   /
   
9. #define NETLINK_ISCSI        8    /* Open-iSCSI */
   
10. #define NETLINK_AUDIT        9    /* auditing */
    
11. #define NETLINK_FIB_LOOKUP    10    
    
12. #define NETLINK_CONNECTOR    11
    
13. #define NETLINK_NETFILTER    12    /* netfilter subsystem */
    
14. #define NETLINK_IP6_FW        13
    
15. #define NETLINK_DNRTMSG        14    /* DECnet routing messages */
    
16. #define NETLINK_KOBJECT_UEVENT    15    /* Kernel messages to userspace */
    
17. #define NETLINK_GENERIC        16
    
18. /* leave room for NETLINK_DM (DM Events) */
    
19. #define NETLINK_SCSITRANSPORT    18    /* SCSI Transports */
    
20. #define NETLINK_ECRYPTFS    19
    
21. #define NETLINK_TEST 20 /* 使用者新增的自定義協議 */

       在我們自己新增的NETLINK_TEST協議裡，同樣地，最多允許我們設定32個多播組，每個多播組用1個位元表示，所以不同的多播組不可能出現重複。你可以根據自己的實際需求，決定哪個多播組是用來做什麼的。使用者空間的程序如果對某個多播組感興趣，那麼它就加入到該組中，當核心空間的程序往該組傳送多播訊息時，所有已經加入到該多播組的使用者程序都會收到該訊息。

       再回到我們Netlink地址結構體裡的nl_groups成員，它是多播組的地址掩碼，注意是掩碼不是多播組的組號。如何根據多播組號取得多播組號的掩碼呢？在af_netlink.c中有個函式：

點選(此處)摺疊或開啟

1. static u32 netlink_group_mask(u32 group)
   
2. {
   
3.     return group ? 1 << (group - 1) : 0;
   
4. }

       也就是說，在使用者空間的程式碼裡，如果我們要加入到多播組1，需要設定nl_groups設定為1；多播組2的掩碼為2；多播組3的掩碼為4，依次類推。為0表示我們不希望加入任何多播組。理解這一點很重要。所以我們可以在使用者空間也定義一個類似於netlink_group_mask()的功能函式，完成從多播組號到多播組掩碼的轉換。終端使用者空間的程式碼如下：

點選(此處)摺疊或開啟

1. #include <sys/stat.h>
   
2. #include <unistd.h>
   
3. #include <stdio.h>
   
4. #include <stdlib.h>
   
5. #include <sys/socket.h>
   
6. #include <sys/types.h>
   
7. #include <string.h>
   
8. #include <asm/types.h>
   
9. #include <linux/netlink.h>
   
10. #include <linux/socket.h>
    
11. #include <errno.h>
    
12. #define MAX_PAYLOAD 1024 // Netlink訊息的最大載荷的長度
    
13. unsigned int netlink_group_mask(unsigned int group)
    
14. {
    
15.     return group ? 1 << (group - 1) : 0;
    
16. }
    
17. int main(int argc, char* argv[])
    
18. {
    
19.     struct sockaddr_nl src_addr;
    
20.     struct nlmsghdr *nlh = NULL;
    
21.     struct iovec iov;
    
22.     struct msghdr msg;
    
23.     int sock_fd, retval;
    
24.     // 建立Socket
    
25.     sock_fd = socket(PF_NETLINK, SOCK_RAW, NETLINK_TEST);
    
26.     if(sock_fd == -1){
    
27.         printf("error getting socket: %s", strerror(errno));
    
28.         return -1;
    
29.     }
    
30.     memset(&src_addr, 0, sizeof(src_addr));
    
31.     src_addr.nl_family = PF_NETLINK;
    
32.     src_addr.nl_pid = 0; // 表示我們要從核心接收多播訊息。注意：該欄位為0有雙重意義，另一個意義是表示我們傳送的資料的目的地址是核心。
    
33.     src_addr.nl_groups = netlink_group_mask(atoi(argv[1])); // 多播組的掩碼，組號來自我們執行程式時輸入的第一個引數
    
34.     // 因為我們要加入到一個多播組，所以必須呼叫bind()。
    
35.     retval = bind(sock_fd, (struct sockaddr*)&src_addr, sizeof(src_addr));
    
36.     if(retval < 0){
    
37.         printf("bind failed: %s", strerror(errno));
    
38.         close(sock_fd);
    
39.         return -1;
    
40.     }
    
41.     // 為接收Netlink訊息申請儲存空間
    
42.     nlh = (struct nlmsghdr *)malloc(NLMSG_SPACE(MAX_PAYLOAD));
    
43.     if(!nlh){
    
44.         printf("malloc nlmsghdr error!\n");
    
45.         close(sock_fd);
    
46.         return -1;
    
47.     }
    
48.     memset(nlh, 0, NLMSG_SPACE(MAX_PAYLOAD));
    
49.     iov.iov_base = (void *)nlh;
    
50.     iov.iov_len = NLMSG_SPACE(MAX_PAYLOAD);
    
51.     memset(&msg, 0, sizeof(msg));
    
52.     msg.msg_iov = &iov;
    
53.     msg.msg_iovlen = 1;
    
54.     // 從核心接收訊息
    
55.     printf("waitinf for...\n");
    
56.     recvmsg(sock_fd, &msg, 0);
    
57.     printf("Received message: %s \n", NLMSG_DATA(nlh));
    
58.     close(sock_fd);
    
59.     return 0;
    
60. }

       可以看到，使用者空間的程式基本沒什麼變化，唯一需要格外注意的就是Netlink地址結構體中的nl_groups的設定。由於對它的解釋很少，加之沒有有效的文件，所以我也是一邊看原始碼，一邊在網上搜集資料。有分析不當之處，還請大家幫我指出。

       核心空間我們添加了核心執行緒和核心執行緒同步方法completion的使用。核心空間修改後的程式碼如下：

點選(此處)摺疊或開啟

1. #include <linux/kernel.h>
   
2. #include <linux/module.h>
   
3. #include <linux/skbuff.h>
   
4. #include <linux/init.h>
   
5. #include <linux/ip.h>
   
6. #include <linux/types.h>
   
7. #include <linux/sched.h>
   
8. #include <net/sock.h>
   
9. #include <net/netlink.h>
   
10. MODULE_LICENSE("GPL");
    
11. MODULE_AUTHOR("Koorey King");
    
12. struct sock *nl_sk = NULL;
    
13. static struct task_struct *mythread = NULL; //核心執行緒物件
    
14. //向用戶空間傳送訊息的介面
    
15. void sendnlmsg(char *message/*,int dstPID*/)
    
16. {
    
17.     struct sk_buff *skb;
    
18.     struct nlmsghdr *nlh;
    
19.     int len = NLMSG_SPACE(MAX_MSGSIZE);
    
20.     int slen = 0;
    
21.     if(!message || !nl_sk){
    
22.         return;
    
23.     }
    
24.     // 為新的 sk_buffer申請空間
    
25.     skb = alloc_skb(len, GFP_KERNEL);
    
26.     if(!skb){
    
27.         printk(KERN_ERR "my_net_link: alloc_skb Error./n");
    
28.         return;
    
29.     }
    
30.     slen = strlen(message)+1;
    
31.     //用nlmsg_put()來設定netlink訊息頭部
    
32.     nlh = nlmsg_put(skb, 0, 0, 0, MAX_MSGSIZE, 0);
    
33.     // 設定Netlink的控制塊裡的相關資訊
    
34.     NETLINK_CB(skb).pid = 0; // 訊息傳送者的id標識，如果是核心發的則置0
    
35.     NETLINK_CB(skb).dst_group = 5; //多播組號為5，但置成0好像也可以。
    
36.     message[slen] = '\0';
    
37.     memcpy(NLMSG_DATA(nlh), message, slen+1);
    
38.     //通過netlink_unicast()將訊息傳送使用者空間由dstPID所指定了程序號的程序
    
39. //netlink_unicast(nl_sk,skb,dstPID,0);
    
40.     netlink_broadcast(nl_sk, skb, 0,5, GFP_KERNEL); //傳送多播訊息到多播組5，這裡我故意沒有用1之類的“常見”值，目的就是為了證明我們上面提到的多播組號和多播組號掩碼之間的對應關係
    
41.     printk("send OK!\n");
    
42.     return;
    
43. }
    
44. //每隔1秒鐘傳送一條“I am from kernel!”訊息，共發10個報文
    
45. static int sending_thread(void *data)
46. {
    
47.      int i = 10;
    
48.      struct completion cmpl;
    
49.      while(i--){
    
50.             init_completion(&cmpl);
    
51.             wait_for_completion_timeout(&cmpl, 1 * HZ);
    
52.             sendnlmsg("I am from kernel!");
    
53.      }
    
54.      printk("sending thread exited!");
    
55.      return 0;
    
56. }
    
57. static int __init myinit_module()
    
58. {
    
59.     printk("my netlink in\n");
    
60.     nl_sk = netlink_kernel_create(NETLINK_TEST,0,NULL,THIS_MODULE);
    
61.     if(!nl_sk){
    
62.         printk(KERN_ERR "my_net_link: create netlink socket error.\n");
    
63.         return 1;
    
64.     }
    
65.     printk("my netlink: create netlink socket ok.\n");
    
66.     mythread = kthread_run(sending_thread,NULL,"thread_sender");
    
67.     return 0;
    
68. }
    
69. static void __exit mycleanup_module()
    
70. {
    
71.     if(nl_sk != NULL){
    
72.         sock_release(nl_sk->sk_socket);
    
73. }
    
74. printk("my netlink out!\n");
    
75. }
    
76. module_init(myinit_module);
    
77. module_exit(mycleanup_module);

       關於核心中netlink_kernel_create(int unit, unsigned int groups,…)函式裡的第二個引數指的是我們核心程序最多能處理的多播組的個數，如果該值小於32，則預設按32處理，所以在呼叫netlink_kernel_create()函式時可以不用糾結第二個引數，一般將其置為0就可以了。

       在skbuff{}結構體中，有個成員叫做"控制塊"，原始碼對它的解釋如下：

點選(此處)摺疊或開啟

1. struct sk_buff {
   
2.     /* These two members must be first. */
   
3.     struct sk_buff        *next;
   
4.     struct sk_buff        *prev;
   
5.     … …
   
6.     /*
   
7.      * This is the control buffer. It is free to use for every
   
8.      * layer. Please put your private variables there. If you
   
9.      * want to keep them across layers you have to do a skb_clone()
   
10.      * first. This is owned by whoever has the skb queued ATM.
    
11.      */
    
12.     char            cb[48];
    
13.     … …
14. }

       當核心態的Netlink傳送資料到使用者空間時一般需要填充skbuff的控制塊，填充的方式是通過強制型別轉換，將其轉換成struct netlink_skb_parms{}之後進行填充賦值的：

點選(此處)摺疊或開啟

1. struct netlink_skb_parms
   
2. {
   
3.     struct ucred        creds;        /* Skb credentials    */
   
4.     __u32            pid;
   
5.     __u32            dst_group;
   
6.     kernel_cap_t        eff_cap;
   
7.     __u32            loginuid;    /* Login (audit) uid */
   
8.     __u32            sid;        /* SELinux security id */
   
9. };

       填充時的模板程式碼如下：

點選(此處)摺疊或開啟

1. NETLINK_CB(skb).pid=xx;
   
2. NETLINK_CB(skb).dst_group=xx;

       這裡要注意的是在Netlink協議簇裡提到的skbuff的cb控制塊裡儲存的是屬於Netlink的私有資訊。怎麼講，就是Netlink會用該控制塊裡的資訊來完成它所提供的一些功能，只是完成Netlink功能所必需的一些私有資料。打個比方，以開車為例，開車的時候我們要做的就是打火、控制方向盤、適當地控制油門和剎車，車就開動了，這就是汽車提供給我們的“功能”。汽車的發動機，輪胎，傳動軸，以及所用到的螺絲螺栓等都屬於它的“私有”資料cb。汽車要執行起來這些東西是不可或缺的，但它們之間的協作和互動對使用者來說又是透明的。就好比我們Netlink的私有控制結構struct netlink_skb_parms{}一樣。

       目前我們的例子中，將NETLINK_CB(skb).dst_group設定為相應的多播組號和0效果都是一樣，使用者空間都可以收到該多播訊息，原因還不是很清楚，還請Netlink的大蝦們幫我點撥點撥。

       編譯後重新執行，最後的測試結果如下：

       注意，這裡一定要先執行insmod載入核心模組，然後再執行使用者空間的程式。如果沒有載入mynlkern.ko而直接執行./test 5在bind()系統呼叫時會報如下的錯誤：

       bind failed: No such file or directory

       因為網上有寫文章在講老版本Netlink的多播時用法時先執行了使用者空間的程式，然後才載入核心模組，現在(2.6.21)已經行不通了，這一點請大家注意。

       小結：通過這三篇博文我們對Netlink有了初步的認識，並且也可以開發基於Netlink的基本應用程式。但這只是冰山一角，要想寫出高質量、高效率的軟體模組還有些差距，特別是對Netlink本質的理解還需要提高一個層次，當然這其中牽扯到核心程式設計的很多基本功，如臨界資源的互斥、執行緒安全性保護、用Netlink傳遞大資料時的處理等等都是開發人員需要考慮的問題。

       完。

<script>window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdMiniList":false,"bdPic":"","bdStyle":"0","bdSize":"16"},"share":{}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];</script> 閱讀(4948) | 評論(4) | 轉發(27) | 給主人留下些什麼吧！~~

xitry2016-01-24 15:36:45

膜拜，這篇文章幫了我大忙了

回覆 | 舉報

2015-10-17 11:25:09

看好貼不會不禮貌，大哥你的部落格寫的真好，通俗易懂！！！！多謝。。。

回覆 | 舉報

2014-02-25 22:10:56

真的是，好文章呀。看來向koorey兄看齊的話，還有很長很長的路要走

回覆 | 舉報

2012-11-20 14:52:53

mark

回覆 | 舉報 評論熱議