記錄學習neutron l3 HA實現的過程。

1.  router所在的所有節點的namespace中都會啟動keepalived服務，通過keepalived服務來控制節點的選舉：

keepalived的程序： keepalived -P -f /var/lib/neutron/ha_confs/d188f462-ae87-455d-9445-da00c842e78e/keepalived.conf -p /var/lib/neutron/ha_confs/d188f462-ae87-455d-9445-da00c842e78e.pid -r /var/lib/neutron/ha_confs/d188f462-ae87-455d-9445-da00c842e78e.pid-vrrp keepalived的配置檔案：  vrrp_instance VR_1 {     state BACKUP     interface ha-eca0c14d-f0     virtual_router_id 1     priority 50     nopreempt     advert_int 1     track_interface {         ha-eca0c14d-f0     }     virtual_ipaddress {         169.254.0.1/24 dev ha-eca0c14d-f0     }     virtual_ipaddress_excluded {         10.168.89.167/24 dev qg-eb9e70a6-0a         172.16.5.1/24 dev qr-ca16028e-41         fe80::f816:3eff:febb:31bc/64 dev qr-ca16028e-41 scope link         fe80::f816:3eff:fee8:4fda/64 dev qg-eb9e70a6-0a scope link     }     virtual_routes {         0.0.0.0/0 via 10.168.89.254 dev qg-eb9e70a6-0a     } } kilo neutron l3 ha的實現 主要圍繞以下幾個問題： 1. l3 agent的排程策略 2. keepalived 和 neutron-keepalived-state-change 服務是什麼時候建立的 3. keepalived 和 neutron-keepalived-state-change 如何實現l3 ha 4. l3 ha 通常會遇到的問題以及解決的辦法 neutron l3 相關的程式碼： 1. 配置檔案中配置了service_plugins 指定載入l3_router_plugin: service_plugins = neutron.services.l3_router.l3_router_plugin.L3RouterPlugin 其中plugin_type 設定成了constants.L3_ROUTER_NAT,   所以之後可以通過 manager.NeutronManager.get_service_plugins().get(service_constants.L3_ROUTER_NAT)來獲得這個plugin
2.  l3_router_plugin中定義了supported_extension_aliases = ["dvr", "router", "ext-gw-mode", "extraroute", "l3_agent_scheduler", "l3-ha"] 繼承的順序如下： common_db_mixin.CommonDbMixin, extraroute_db.ExtraRoute_db_mixin, l3_hamode_db.L3_HA_NAT_db_mixin, l3_gwmode_db.L3_NAT_db_mixin, l3_dvrscheduler_db.L3_DVRsch_db_mixin, l3_hascheduler_db.L3_HA_scheduler_db_mixin  一 建立router，執行的操作： 1. neutron server呼叫l3_hamode_db.L3_HA_NAT_db_mixin.create_router     1.1. 呼叫l3_db.L3_NAT_dbonly_mixin.create_router方法建立資料庫記錄     1.2. _create_ha_network如果當前沒有ha network會建立ha network和 ha subnet， 同時會建立ha network和tenant的關係： 表ha_router_networks     1.3. _set_vr_id設定vrid（virtual router id）會在keepalived中使用， 用於識別同一個租戶下的不同router，  vrid的返回是1 到 254， 所以一個tenant最多隻能建立254個router     1.4  _create_ha_interfaces 根據配置檔案的min_l3_agent_per_router 和 max_l3_agent_per_router 以及當前l3_agent的個數來在HA Network上建立port            同時給這些port和router做繫結關係， agent和state初始化為null（表： ha_router_agent_port_bindings）     1.5  _notify_ha_interfaces_update,             1.5.1： scheduler router， kilo中支援兩種排程策略（ChanceScheduler 和 LeastRouterScheduler）可以在neutron.conf中router_scheduler_driver指定。                         ChanceScheduler: 表示隨機分配策略                         LeastRouterScheduler:  表示最少router優先的策略                         其中schedule_router的過程中還會執行bind_router操作，這個操作其實是將ha_router_agent_port_binding表中的ha port分配給agent， 同時建立router和agent的關係（routerl3agentbindings）            1.5.2： rpc_cast, "routers_updated" 給這個router所分配的所有router 2. neutron l3 agent, agent/l3/agent.py       l3_agent的處理過程： L3NATAgent在初始化過程中會建立一個queue（queue裡面存各個router的事件）： self._queue = queue.RouterProcessingQueue()，     l3_agent會有一個迴圈不斷處理queue裡面的資料（_process_routers_loop）。如果處理過程中出現異常會觸發一次fullsync，保證這個l3_agent是最新的一個狀態。後面需要學習fullsync的過程。     routers_updated 所做的操作：     2.1  _process_router_if_compatible(檢查相容性)           2.1.1 檢查配置檔案中的external_network_bridge是否存在。          2.1.2 如果沒有指定use_namespaces，則l3_agent只能處理一個router，所以判斷更新事件的router_id和配置中的router_id是否一致。（這種情況可以忽略，現在一般都會用namespace）          2.1.3 如果router沒有指定external gateway，且該agent不支援internal router（配置檔案中：handle_internal_only_routers），丟擲RouterNotCompatibleWithAgent異常          2.1.4 之前的router_info中沒有存改router資訊執行_process_added_router, 否則_process_updated_router     2.2 _process_added_router(處理新增的router）          2.2.1 建立ha_router.HaRouter物件， 其中建立了namespaceManager 和iptablesManager          2.2.2 呼叫ha_router的initialize               2.2.2.1 router_info的initialize 建立namespace，同時setup lo設定以及設定namespace的網路轉發引數， sysctl -w net.ipv4.ip_forward=1               2.2.2.2 _init_keepalived_manager,  建立keepalivedManager，初始化一些keepalived的引數（比如，vrid、ha_subnet_cidr等），但是還沒有建立程序。               2.2.2.3 ha_network_added, 建立物理裝置（ha_port， tag是由哪個值決定的？），把它繫結到br-int上，並將它放到namespace裡面，同時配置相應的ip地址，169.254.192.x/18              $ ovs-vsctl --timeout=10 --oneline --format=json -- --if-exists del-port ha-255eb1bf-7d -- add-port  br-int ha-255eb1bf-7d -- set Interface ha-255eb1bf-7d type=internal external_ids:iface-id=255eb1bf-7ba7-41d7-bc36-029e541bedfd external_ids:iface-status=active external_ids:attached-mac=fa:16:3e:3d:3e:ce  這個居然會建立tag ？？ 應該是ovs-agent會建立相應的tag，得驗證， external_ids只是為了儲存資訊。               2.2.2.4 update_initial_state, 判斷是否keepalived的vip （vip的值怎麼決定的？初始化的時候哪個節點作為vip節點？vip是由第一個可用的cidr為24的範圍決定，初始化時所有的節點都為backup節點）在當前agent的ha設定上來判斷當前節點是master還是slave，同時會回撥ensure_state_change來設定狀態值。               2.2.2.5 spawn_state_change_monitor 建立neutron-keepalived-state-change程序， 引數包括router_id,  namespace ，conf_dir， monitor_interface, monitor_cidr, pid_file, state_path, user 以及group          2.2.3 呼叫ha_router的process               2.2.3.1  _ process_internal_ports,  處理router繫結的內部interface的port，剛建立的router還沒有繫結interface，所以忽略。               2.2.3.2  process_external， 處理floatingip的繫結，同時執行iptables相關的規則。               2.2.3.3  enable_keepalived, 啟動keepalived的程序。 直到這整個建立router的過程結束。 二 neutron-keepalived-state-change服務是怎麼判斷節點狀態的變化 1. 首先neutron-keepalived-state-change會啟動一個非同步程序(ip -o monitor address)去監聽router namespace下ip地址的變化 2. 遍歷所有地址的變化，有地址的增加則認為是master， 其它地址變化都是backup 3. 更改keepalived資料夾下的state檔案, state檔案儲存了router在當前agent的狀態（master/backup）。 4. 通過unix domain socket來通知l3_agent 服務節點狀態的變化。 （unix domain socket的server在初始化l3_agent的時候建立.ha.AgentMixin）

參考文件： https://wiki.openstack.org/wiki/Neutron/L3_High_Availability_VRRP