1、基本概念

cpu地址空間和pci地址空間是兩個常用的比較容易混淆的概念，特別是其中不同系列的cpu的實現還各不相同：x86系列cpu地址空間和pci地址空間是重合的，即為同一空間；而非x86 cpu的cpu地址空間和pci地址空間為兩個獨立的空間。
也許是因為pci匯流排是intel發明的，所以x86內部匯流排和pci匯流排實現是一致的，但非x86系列的cpu實現pci匯流排需要用到匯流排轉換。

1.1、非x86系列的CPU空間和PCI空間互訪(以PowerPC為例)：

因為PCI地址空間和CPU地址空間是獨立的，所以PCI裝置和CPU之間的互訪需要用到地址轉換。涉及到兩個概念，inbound和outbound。
Inbound視窗：即將CPU的一段地址空間對映到PCI地址空間上，供PCI裝置訪問CPU空間所用，即inbound視窗。因為對cpu來說pci訪問就是inbound訪問。
Outbound視窗：即將PCI的一段地址空間對映到CPU地址空間上，供CPU訪問PCI空間所用，即Outbound視窗。因為對cpu來說訪問pci空間就是outbound訪問。

1.2、x86系列的CPU空間和PCI空間互訪：

對x86 cpu來說，就沒有了cpu地址空間和pci地址空間之分，這兩個空間是重合的。所以pci外設和cpu之間的相互訪問就不需要設定地址轉換視窗：
Inbound訪問：pci裝置訪問cpu空間，這個不需要設定inbound視窗，對外設來說所有的地址空間都是可以訪問的。
Outbound訪問：cpu訪問pci外設，這個也還需要保留一段cpu地址給外設，讓外設的視窗能對映到這段空間來，即MMIO空間。有點類似於Outbound視窗，但是不需要地址轉換。

1.3、x86系列的IO空間和CFG空間：

由於x86 cpu對pci標準的完美支援，所以x86 cpu還支援pci的io空間訪問和pci的配置空間訪問:
io空間：pci標準規定的io地址空間最大可以有4G，但是x86只實現了64k的大小。io空間用來實現早期相容的外設暫存器的訪問（IO埠），和用來對映pci外設的io空間。
配置空間：用來訪問pci匯流排裝置的配置空間，而x86也把內部的暫存器組織成虛擬的pci裝置，使用訪問pci配置暫存器的方式來訪問內部暫存器。
訪問配置空間的方法有兩種：一是通過CF8/CFC io埠的間接訪問來訪問配置空間；二是通過mmcfg方式，把配置空間對映到memory空間來訪問。對每個配置空間來說，CF8/CFC方式只能訪問傳統的pci配置空間256位元組，而mmcfg訪問方式，能訪問pcie的整個配置空間4k。

2、x86 CPU地址空間分配

本節以系統的橋片為例，來說明x86系列cpu的地址空間分配。x86 其他系列cpu的地址空間分配類似。
x86 xeon系列cpu 在32位系統下面，通過PAE(Physical address Extension)機制可以訪問到36位的地址，即最大64G的空間。

2.1、0-1M 相容空間：

2.2、1M以上的memory地址空間：

2.3、x86 io地址空間：

x86只實現64k大小的io空間，其中低4k是相容的io空間用做專門用途，4k以上的io地址空間可以分配給外部裝置使用。

2.4、命令操作：

在linux下通過以下命令檢視cpu的地址空間分配：

• cat /proc/iomem 檢視cpu的pci memory空間分配
• cat /proc/ioports 檢視cpu的pci io空間分配

3、x86內部暫存器的訪問

除了一些是需要直接在memory空間訪問的暫存器。x86把大部分內部的暫存器組織成虛擬的pci裝置，使用訪問pci配置暫存器的方式來訪問內部暫存器。

訪問配置空間的方法有兩種：

• 一是通過CF8/CFC io埠的間接訪問來訪問配置空間；
• 二是通過mmcfg方式，把配置空間對映到memory空間來訪問。對每個配置空間來說，CF8/CFC方式只能訪問傳統的pci配置空間256位元組，而mmcfg訪問方式，能訪問pcie的整個配置空間4k。

linux核心態實現pci配置空間訪問的函式有以下：

static inline int pci_read_config_byte(struct pci_dev *dev, int where, u8 *val)
{
    return pci_bus_read_config_byte (dev->bus, dev->devfn, where, val);
}
static inline int pci_read_config_word(struct pci_dev *dev, int where, u16 *val)
{
    return pci_bus_read_config_word (dev->bus, dev->devfn, where, val);
}
static inline int pci_read_config_dword(struct pci_dev *dev, int where, u32 *val)
{
    return pci_bus_read_config_dword (dev->bus, dev->devfn, where, val);
}
static inline int pci_write_config_byte(struct pci_dev *dev, int where, u8 val)
{
    return pci_bus_write_config_byte (dev->bus, dev->devfn, where, val);
}
static inline int pci_write_config_word(struct pci_dev *dev, int where, u16 val)
{
    return pci_bus_write_config_word (dev->bus, dev->devfn, where, val);
}
static inline int pci_write_config_dword(struct pci_dev *dev, int where, u32 val)
{
    return pci_bus_write_config_dword (dev->bus, dev->devfn, where, val);
}

這些函式的內部實現，會判斷cpu是否進行了mmcfg對映。如果已經進行了mmcfg對映，則使用mmcfg模式訪問；如果沒有實現mmcfg，則使用CF8/CFC方式訪問。
具體的實現過程如下：

• 1、這些函式的定義在driver/pci/access.c，可以看到其中的關鍵是bus->ops指標:

#define PCI_OP_READ(size,type,len) \
int pci_bus_read_config_##size \
    (struct pci_bus *bus, unsigned int devfn, int pos, type *value) \
{                                   \
    int res;                            \
    unsigned long flags;                        \
    u32 data = 0;                           \
    if (PCI_##size##_BAD) return PCIBIOS_BAD_REGISTER_NUMBER;   \
    spin_lock_irqsave(&pci_lock, flags);                \
    res = bus->ops->read(bus, devfn, pos, len, &data);      \
    *value = (type)data;                        \
    spin_unlock_irqrestore(&pci_lock, flags);           \
    return res;                         \
}

#define PCI_OP_WRITE(size,type,len) \
int pci_bus_write_config_##size \
    (struct pci_bus *bus, unsigned int devfn, int pos, type value)  \
{                                   \
    int res;                            \
    unsigned long flags;                        \
    if (PCI_##size##_BAD) return PCIBIOS_BAD_REGISTER_NUMBER;   \
    spin_lock_irqsave(&pci_lock, flags);                \
    res = bus->ops->write(bus, devfn, pos, len, value);     \
    spin_unlock_irqrestore(&pci_lock, flags);           \
    return res;                         \
}

PCI_OP_READ(byte, u8, 1)
PCI_OP_READ(word, u16, 2)
PCI_OP_READ(dword, u32, 4)
PCI_OP_WRITE(byte, u8, 1)
PCI_OP_WRITE(word, u16, 2)
PCI_OP_WRITE(dword, u32, 4)

• 2、bus->ops的實現由arch/i386/pci/common.c中的pci_root_ops結構提供，pci_root_ops結構實際呼叫的是raw_pci_ops結構：

static int pci_read(struct pci_bus *bus, unsigned int devfn, int where, int size, u32 *value)
{
    return raw_pci_ops->read(0, bus->number, devfn, where, size, value);
}

static int pci_write(struct pci_bus *bus, unsigned int devfn, int where, int size, u32 value)
{
    return raw_pci_ops->write(0, bus->number, devfn, where, size, value);
}

struct pci_ops pci_root_ops = {
    .read = pci_read,
    .write = pci_write,
};

• 3、raw_pci_ops的mmcfg模式實現在arch/i386/pci/mmconfig.c中定義：

static int pci_mmcfg_read(unsigned int seg, unsigned int bus,
              unsigned int devfn, int reg, int len, u32 *value)
{
    unsigned long flags;
    u32 base;

    if (!value || (bus > 255) || (devfn > 255) || (reg > 4095))
        return -EINVAL;

    base = get_base_addr(seg, bus, devfn);
    if (!base)
        return pci_conf1_read(seg,bus,devfn,reg,len,value);

    spin_lock_irqsave(&pci_config_lock, flags);

    pci_exp_set_dev_base(base, bus, devfn);

    switch (len) {
    case 1:
        *value = readb(mmcfg_virt_addr + reg);
        break;
    case 2:
        *value = readw(mmcfg_virt_addr + reg);
        break;
    case 4:
        *value = readl(mmcfg_virt_addr + reg);
        break;
    }

    spin_unlock_irqrestore(&pci_config_lock, flags);

    return 0;
}

static int pci_mmcfg_write(unsigned int seg, unsigned int bus,
               unsigned int devfn, int reg, int len, u32 value)
{
    unsigned long flags;
    u32 base;

    if ((bus > 255) || (devfn > 255) || (reg > 4095)) 
        return -EINVAL;

    base = get_base_addr(seg, bus, devfn);
    if (!base)
        return pci_conf1_write(seg,bus,devfn,reg,len,value);

    spin_lock_irqsave(&pci_config_lock, flags);

    pci_exp_set_dev_base(base, bus, devfn);

    switch (len) {
    case 1:
        writeb(value, mmcfg_virt_addr + reg);
        break;
    case 2:
        writew(value, mmcfg_virt_addr + reg);
        break;
    case 4:
        writel(value, mmcfg_virt_addr + reg);
        break;
    }

    spin_unlock_irqrestore(&pci_config_lock, flags);

    return 0;
}

• 4、raw_pci_ops的CF8/CFC方式訪問模式實現在arch/i386/pci/mmconfig.c中定義：

int pci_conf1_read(unsigned int seg, unsigned int bus,
              unsigned int devfn, int reg, int len, u32 *value)
{
    unsigned long flags;

    if (!value || (bus > 255) || (devfn > 255) || (reg > 255))
        return -EINVAL;

    spin_lock_irqsave(&pci_config_lock, flags);

    outl(PCI_CONF1_ADDRESS(bus, devfn, reg), 0xCF8);

    switch (len) {
    case 1:
        *value = inb(0xCFC + (reg & 3));
        break;
    case 2:
        *value = inw(0xCFC + (reg & 2));
        break;
    case 4:
        *value = inl(0xCFC);
        break;
    }

    spin_unlock_irqrestore(&pci_config_lock, flags);

    return 0;
}

int pci_conf1_write(unsigned int seg, unsigned int bus,
               unsigned int devfn, int reg, int len, u32 value)
{
    unsigned long flags;

    if ((bus > 255) || (devfn > 255) || (reg > 255)) 
        return -EINVAL;

    spin_lock_irqsave(&pci_config_lock, flags);

    outl(PCI_CONF1_ADDRESS(bus, devfn, reg), 0xCF8);

    switch (len) {
    case 1:
        outb((u8)value, 0xCFC + (reg & 3));
        break;
    case 2:
        outw((u16)value, 0xCFC + (reg & 2));
        break;
    case 4:
        outl((u32)value, 0xCFC);
        break;
    }

    spin_unlock_irqrestore(&pci_config_lock, flags);

    return 0;
}