首先我們看一個城市的成交頁面：https://sh.lianjia.com/chengjiao/pg2/

擁有非常多的條件組合，同時最大顯示頁數為100頁，如果希望獲取100頁之外的，那就只能拆分搜尋條件了。

知道了條件組合 以及最大頁數之後，那麼問題來了，上面如果希望檢視詳情的話就需要下載APP，那麼APP是必須下載的嗎？

通過檢視html原始碼可以發現，房屋的圖片 有詳情頁的連結，從而可以避免下載APP了。

採集程式的大致思路就出來了，

首先是整理條件組合，區域+面積+房型差不多就夠用了

其次是採集列表

最後是採集詳情。

那麼在採集之前，首先是先建立好資料庫表結構，如下：

CREATE TABLE `lianjiaOtherCheng`
 
 (
  `code` varchar(100) NOT NULL COMMENT '鏈家編號',
  `firstArea` varchar(100) DEFAULT NULL COMMENT '第一區域 城市',
  `firstAreaEn` varchar(10) DEFAULT NULL COMMENT '城市拼音',
  `secondArea` varchar(100) DEFAULT NULL COMMENT '第二區域 區',
  `thirdArea` varchar(100) DEFAULT NULL COMMENT '第三區域',
  `projectName` varchar(500) DEFAULT
 
 NULL COMMENT '專案名稱',
  `chengjiaoshijian` varchar(50) DEFAULT NULL COMMENT '成交時間',
  `zongjia` decimal(11,2) DEFAULT NULL COMMENT '成交總價',
  `zongjiadanwei` varchar(50) DEFAULT NULL COMMENT '總價單位',
  `zongjiaStr` varchar(50) DEFAULT NULL COMMENT '總價 帶單位',
  `chengjiaofangshi` varchar(50) DEFAULT NULL COMMENT
 
 '成交方式',
  `danjia` decimal(11,2) DEFAULT NULL COMMENT '單價',
  `danjiadanwei` varchar(50) DEFAULT NULL COMMENT '單價單位',
  `danjiaStr` varchar(50) DEFAULT NULL COMMENT '單價 帶單位',
  `touxiang` varchar(500) DEFAULT NULL COMMENT '頭像圖片',
  `guapaijiage` varchar(50) DEFAULT NULL COMMENT '掛牌價格（萬）',
  `chengjiaozhouqi` varchar(50) DEFAULT NULL COMMENT '成交週期（天）',
  `tiaojia` varchar(50) DEFAULT NULL COMMENT '調價（次）',
  `daikan` varchar(50) DEFAULT NULL COMMENT '帶看（次）',
  `guanzhu` varchar(50) DEFAULT NULL COMMENT '關注（人）',
  `liulan` varchar(50) DEFAULT NULL COMMENT '瀏覽（次）',
  `fangwuhuxing` varchar(50) DEFAULT NULL COMMENT '房屋戶型',
  `suozailouceng` varchar(50) DEFAULT NULL COMMENT '所在樓層',
  `jianzhumianji` varchar(50) DEFAULT NULL COMMENT '建築面積',
  `huxingjiegou` varchar(50) DEFAULT NULL COMMENT '戶型結構',
  `taoneimianji` varchar(50) DEFAULT NULL COMMENT '套內面積',
  `jianzhuleixing` varchar(50) DEFAULT NULL COMMENT '建築型別',
  `fangwuchaoxiang` varchar(50) DEFAULT NULL COMMENT '房屋朝向',
  `jianchengniandai` varchar(50) DEFAULT NULL COMMENT '建築年代',
  `zhuangxiuqingkuang` varchar(50) DEFAULT NULL COMMENT '裝修情況',
  `jianzhujiegou` varchar(50) DEFAULT NULL COMMENT '建築結構',
  `gongnuanfangshi` varchar(50) DEFAULT NULL COMMENT '供暖方式',
  `tihubili` varchar(50) DEFAULT NULL COMMENT '梯戶比例',
  `chanquannianxian` varchar(50) DEFAULT NULL COMMENT '產權年限',
  `peibeidianti` varchar(50) DEFAULT NULL COMMENT '配備電梯',
  `jiaoyiquanshu` varchar(50) DEFAULT NULL COMMENT '交易權屬',
  `guapaishijian` varchar(50) DEFAULT NULL COMMENT '掛牌時間',
  `fangwuyongtu` varchar(50) DEFAULT NULL COMMENT '房屋用途',
  `fangwunianxian` varchar(50) DEFAULT NULL COMMENT '房屋年限',
  `fangquansuoshu` varchar(50) DEFAULT NULL COMMENT '房權所屬',
  `lishichengjiao` text COMMENT '歷史成交 分號分割',
  `baiduLat` varchar(50) DEFAULT NULL COMMENT '百度緯度',
  `baiduLng` varchar(50) DEFAULT NULL COMMENT '百度經度',
  `gaodeLat` varchar(50) DEFAULT NULL COMMENT '高德緯度',
  `gaodeLng` varchar(50) DEFAULT NULL COMMENT '高德經度',
  `createTime` date DEFAULT NULL COMMENT '抓取日期',
  PRIMARY KEY (`code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='除北京外鏈家二手房成交記錄'

兩個經緯度這塊是我們自己新增的。網頁中顯示的是百度經緯度。

之後就開始寫程式碼了。程式碼太多，請參考：https://qianjieyun.com/new_14CAC3214C8272F32708BA0B2098912C.html