如何光明正大搜集競爭對手數據？

來源：矽谷密探

ID：guigudiyixian

矽谷密探是海外第一科技媒體、以深度產品報導為核心，獨家採訪為特色，溝通中國和矽谷、探秘全球科技精華。

-----------------------------正文------------------------------

中國古話說的好，“知己知彼，百戰百勝”，這用到國外的公司也是同樣的道理。小探今天就來跟你說說，大公司，尤其是電子商務領域的大公司們是如何搜集競爭對手數據的？

先來看看美國的在線零售商的幾大巨頭都有誰。

根據 Techcrunch 去年的一篇報導，亞馬遜無疑已經是佔據了美國電子商務的半壁江山，其它零售商像沃爾瑪、Home Depot、Best Buy 的份額都遠遠小於亞馬遜了。

但這並不意味著後來者主動放棄競爭向上的機會。

路透社在 2017 年就曾報導過，沃爾瑪依靠計算機程序掃描競爭對手網站上的價格，以便相應地調整其價格列表。因為價格差50美分就可能意味著你的消費者就去別家買了。（嗯，沒錯，精明，是哪個國家消費者都有的事！）

當然，大公司並不是你想搜集，就能搜集的。事實上，亞馬遜的發言人就表示，該公司已經意識到有競爭對手使用機器人檢查其價格列表，並“殘忍地”拒絕了任何機器人類的“活動”。

（截自路透社新聞報導）

那到底有沒有辦法，繞開亞馬遜的檢查，順利爬取它的數據呢？當然！幾個亞馬遜前員工，就希望反大公司而行之，幫助客戶，搜集大公司的數據。更準確說，“抓取你競爭對手的網上數據，無論是你本身是大公司，還是小公司。”

這就是最近小探從伯克利孵化器 Skydeck 採訪到的一家初創公司 Bungee 在做的。Skydeck 孵化器此前小探已經有介紹過，它是全美首個公立研究型大學的校內加速器計劃。它孵化的初創企業多數是已有工作經驗的人，在校生相對較少。

光明正大地搜集數據

就電子商務領域來說，亞馬遜由機器人驅動的定價已經代表了零售業的巨大變化。電子商務跟實體店的一個巨大不同是：你的價格可以一天變化好幾次。而亞馬遜總是有最低價，就是因為它能時刻追蹤競爭對手的價格變化。

這是怎麽做到的呢？主要是零售商通過其庫存水準、銷售預測和競爭對手的定價數據，用算法幫助進行價格的更新。正因為是算法驅動的，每天甚至可以更新多次。

如果沒有像亞馬遜或者沃爾瑪這樣用機器人來搜集數據的話，那就只能動用其它武器了：比如虛擬專用網（VPN）、代理、P2P 網絡等，再加上龐大的開發運營，就為了手動挖掘對手的數據。

那如果用機器人來搜集數據的話，一般又是怎麽做的呢？

據 Bungee 產品經理 Calrence Chang 介紹，抓取的行為多半是通過機器代碼進行的。這也是為什麽只要網上一搜“爬數據”（crawl data），出來的都是如何用代碼進行爬數據。用機器爬數據雖然快，但很容易被“反爬”，這也是為什麽亞馬遜能夠識別“機器人”的行為，然後進行阻止。

2017年秋季開始，Bungee 的兩位創始人Rajat Nigam 和 Charles Ding 就開始研究，到底有沒可能自動輕鬆搜集數據，而且還不被對方的機器人發現呢？

按照 Bungee 產品經理 Clarence Chang 的說法，創始人“是希望能有一種工具，可以簡化全球規模的網絡數據收集，各種代理、VPN和其他傳統技術都不需要了。就光明正大地互相收集數據吧！”

讓機器人假裝成人，就不會被發現了

如今，Bungee 已經成功開發出了一種 API，讓 API 可以比任何當前服務更大規模地滿足爬取數據（crawl data）的請求，同時還保持接近完美的爬取成功率。

到底是怎麽做到的呢？

很簡單，機器人容易被對方機器人發現進而阻止，但人就不會啊！那扮成“正常的消費者”不就好了！

試想一下，如果你自己在網上瀏覽各種產品信息的話，一般是怎麽做的？是不是先搜索一下這個產品，進入電商頁面後，還會上下滑動頁面，回到主頁再比較一下不同的價格，甚至會看看點評？

事實上，Bungee 就是這樣做的。Clarence告訴小探，如果是機器的話，一般是一個固定的IP地址，進入網站後，就不斷地點擊產品鏈接，獲取價格數據。但是，Bungee 通過“模擬”人在挑選頁面的動作，比如停留的秒數，滑動的次數等，從而讓機器做到像“人類”一樣“購物”。如今，Bungee 的成功率高達 90%，也就是說，只有10%的可能性會被機器人發現了。

這樣“爬數據”，競爭對手一旦知道了，會不會反應很激烈呢？

Clarence 認為，實際上，爬數據已經是“公開的秘密”了。商業領域時刻都在進行這樣的事情，因為你總是需要了解競爭對手的，大公司也不會告訴你“我們已經在做這件事”了。

當前，Bungee 服務的客戶主要面向的是電商、機票以及酒店領域，這些都是典型消費者最關注價格的應用場景。“這樣，消費者就能獲得最好的價格了。”

Clarence 還透露，其實連我們平時不太留意的求職市場，也存在著眾多機會。像美國當前求職市場裡面，LinkedIn、Indeed、Glassdoor等 ，都難免存在相同的求職信息，這其實就是競爭對手互相“複製”導致的。

無需防火牆，300個城市任你選

不知大家有沒有試過，如果買一張從美國出發到中國的機票，你在美國買和在中國買，價格是不一樣的，至少小探就試過。（所以每回買回國機票，小探難免還得回國內各大機票官網瞄一眼！）

這也是銷售商最典型的銷售策略：越發達國家，可以承受同樣東西的價格就越貴……（銷售商內心OS：發達國家錢多，當然要賺多點啊！）

Bungee 的另一大技術優勢就出現了，即使你想要查找同一款產品在不同國家的價格數據，又或者是只在同一個國家、不同城市的價格數據，都可以！

“這有助於我們的客戶迅速了解全球的價格數據，而不再是僅僅某個國家的數據。” Clarence告訴小探，這主要是通過 Bungee 伺服器在全球有30多個國家，以及300多個城市的終端做到的，從而幫助客戶獲取基於地理位置數據的價格。

那麽，現在 Bungee 的客戶都有哪些呢？據 Clarence 透露，現在 Bungee 已有2個大客戶，其中一個是電子商務領域的客戶，另一個是財富 50 強客戶，是一家專做市場研究的印度企業。

Bungee 最終能提供給客戶的是什麽呢？很簡單，競爭對手數據。獲得數據有兩種方式，第一種方式，是給客戶提供API（應用程序編程接口），客戶可以通過自己的開發人員，從中獲取任何想要的數據；第二種方式，提供數據包，比如客戶想要某個郵編區域銷售電子器材的電商的價格數據，無論是沃爾瑪，還是Sears百貨，Bungee提供的銷售文檔裡面，就包括產品價格、運輸情況、客戶的評價等。如今，每天，Bungee 能夠對1500 萬件產品進行分析！

此外，Bungee 還提供基於 Chrome、Firefox 瀏覽器的插件版本，讓客戶搜集數據更加方便。登錄 Bungee 账戶後，選擇你想要假裝在的地方，比如你現在在加州的伯克利，但你想要假裝在美國的佛羅裡達州，又或者說加拿大的多倫多，都是可以的。

下一步：從搜集數據到分析數據

研究機構 IDC 曾預測， 到2025年預計全世界每年將創造163個zettabytes（ 1兆千兆字節） 的數據 。小探此前曾報導過，美國大約每年花費 250 億美元在人工收集數據上。

無論是數據擁有者，還是數據分析者，都試圖在這樣龐大的數字市場當中分一杯羹。“數據是到處都有的，但你如何收集收據，用好數據，這正是企業所期盼的。” Bungee 告訴小探，當前第一步確實是從收集數據開始，但是，隨著數據的增加，Bungee 希望用自己的深度學習等算法技術，對數據進行分析，提煉出更多洞察在其中，向用戶出售更多有價值的數據。

Bungee 希望服務的，不僅僅是大公司，也有眾多小型公司，從10人到500人的公司，都是可以提供 SaaS 服務的。

試想一下，如果某個國內企業想要在亞馬遜上售賣自己的產品，比如鞋子，但是可能一開始是不知道如何定價的，如果通過 Bungee 獲取了某雙鞋子的價格、其它公司如何做促銷的、假期如何影響銷量等關鍵信息後，或許就知道如何定價、如何促銷了。

分析競爭對手的龐大帝國

小探發現，捕捉競爭對手動態的公司已有不少，甚至已經形成一個完整的產業鏈。不同的初創公司正在試圖通過多種渠道解決，到底企業該如何分析你的競爭對手，分析競爭對手的哪些部分並加以利用。

綜合性競爭對手分析

競爭對手的閱聽人分析

Brandwatch：這家英國的創業公司著重於在社交平台關注競爭對手的閱聽人，主要監控競爭對手的社交媒體輸出。企業可以分析並查看對手的閱聽人特徵、以及他們共享的內容。甚至可以下載粉絲作為列表，通過像 Twitter 廣告之類來定位類似的閱聽人。這家公司融資6470萬美元，利潤8960萬美元。

SEO和關鍵詞分析工具

SpyFu，亞利桑那州這家公司 可以顯示競爭對手在谷歌 AdWords 中購買的每個關鍵字，以及過去 10 年以來的廣告變化。 幫助客戶更深入地了解競爭對手使用的關鍵字和PPC（pay-per-click） 廣告關鍵詞策略。比如，競爭對手排名的關鍵字數量，以及企業關鍵字與對手關鍵字設置的重疊程度等。這家企業的利潤是380萬美元。

SEMRush，這家位於波士頓的創業公司，提供在線可視化管理和內容行銷SaaS平台。希望通過分析競爭對手的一系列關鍵字、付費搜索和排名等指標，幫助企業進行分析。可免費搜索10個網站，得出有限結果。 這家公司融資4000萬美元，利潤310萬美元。

付費廣告和PPC工具

iSpionage，這家矽谷初創公司成立於2008年，該公司提供可識別競爭對手PPC的工具，還包括其每月預算和整個Adwords策略。甚至可以訪問七年的PPC和SEO關鍵字數據。這家公司利潤1000萬美元。

Whatrunswhere，這家成立於2011年的加拿大公司，提供查看競爭對手的廣告位置，甚至廣告外觀、以及廣告效果的功能。甚至包括訪問15萬個效果最佳的展示廣告發布商的廣告系列數據，在2016年被一家數字廣告企業收購。這家企業利潤400萬美元。

可以說，無論是分析競爭對手本身，還是分析競爭對手的閱聽人，乃至競爭對手如何做廣告都分析了。這些企業明顯面向企業的需求也導致了即使未有進行過多融資，但利潤並不低。果然是：都來互相搜集吧！

大家工作中是否遇到什麽好用的搜集競爭對手的工具呢？又是如何分析競爭對手的？歡迎大家爆料！

— THE END —

| 財經八卦陣|財經達人 入門手冊 |

未經授權，不可轉載，歡迎爆料

歡迎購買《自媒體紅利》，最暢銷的自媒體運營書籍，京東有售！

或添加微信：shyjingsa2016

財經八卦陣其他熱文