每日最新頭條.有趣資訊

記者臥底大數據行銷公司:揭秘APP抓取+爬蟲的生意經

有大數據行銷公司靠銷售爬蟲工具獲利,電商平台商家數據遭爬取;還有公司稱可以獲取任意網頁及APP訪客的手機號;專家稱其屬於惡意爬取,涉嫌犯罪。

文6331字,閱讀約需12.5分鐘

“鷹眼智客”大數據行銷系統的主頁面。

“不需要不需要,以後別再給我打電話了。”說完,代昌(化名)重重地將手機摔在了沙發上。代昌是河北邢台清河縣一家民營企業的實際控制人,最近幾年來,他接到的騷擾電話數量明顯增多。騷擾電話正成為大數據時代的“頑疾”。

記者調查發現,一些所謂“大數據”公司數據來源可疑,甚至有些大數據公司並沒有數據。新京報記者經過多地暗訪、臥底發現,有大數據公司號稱可以采集到任意指定網站或者APP的訪客手機號;另一家號稱“中國互聯網行銷服務第一品牌”公司的“鷹眼智客”官網則顯示:“有你所需要的一切”。

7月底,新京報記者臥底“鷹眼智客”發現,其實際上是利用爬蟲技術,從淘寶、京東等網站上爬取到店家手機號後,用於行銷。此外,借助該軟體,通過微信附近的人,用戶可任意設定虛擬位置後批量申請好友,還能“站街”釣魚行銷。

有安全專家表示,當用戶發生上網行為時會發送數據包,內含行為痕跡、手機號等信息。一旦涉及某一方發生洩露,通過抓取這個數據包便可以解析出來用戶的敏感信息。網絡爬蟲則分為合法爬蟲和惡意爬蟲兩種。一些所謂的大數據公司本身沒有數據來源,而是通過爬蟲手段獲取他人的數據。

在網絡空間,數據戰爭已進入白熱化。2019年5月份,國家互聯網信息辦公室發布的《數據安全管理辦法》征求意見稿第十五條也規定了,“網絡運營者以經營為目的收集重要數據或個人敏感信息的,應向所在地網信部門備案。”此外,大多數網站早已對惡意爬蟲構建反爬措施並作出聲明嚴厲禁止,有律師直言,“突破、繞開第三方平台的反爬蟲策略、協議時,或涉嫌非法獲取計算機信息系統數據罪、提供侵入非法控制計算機信息系統程序工具罪。”

━━━━━

臥底“最全”大數據公司

淘寶、京東等多家網站數據被爬取

鄭州共贏科技公司,業務員正在忙碌“殺單”。新京報記者 李大偉 攝

記者發現一家名為“鷹眼智客”的大數據公司號稱“中國互聯網行銷服務第一品牌”。其官網宣稱:“有你所需要的一切”。據官網介紹,“鷹眼智客”歸屬於鄭州共贏科技有限公司。

7月29日,新京報記者來到該公司面試地點——鄭州市金水區金城國際廣場A座,通過面試得到試崗資格,主要工作是推銷一台包含“鷹眼智客大數據行銷系統”的電腦。在約一百平方米的房間裡,充斥著啪啪啪敲擊鍵盤的聲音。房間內的三十多名業務員共同組成了共贏科技的“商務部”。

據其官網顯示,“鷹眼智客”系統涵蓋QQ行銷系列、微信行銷系列、綜合采集系列、論壇貼吧系列、郵件行銷系列五大模塊,擁有218個小功能。此外,其還宣傳稱“已成功為2800多家企業提供互聯網行銷服務,覆蓋120多個行業”。其中綜合采集系列號稱可精準采集目標客戶信息,覆蓋全網11大B2B平台,4大搜索引擎,7大地圖,準確率達90%。

記者試崗期間任務是熟悉軟體流程,並得到主管發的一份“終端客戶聊天話術”。“終端客戶聊天話術”顯示,其數據來源於各大行業網站、各大平台以及各大地圖等,“像阿里、百度、騰訊等等只要在網上公開留過痕跡的這些信息通過我們的核心技術SPILDER多線程技術都可以給你采集到。”

據極驗產品總監程柏(化名)介紹,其核心技術實際上是網絡爬蟲技術。據其介紹,目前互聯網流行的網絡爬蟲種類比較多,信息采集類的網絡爬蟲主要是腳本和模擬器類爬蟲。

記者發現,“鷹眼智客精準行銷系統”共包含數據采集系列、QQ行銷系列、社群論壇行銷、綜合行銷工具五個模塊,覆蓋了客戶數據采集到行銷的整條產業鏈。

其中,數據采集系列模塊包含地圖行業采集、綜合數據采集、阿里巴巴采集、慧聰網采集、單頁名錄綜合采集、大眾點評網采集、淘寶商家信息采集、中國製造網采集、團購外賣商家采集、阿里國際站采集、八方資源平台采集、京東商家采集十二個功能。

記者測試發現,該套軟體操作十分簡單,每個功能還附有相應的教學視頻來指導。7月30日,通過該軟體,記者成功獲取大量手機號。

以淘寶商家信息采集為例,記者在該系統中的淘寶商家采集功能中輸入關鍵詞“服裝”後,成功采集到北京地區淘寶賣家的82條信息,共耗時10分鐘。在軟體彈出框右下角還附有“導出電話鋪”的按鈕,采集得到的信息包括類型(店鋪等級)、掌櫃名稱、地區、電話、店址等多個維度。

此外,記者還對該系統的京東商家采集、地圖行業采集、阿里國際站采集等功能依次進行測試,均獲成功。

━━━━━

附近的人有多近?

軟體任意定位,還可“站街”釣魚行銷

“你得放開了玩,大聲喊出來!”在記者第一天早上上班之前,部門經理將業務員分成兩支隊伍,輪番結對玩一種“美女與野獸”的遊戲。據該公司的工作人員介紹,玩這種遊戲是為了調動業務員的積極性,培養團隊榮譽感。

記者發現“鷹眼智客”自帶教學視頻,通過該視頻,記者試崗期間對工具中微信行銷的八個功能逐個進行測試。以該模塊中的微信定位行銷功能為例,用戶使用該功能需用手機模擬器登錄微信。按照添加模式不同,該軟體分為添加附近的人、添加指定QQ、搖一搖、添加群成員四種。

記者調查發現,點擊微信定位行銷“獲取經緯度坐標”,會彈出一個頁面。假如在該彈出頁面輸入國貿位置後,用戶可將坐標定位到國貿,並看到國貿地區“附近的人”。利用該軟體用戶可以同時添加多個虛假位置,也支持多個微信號同時操作。

該套軟體還有一定的反封號機制。視頻教程顯示,在參數設置中,用戶可以自己選擇好友驗證的次數、間隔時間以及每個位置發送驗證申請的個數。“剛剛使用的話少添加一些,比如說添加五六個,逐步增加,最多的話添加十個以內,有一段時間間隔之後再次添加。”

設置好位置及參數設定後,用戶可在軟體中“驗證消息”下面的空白操作區域對驗證消息進行編輯。“比如說,他是做生意的,你可以將驗證消息編輯為‘你好,我想看下你產品’,這樣的話(驗證申請)通過率會更高一些。”

值得一提的是,該軟體還有一項名為“站街”的功能。所謂“站街”,即“如果說不想主動添加好友,只想讓附近的人看到並添加你,就可以使用站街功能。”在位置一欄的彈出對話框中,用戶只需點擊“模擬器利用此位置站街”即可“站街”。

極驗產品總監程柏(化名)認為,“鷹眼智客”部分功能屬於黑色產業鏈。“這類群發功能有些是違背用戶意願的,純粹的牟利行為,像我有時候也會收到這類垃圾信息,多以行銷為主,但是這類行銷很多來源並不可靠,可能會有其他黑色產業鏈和惡意引導。”

新京報記者從“鷹眼智客”工作人員處了解到,公司為了方便客戶行銷,還提供外呼機器人(AI電話)的服務,只需要將采集到的電話號碼導入即可。

此前,新京報曾對外呼機器人進行曝光。所謂外呼機器人,實際上是一條電話機器人系統,一天客戶呼出1000通電話。隨後,央視3·15晚會也對外呼機器人進行曝光,不法分子和違法科技公司通過探針盒子搜集用戶隱私、大數據提供支持、智能機器人提供外呼。

━━━━━

大數據如何“精準行銷”

抓取指定任意網站或APP的訪客手機號

新京報記者通過搜索關鍵詞“大數據精準行銷”,注意到一家名為娛加科技的大數據精準行銷公司。

━━━━━

充滿技巧的“殺單”話術

有業務員日賺近5000元

“公司目前有兩種計酬方式,一種是有底薪製,底薪為1500,銷售一件產品提成為10%;另一種為無底薪製,底薪為0,銷售一件產品提成為25%。”共贏科技負責面試的李夢海(化名)告訴新京報記者,“一般人都會選擇無底薪高提成的,賺得多。”一台包含“鷹眼智客大數據行銷系統”的電腦,定價為8800元。按照定價以及提成來推算,每銷售一台,業務員可以得到2200元。

據李夢海介紹,共贏科技有限公司在鄭州總部共有5個小隊。記者被分配到“尖刀隊”。

“恭喜尖刀隊甜甜出單!”7月31日下午3點50分,坐在記者右側的甜甜突然喊道。當業務員出單時,便會自己喊出“恭喜××隊××出單!”,此刻所有人便會停下案頭工作為其鼓掌。“這是一種獎勵機制。”一名工作人員向新京報記者介紹說。

甜甜是一名新人。1992年出生的她,幾個月前來到這個公司轉行成為一名銷售。因剛入行不久,一些“殺單”的話術她並不熟練,當客戶表現得意向較強時,較為資深的業務員便會聚攏過來進行指導。據其描述,她平均每月可以成交四五單。在鄭州來講,收入十分可觀。

所謂“殺單”,則是銷售之間常見的行話,意為和客戶成交。甜甜出單後不久,坐在記者斜對面的“馬總”(昵稱)也出了一單。

“這已經是他今天出的第二單。按照每單提成25%的利潤來計算的話,算上獎金,他已經賺了快5000塊錢了。”甜甜說。

這種場景在記者試崗期間頻繁出現。在尖刀隊主管楊小峰(化名)發送給記者的一份“終端客戶聊天話術”文檔中,詳細地記載了一些“殺單”技巧以及問答實錄。記者發現,當新人有客戶意向較為強烈時,經理和團隊主管便會聚攏上來出謀劃策,研究如何讓顧客上鉤。

據甜甜透露,她“殺”的客戶是一位“做保健品的”。8月18日,記者聯繫到甜甜這位客戶張娜(化名)。據其介紹,在使用“鷹眼智客”系統僅僅兩天后,她使用多年的微信號即遭到封禁。張娜說她再也不敢用了。

━━━━━

合法爬蟲or惡意爬蟲

惡意爬蟲涉非法獲取計算機信息系統數據罪

“這肯定是合規的,因為我們不直接參與販賣數據。”該公司負責人事的李夢海告訴新京報記者說,“如果賣爬取到的數據就違法了。”

該公司的業務員王偉(化名)則給出了不同的答案。王偉向新京報記者直言了自己的擔憂。“外呼機器人是違規的,之前曾被曝光過。”王偉說。

爬蟲技術是為了互聯網本身信息傳播而產生的。通過網絡爬蟲,搜索引擎獲悉互聯網的內容。在網絡安全領域,也有通過爬蟲來檢測網站漏洞和網站可用性。

“爬蟲技術的本質用途仍然存在,像百度、谷歌之類的公司,但是互聯網上面的其他黑產眼裡只有利益,他們通過網絡爬蟲做二次數據封裝和用戶引流,通過數據販賣和流量牽引牟利。從用戶視角來說,危害主要有惡意行銷、網絡攻擊(網絡釣魚);從網站角度來說,危害包括網絡攻擊、薅羊毛、影響正常的企業服務、信息價值流失、用戶流失。”程柏說。

中消協此前發布的《APP個人信息洩露情況調查報告》顯示,約86.5%的受訪者曾受到推銷電話或短信的騷擾,約75.0%的受訪者接到詐騙電話,約63.4%的受訪者收到垃圾郵件,排名位居前三位。

對於此類爬蟲軟體,多數網站早已聲明嚴厲禁止。北京煒衡律師事務所周浩律師認為,“網絡爬蟲爬取數據需要遵守第三方平台的Robots協議以及獲取數據的性質具有公開性,不得包含個人信息數據、商業秘密及國家秘密等信息數據。如果突破、繞開第三方平台的反爬蟲策略、協議時,或涉嫌非法獲取計算機信息系統數據罪、提供侵入非法控制計算機信息系統程序工具罪。”

Robots協議也稱為爬蟲協議、機器人協議等,其全稱為“網絡爬蟲排除標準(RobotsExclusionProtocol)”。

“網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。對於搜索引擎來說是行業通用的爬取約定協議,但對惡意爬蟲來說並沒有任何約束力。”知道創宇技術總監鄧金城告訴新京報記者說。

據騰訊發布的《2018上半年安全專題系列研究報告》(以下簡稱報告)顯示,惡意爬蟲通過分析並自行構造參數對非公開接口進行數據爬取或提交,獲取對方本不願意被大量獲取的數據。

報告指出,據統計,出行、社交、電商佔惡意爬蟲流量目標行業分布前三位,佔比分別為20.87%、18.40%、13.38%。

周浩表示,《網絡安全法》《個人信息安全規範》都強調了,通信聯繫方式(電話號碼)是重要的個人信息,非經同意不得收集。提供用來收集個人信息的工具,一旦被使用必然存在違規。

━━━━━

技術發展倒逼法律完善

收集重要數據或個人敏感數據需備案

溯其本源,便是逐利。

“一些所謂的大數據公司本身沒有數據來源,而是通過爬蟲手段獲取他人的數據。”程柏說。

反爬鬥爭已悄然進入白熱化。不過,“反爬”絕非易事。知道創宇404實驗室副總監隋剛介紹,規模較大的公司都會有自己的反爬機制,但“有些爬蟲可以繞過這些反爬機制”。

技術的不斷發展在倒逼相關法律趨於完善。2019年5月份,國家互聯網信息辦公室發布了《數據安全管理辦法》征求意見稿(以下簡稱“征求意見稿”)對爬蟲技術有明確的定義和規定。其中第十六條規定,網絡運營者采取自動化手段訪問收集網站數據,不得妨礙網站正常運行;如自動化訪問收集流量超過網站日均流量三分之一,網站要求停止自動化訪問收集時,應當停止。

“不過,第十六條在實踐操作中可能存在一定問題,對造成網絡不能正常運行也未有相應的處罰措施,這可能是將來需要完善的地方。”曾多次參與制定企業隱私政策的京師上海國際總部專職律師徐延軒說。

同時征求意見稿第十五條也規定了,“網絡運營者以經營為目的收集重要數據或個人敏感信息的,應向所在地網信部門備案。”徐延軒認為,收集重要數據備案制度可能是未來監管的方向。

新京報記者 李大偉 羅亦丹 實習生 徐子林 編輯 徐超 校對 劉越

值班編輯 花木南

獲得更多的PTT最新消息
按讚加入粉絲團