網(wǎng)絡(luò)服務(wù)提供商 Cloudflare 此前已經(jīng)推出人工智能爬蟲識別和攔截程序，避免主要目的是抓取數(shù)據(jù)的 AI 爬蟲通過高頻次抓取浪費網(wǎng)站帶寬和硬件資源，也可以避免因為 AI 爬蟲高頻次抓取影響網(wǎng)站的正常運營。

但很多 AI 爬蟲都偽裝成正常的客戶端 UA 進行抓取，所以僅僅靠爬蟲自己攜帶的 UA 難以判斷是否是爬蟲以及能否成功攔截，所以 Cloudflare 在此基礎(chǔ)上推出名為 AI Labyrinth 的新功能。

這個新功能可以稱作是 AI 迷宮，其主要功能是通過人工智能生成海量無關(guān)內(nèi)容，在檢測到存在異常的爬蟲時，就將爬蟲引導(dǎo)到這個人工智能生成的蜜罐中，這些內(nèi)容與網(wǎng)站無關(guān)，借此消耗這些爬蟲的資源。

統(tǒng)計數(shù)據(jù)顯示在 2024 年秋季 Facebook 排名前 20 的帖子中有 4 篇是 AI 生成的，Medium 平臺大約有 47% 的內(nèi)容是 AI 生成的，而 Cloudflare 每天要收到 AI 爬蟲發(fā)出的超過 500 億個請求。

為了解決被 AI 爬蟲浪費的服務(wù)器資源，Cloudflare 創(chuàng)建這個 AI 迷宮功能算是以毒攻毒，AI 爬蟲主要想要抓取人類撰寫的數(shù)據(jù)來訓(xùn)練 AI，Cloudflare 則只給這些爬蟲投喂 AI 生成的內(nèi)容。

AI 迷宮的工作原理是這樣的：

Cloudflare 使用 Workers AI 和開源模型來創(chuàng)建海量有關(guān)不同主題的獨特 HTML 頁面，這些內(nèi)容頁面通過預(yù)生成管道提前生成并存儲在 Cloudflare R2 存儲庫中。

但為了避免虛假內(nèi)容污染 AI 并造成虛假內(nèi)容在互聯(lián)網(wǎng)上傳播，Cloudflare 給 AI 爬蟲投喂的數(shù)據(jù)也是真實并且與科學(xué)事實相關(guān)，只是與被抓取的網(wǎng)站不相關(guān)或者不是專有的。

防止影響 SEO 和真人訪問：

Cloudflare 生成的頁面通過技術(shù)手段進行隱藏，首先這些內(nèi)容絕對不會被真人訪問到，其次 Cloudflare 做好元數(shù)據(jù)用來禁止真正的搜索引擎爬蟲抓取，因此也不會影響網(wǎng)站正常的 SEO。

當(dāng)檢測到異常的抓取時 Cloudflare 才會動用 AI 迷宮并將爬蟲引導(dǎo)到迷宮中，已識別且被網(wǎng)站允許的 AI 爬蟲以及搜索引擎的爬蟲都可以正常抓取內(nèi)容。

目前 AI 迷宮功能已經(jīng)面向所有用戶開放，無論是否付費都可以開啟，具體路徑是 Cloudflare 控制臺、網(wǎng)站、安全性、自動程序、AI Labyrinth。

即將結(jié)束：騰訊云 2025 年春季活動，境外服務(wù)器僅需 99 元/年，續(xù)費同價、不限新老用戶，部分服務(wù)器 CN2GIA 線路。

關(guān)注公眾號：拾黑（shiheibook）了解更多

友情鏈接：

關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站：https://www.yaorank.com/