網絡服務商?Cloudflare?本周推出一系列防?AI 爬蟲的工具，包括可查看 AI 爬蟲具體活動的 AI Audit 和一鍵屏蔽所有 AI 爬蟲的 Block AI Scrapers and Crawlers。站長們可以部署相關服務，從而防止自己網站的內容被用于訓練?AI?的機器人爬蟲扒取。

IT之家注：爬蟲是一種自動化的程序，可以在互聯網上搜索和獲取信息，目前許多廠商使用相關爬蟲扒取各大網站信息用于訓練?AI?模型，相關爬蟲容易導致被扒網站產生大量異常流量，為此站長需支付高昂的網絡帶寬費用，同時也容易導致網站上大量原創(chuàng)?/?隱私內容泄露。

Cloudflare?推出的相關工具主要利用簽名比對、啟發(fā)式算法、機器學習和行為分析技術來辨別爬蟲，用戶可以查看 AI 爬蟲的各種行為，包括爬蟲類型、訪問頻率和掃描內容，站長還可以按照需要放行“善意的 AI?機器人”抓取信息（此類“善意的?AI?機器人”主要尋找網站的?robots.txt?來獲取信息，通常不會對網站本身產生異常流量，也不會將網頁所有數據直接用于全盤訓練模型）。

如果不確定如何處理這些 AI 爬蟲，站長們也可以使用 Block AI Scrapers and Crawlers 功能，一鍵屏蔽所有 AI 爬蟲。

互聯網為許多大語言模型（如?OpenAI?的?GPT?模型和谷歌的?Bard）提供了大部分的訓練數據，如今許多廠商為了刷自家?AI?模型分數，大肆通過網絡爬蟲“拿來式”地獲取訓練數據，從而讓本應你情我愿的行為變得“污名化”，各大網絡商直接推出此類禁用?AI?爬蟲的服務也在意料之中。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。

關注公眾號：拾黑（shiheibook）了解更多

友情鏈接：

關注數據與安全，洞悉企業(yè)級服務市場：https://www.ijiandao.com/
安全、綠色軟件下載就上極速下載站：https://www.yaorank.com/