今年不知道還能還能用網絡爬蟲爬結果,上年有一個爬蟲大神利用短暫的漏洞時間,爬了不少中標的項目 返回小木蟲查看更多
目前還沒有見到
Copyright © 2001-2026 小木蟲 意見反饋 廣告投放 漏洞提交
無語
目前還沒有見到
樓上說的罪名是一方面,另一方面,網站是否允許爬蟲是有行規(guī)的,會寫一個robots.txt的文件放在網站根目錄
看看isisn是怎么寫的(https://isisn.nsfc.gov.cn/robot.txt):
user-agent: *
disallow: /
第二行的意思就是,所有目錄都不允許爬取。
當然可以無視這個文件,但是這個文件代表了官方的態(tài)度
不過不得不吐槽一下他們負責網站建設的人,這個robot.txt應該寫成robots.txt,這個錯誤導致了百度在爬他們的網站
,
按照這種邏輯ATM無故吐錢不還就不需要定罪了