| 10 | 1/1 | 返回列表 |
| 查看: 4025 | 回復(fù): 9 | |||
王展昭新蟲 (小有名氣)
|
[交流]
今年不知道還有沒(méi)有爬蟲大神 已有8人參與
|
|
今年不知道還能還能用網(wǎng)絡(luò)爬蟲爬結(jié)果,上年有一個(gè)爬蟲大神利用短暫的漏洞時(shí)間,爬了不少中標(biāo)的項(xiàng)目 發(fā)自小木蟲Android客戶端 |
|
本帖內(nèi)容被屏蔽 |
鐵桿木蟲 (著名寫手)
新蟲 (小有名氣)
新蟲 (正式寫手)
|
這個(gè)想法很危險(xiǎn)。有一個(gè)叫非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪,建議百度一下。 發(fā)自小木蟲Android客戶端 |
|
樓上說(shuō)的罪名是一方面,另一方面,網(wǎng)站是否允許爬蟲是有行規(guī)的,會(huì)寫一個(gè)robots.txt的文件放在網(wǎng)站根目錄 看看isisn是怎么寫的(https://isisn.nsfc.gov.cn/robot.txt): user-agent: * disallow: / 第二行的意思就是,所有目錄都不允許爬取。 當(dāng)然可以無(wú)視這個(gè)文件,但是這個(gè)文件代表了官方的態(tài)度 不過(guò)不得不吐槽一下他們負(fù)責(zé)網(wǎng)站建設(shè)的人,這個(gè)robot.txt應(yīng)該寫成robots.txt,這個(gè)錯(cuò)誤導(dǎo)致了百度在爬他們的網(wǎng)站 |
木蟲 (正式寫手)
新蟲 (正式寫手)
捐助貴賓 (小有名氣)
| 10 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 265求調(diào)劑 +5 | 梁梁校校 2026-03-19 | 5/250 |
|
|---|---|---|---|---|
|
[考研] 329求調(diào)劑 +5 | 想上學(xué)吖吖 2026-03-19 | 5/250 |
|
|
[考博] 申博26年 +3 | 八6八68 2026-03-19 | 3/150 |
|
|
[考研] 一志愿南京理工大學(xué)085701資源與環(huán)境302分求調(diào)劑 +3 | 葵梓衛(wèi)隊(duì) 2026-03-18 | 5/250 |
|
|
[考研] 能源材料化學(xué)課題組招收碩士研究生8-10名 +4 | 脫穎而出 2026-03-16 | 12/600 |
|
|
[考研] 材料與化工求調(diào)劑 +7 | 為學(xué)666 2026-03-16 | 7/350 |
|
|
[考研] 化學(xué)求調(diào)劑 +3 | 臨澤境llllll 2026-03-17 | 4/200 |
|
|
[考研] 材料考研調(diào)劑 +3 | xwt。 2026-03-19 | 3/150 |
|
|
[教師之家] 焦慮 +9 | 水冰月月野兔 2026-03-13 | 13/650 |
|
|
[考研] 材料專碩英一數(shù)二306 +5 | z1z2z3879 2026-03-18 | 5/250 |
|
|
[考研] 304求調(diào)劑 +12 | 小熊joy 2026-03-14 | 13/650 |
|
|
[考研] 0703化學(xué)求調(diào)劑 總分331 +3 | ZY-05 2026-03-13 | 3/150 |
|
|
[考研] 301求調(diào)劑 +9 | yy要上岸呀 2026-03-17 | 9/450 |
|
|
[考研] 268求調(diào)劑 +8 | 一定有學(xué)上- 2026-03-14 | 9/450 |
|
|
[考研] 材料與化工專碩調(diào)劑 +5 | heming3743 2026-03-16 | 5/250 |
|
|
[考研] 318求調(diào)劑 +3 | Yanyali 2026-03-15 | 3/150 |
|
|
[考研] 中科院材料273求調(diào)劑 +4 | yzydy 2026-03-15 | 4/200 |
|
|
[考研] 26考研一志愿中國(guó)石油大學(xué)(華東)305分求調(diào)劑 +3 | 嘉年新程 2026-03-15 | 3/150 |
|
|
[考研] 297求調(diào)劑 +4 | 學(xué)海漂泊 2026-03-13 | 4/200 |
|
|
[考研] 311求調(diào)劑 +3 | 冬十三 2026-03-13 | 3/150 |
|