046 湍流算法

沒錯,當寧爲看着視頻中霍志恆的字幕,聽着他擲地有聲的聲音時,大腦裡突然出現了一個在解決N-S方程過程中衍生出的互聯網實用技術——湍流算法。

這種感覺又很奇特。

就好像視頻中視頻主的那些言語不停的啓發着他,然後一個完整算法結構便結合着之前他所汲取的知識,展現在他的腦中。

緊跟着便又是靈感迸發的感覺。

如果不把這靈感記錄下來,寧爲感覺自己會立刻瘋掉。

於是他從牀上跳了起來。

“咋了,寧娃娃,是不是被我的文采斐然嚇尿了?”

“呸,你們聊你們的,別理我,我有個想法要記錄下來!”寧爲隨口應付了徐瑞軒一句,然後坐到了自己的電腦前,飛快的打開了電腦,然後點開瀏覽器。

首先他要確定的是,他腦海中突然出現的這個依託於N-S方程衍生出的湍流算法的確還沒被髮明出來。

很快,寧爲便確定了,的確沒有!

因爲如果這個湍流算法已經問世,大家就不會依然對那些惡意網絡爬蟲無計可施,只能縫縫補補的處理。

沒錯,此時寧爲腦海中蹦出的湍流算法就是專門針對處理惡意網絡爬蟲的一種智能算法。

互聯網時代的網絡上充斥着各種網絡爬蟲。

所謂網絡爬蟲其實就是一種按照一定規則,自動批量抓取網絡信息的程序跟腳本。最廣泛的應用大概就屬搜索引擎,通過網絡爬蟲技術,這些搜索引擎會以一定的頻率,通過這些網絡爬蟲將蒐集到的信息錄入到數據庫中,以保證用戶從引擎入口檢索時,能更多更準確的從互聯網龐雜的信息中找到仔細想要的東西。

這種類型的網絡爬蟲一般稱爲通用網絡爬蟲。

另一類則是聚焦爬蟲。

這是一種針對特定網站或者特定信息不停抓取的技術。

一般來說能夠遵守robots協議來使用這項技術都是沒問題的。

但事實上,網絡上遍佈的許多網絡爬蟲,乾的都不是人事。

跟所有人息息相關網絡爬蟲案例就是黃牛搶票。

比如全球被各種網絡爬蟲光顧最多的就是12306。

每到節假日,尤其是五一、十一、春運這樣的出行高峰,熱門地區的火車票總會特別難搶,甚至是秒空。而且這個時候12306軟件都很難打開,基本也都是拜這種網絡爬蟲所賜。

根據統計,華夏12306點擊量最高峰曾達到59億次/小時,平均每秒就有160多萬次點擊。顯然不是正常用戶能刷出來的數字。

官方程序也通過各種升級驗證碼,來防止黃牛搶票,甚至有一段時間,那些堪稱變態級別的驗證碼甚至難到讓一個普通人無所適從。

即便現在推出人票合一的功能了,但無數搶票軟件依然利用加價購買搶票包的方式提供這種服務。

除此之外,各大航空公司也是非法網絡爬蟲的重災區,尤其是經常放出特價機票的那些航司。幾乎每次特價機票剛一放出就會被這種爬蟲嗅探,然後直接預定但不付款。

對於航司來說,一般這種特價票預定之後會有半小時的時間給買家付款,半小時內不付款就會再次進入票池,但爬蟲技術卻能在這些特價票進入到票池後0.01秒之內再次搶到手,直到黃牛黨找到願意加價的買家,用買家身份信息購票並付款。

可以想象不管是12306還是各大航司,都恨透了這種爬蟲。

畢竟黃牛的加價他們一分錢都賺不到,還增加了網絡負載。

尤其是各大航司,本來是要讓利給客戶,增加客戶粘性的,結果客戶沒享受到低價票,還會可能因爲付了高價,沒享受相對應的服務而惱火。

除了這種網絡爬蟲之外,還有一些更爲惡意的網絡爬蟲,它們默默的潛伏在網絡中不斷爬取着各種私人的用戶身份信息,各大連鎖酒店、各種APP的用戶系統等等,都是這些網絡爬蟲的目標。

可惜的是目前針對這些惡意網絡爬蟲並沒有太好防禦性技術手段,一般都是依靠各種硬軟件防火牆技術來進行隔絕。

更讓無數開發者爲難的是,安全跟便捷性往往無法兼得。

這就好像12306曾經出臺的那些讓人崩潰的驗證碼,短暫制止了爬蟲肆虐的同時,也讓無數普通人暈頭轉向。

此時寧爲腦海中的湍流算法,卻能在兼顧便利性的同時,解決掉惡意爬蟲肆虐的問題。

用可以理解的語言來表述這種算法的功能大概就是穩定態的數據流會在服務端數據接口如同像流水般緩緩正常流動。每一個連接請求都會直接影響這條處於平穩態的數據流。就好像平靜流動的河面因爲逆流而上的小魚,而形成一個個湍流。

當服務端配置好湍流算法後,通過升級驗證系統,平穩態的數據流就能通過無數次的訪問,來智能判定各種連接請求是正常的還是其他非法請求,並以此判定出網絡爬蟲在做數據爬取,還是正常客戶的正常訪問。

做出區分之後,算法可以自動將這些爬蟲指向目標直接引向一個數據湍流,在這裡這些爬蟲只能爬取到各種混亂且龐雜的無效數據然後反饋給爬蟲作者。

這一過程如果精心佈置還可能直接影響到接收信息的設備安全,讓這些惡意爬蟲無所遁形。

聽起來似乎很簡單,但這個湍流算法並不簡單,其中包含了許多底層神經網絡跟深度學習算法的內容,比如它幾乎同時用到了循環神經網絡、生成對抗網絡、深度收縮網絡,各種迴歸等。

更有通過N-S方程演繹而來的算法。

很快,寧爲便將算法的幾個部分大體記錄在了電腦上。

然後調出了C語言環境。

到不是不想用python,畢竟相對於C來說python極爲簡單,有許多的包可以直接調用,就好像一個從來沒學過做飯的人,如果用料理包的話只用微波爐也能做出極爲美味的飯菜。

但python沒法滿足寧爲的需求,更何況湍流算法很多部分python根本沒包。

而且大一學校開過C語言的課,寧爲的成績也還不錯。

當然這個成績不錯,完全不是寧爲現在表現出的這樣。

比如曾經學習C語言時,讓他分外頭疼的指針跟鏈表,現在卻如同無師自通了一般,用起來揮灑自如。

這個大概就是成長的煩惱吧!

454 讓人瘋狂的理論框架181 你是怎麼做到的?131 走自己的路,讓別人無路可走(鞠躬求月票,明天就沒雙倍了!)173 數學,無所不能479 揮刀(上)227 因爲我對科學的熱愛520 人間大勢108 你們的幸福,我能看到,我的幸福,你們卻不懂417 小事跟大事285 論本色出演的重要性374 暴躁的寧氏傳統424 兩難之境194 不爽就先背刺一劍338 西雅圖的天氣好嗎?469 這纔是最好的合作方式320 需求跟需要027 你被掛了026 都能有個解釋521 降維打擊的序幕272 工欲善其事必先利其器081 本科階段的二階目標380 內行啊!259 流量密碼165 過分雞賊的學神394 也就是寧導了……453 小衝突225 華夏數學年會175 三月的另一種可能198 一條微博與千億美元的蒸發(三更求月票)495 此消彼長332 N重誤解119 滿譽歸途479 揮刀(上)054 你們是我帶過最優秀的一屆161 完美的心靈SPA501 接力者036 從道謝開始的反擊(下)204 數學在戀愛中的一種應用方法223 三月搬家200 以一己之力拔高審覈標準的男人448 拜服的底層邏輯423 老生的經驗之談345 道德淪喪007 被證僞的千禧年數學難題480 揮刀(下)087 以前覺得高攀不起322 連鎖反應082 就很突然的129 腐朽的,朝氣的(加更求月票)046 湍流算法476 露西·羅恩的爆發420 別提寧院士198 一條微博與千億美元的蒸發(三更求月票)234 壓力山大280 三月,你要保持善良啊!259 流量密碼320 需求跟需要298 論數學家爲了營造浪漫能有多拼193 首席科學家520 人間大勢169 三月升級後的蛻變327 人才選拔019 我請你喝咖啡041 他的名字,他的姓氏188 挖人的正確姿勢405 認真點撥047 多方興趣254 這次一定523 神學or哲學072 你們不羞愧嗎?481 毫無驚喜的獎勵500 模糊的突破349 請重視規則405 認真點撥357 忙141 我不敢指導你了!022 誰還沒顆當爹的心?359 客氣的邀請250 父慈女孝286 獲獎感言之我的絕望你們不懂(十月最後一天求月票啊!)119 滿譽歸途293 我又有個想法!027 你被掛了359 客氣的邀請526 三月的自主決策227 因爲我對科學的熱愛243 這裡就是未來的中心019 我請你喝咖啡060 怎麼就成重點項目了?047 多方興趣491 轉變思路244 這獎到底誰拿?357 忙187 我是真不知道啊!188 挖人的正確姿勢157 他應該有一個英文名252 叛了!215 當大家都不按套路出牌198 一條微博與千億美元的蒸發(三更求月票)392 真?假?爆炸吧,科技的魅力!
454 讓人瘋狂的理論框架181 你是怎麼做到的?131 走自己的路,讓別人無路可走(鞠躬求月票,明天就沒雙倍了!)173 數學,無所不能479 揮刀(上)227 因爲我對科學的熱愛520 人間大勢108 你們的幸福,我能看到,我的幸福,你們卻不懂417 小事跟大事285 論本色出演的重要性374 暴躁的寧氏傳統424 兩難之境194 不爽就先背刺一劍338 西雅圖的天氣好嗎?469 這纔是最好的合作方式320 需求跟需要027 你被掛了026 都能有個解釋521 降維打擊的序幕272 工欲善其事必先利其器081 本科階段的二階目標380 內行啊!259 流量密碼165 過分雞賊的學神394 也就是寧導了……453 小衝突225 華夏數學年會175 三月的另一種可能198 一條微博與千億美元的蒸發(三更求月票)495 此消彼長332 N重誤解119 滿譽歸途479 揮刀(上)054 你們是我帶過最優秀的一屆161 完美的心靈SPA501 接力者036 從道謝開始的反擊(下)204 數學在戀愛中的一種應用方法223 三月搬家200 以一己之力拔高審覈標準的男人448 拜服的底層邏輯423 老生的經驗之談345 道德淪喪007 被證僞的千禧年數學難題480 揮刀(下)087 以前覺得高攀不起322 連鎖反應082 就很突然的129 腐朽的,朝氣的(加更求月票)046 湍流算法476 露西·羅恩的爆發420 別提寧院士198 一條微博與千億美元的蒸發(三更求月票)234 壓力山大280 三月,你要保持善良啊!259 流量密碼320 需求跟需要298 論數學家爲了營造浪漫能有多拼193 首席科學家520 人間大勢169 三月升級後的蛻變327 人才選拔019 我請你喝咖啡041 他的名字,他的姓氏188 挖人的正確姿勢405 認真點撥047 多方興趣254 這次一定523 神學or哲學072 你們不羞愧嗎?481 毫無驚喜的獎勵500 模糊的突破349 請重視規則405 認真點撥357 忙141 我不敢指導你了!022 誰還沒顆當爹的心?359 客氣的邀請250 父慈女孝286 獲獎感言之我的絕望你們不懂(十月最後一天求月票啊!)119 滿譽歸途293 我又有個想法!027 你被掛了359 客氣的邀請526 三月的自主決策227 因爲我對科學的熱愛243 這裡就是未來的中心019 我請你喝咖啡060 怎麼就成重點項目了?047 多方興趣491 轉變思路244 這獎到底誰拿?357 忙187 我是真不知道啊!188 挖人的正確姿勢157 他應該有一個英文名252 叛了!215 當大家都不按套路出牌198 一條微博與千億美元的蒸發(三更求月票)392 真?假?爆炸吧,科技的魅力!