第394章 超參數全自動搜索

江寒掛了電話,沉吟不語。

老江關切地問:“沒談妥嗎?”

江寒搖了搖頭,嘆了口氣:“談下來一半。”

“一半?”

江寒點了點頭:“大江入駐高新區,問題不是太大,只是時間上……最快也得排到下半年了。”

周市長雖然對自己印象很好,但在原則問題上,一點也不肯鬆動。

這就沒辦法了。

江寒和老江研究了一下,最後還是決定出去租寫字樓。

但說實話,就算找得到理想的地方,只怕一時半會兒之間,也很難辦妥,更要多掏不少錢。

正說話間,夏如冰來上班了。

不知不覺之中,她已經恢復了原本的明豔,精神狀態更是十分良好。

一見面,夏如冰就笑吟吟地打招呼:“老闆早,江總早!”

江寒灑然一笑:“早!”

老江也儒雅地點頭:“夏總早。”

江寒打量了夏如冰一眼,忍不住旁敲側擊了一句:“小姨啊,看您的氣色,這幾天好像心情挺不錯?”

夏如冰嫣然巧笑:“是啊,閒了這麼久,總算有點事做,當然開心了。”

江寒:“……”

這麼敬業的嗎?

但他關心的,其實是她和老易倆人,到底有沒有和好……

“剛纔你們兩個,一本正經的,到底在研究什麼?”夏如冰問。

江寒將打算租樓的事情,跟夏如冰說了。

夏如冰明媚一笑:“這事兒好辦啊,盛夏這棟樓裡,不是還剩不少地方嗎?反正這麼多地方,他們也用不了,稍微挪動一下,騰出一層、半層樓,問題應該不大。”

江寒無語一秒:“這樣不太好吧?”

夏如虹能給自己兩件辦公室,加地下的機房,已經很難得了。

如果再得寸進尺的話……

夏如冰笑了笑:“這樣吧,我打個電話問問,如果盛夏那邊不方便,咱們再另外想轍兒。”

江寒考慮了一下,點了點頭:“也行,不過……別讓夏阿姨爲難。”

“那當然。”

夏如虹答應了一聲,又說:“老闆,一會兒會有不少人來應聘,你要不要把把關?”

江寒灑然一笑:“好!不過我只負責技術人員,其他的職位,還要你和老江自己決定。”

距離面試開始,還有一個多小時。

江寒想了想,來到了隔壁。

這個實驗室佈置好之後,一直沒怎麼用,今天正好試試機、找找感覺。

這裡配備了兩臺相當先進的電腦,和地下機房裡的服務器直連,通過這兩臺終端,就可以方便地操作服務器。

前天,江寒爲了製作OCR軟件,批量打造了上千個人工神經網絡。

其中絕大多數,都擁有一模一樣的網絡結構,只是引入的訓練數據不同。

這樣訓練出來的模型,也就只有權重參數上的區別……

經過兩天的訓練,這些網絡已經完全訓練完畢。

江寒將這些網絡,組合到了一起,再套上一層事先準備好的,用vc--編寫的簡易UI。

很快,OCR軟件就初步成型,可以投入使用了。

江寒思考了一下,命名爲“極光OCR”。

至於這個名字的含義……其實他沒想那麼多,就是覺得挺順口的。

然後,他又將源代碼和可執行文件,全都用U盤拷貝下來,帶走。

這樣晚上回家後,就可以正式啓動那個計劃,在虛擬空間裡暢快地學習了……

隨後,江寒進入了虛擬空間。

他爲ImageNet比賽編寫的代碼,還有相關的論文草稿,就保存在286電腦中。

江寒很快將這些東西,發送到了外面的電腦中。

然後又打開手機,把昨晚下載的訓練數據、校驗數據,也傳送給這臺終端電腦。

程序有了,數據也有了。

江寒又進行了一番算不上辛苦的調試,深度卷積神經網絡終於基本成型。

但在開始訓練之前,還有一點工作要做。

這個深度CNN,所擁有的參數實在太多了,哪怕原始數據有足足12萬多條,也很很容易發生過擬合。

所以,爲了提升泛化能力,有必要做一下數據增廣。

數據增廣的方案有許多。

江寒思考了一下,選擇了一種新方案。

原始圖像是256×256的分辨率。

江寒設計了一個程序,從中隨機扣出來224×224大小的區域。

每張原始圖像,都有(256-224)^2=1024種不同的扣法,這樣一來,就相當於將原始數據增廣了1024倍!

接下來,他又將得到的圖像,全都水平鏡像一次,就得到了等於原始數據2048倍的超大數據集合。

增廣完數據,江寒還覺得不夠保險,爲了進一步提高算法的效能,他決定對網絡中用到的超參數,進行一些優化。

以前他也做過人工神經網絡超參數的優化,但那時採用的手段,主要是手動修改超參數,然後人工分析、比對。

看修改了某個超參數後,網絡的表現是上升了還是下降了,從而找出較爲優秀的模型。

不用說,這種做法最大的缺陷,就是效率實在太低。

江寒在這次的比賽中,決定使用一種新技術。

這是他前一陣子,煞費苦心設計出來的方案,代碼複雜度令人髮指。

好在他的腦子夠好用,在消耗了大量心血,吃掉了無數冰島紅極參之後,終於是開發成功了。

功能很簡單,就是自動對超參數進行搜索、優化,以找到結構更合理、性能更好的人工神經網絡。

江寒爲這門技術取名ASSP(Auto search for super parameters)。

當然,其實就是“搜索超參數”的英文直譯……

ASSP的原理很簡單,就是包裝在人工神經網絡模板外層的一個“殼”。

通過一個調度函數,在訓練神經網絡之前,先按照事先確定的規則,微調某些超參數。

每當完成一輪訓練,還會按照既定的規則,從各個方面進行評分。

比如,在梯度下降的過程中,模型是否收斂、收斂速度如何?

不能收斂的網絡,根本無法訓練,也就毫無價值,如果收斂速度過慢,訓練起來也會缺少效率。

此外,網絡模型在驗證集中的表現,泛化能力、識別準確度、網絡的穩健性……

最後,將每次訓練完成後,人工神經網絡的綜合得分,從高到低排一下序。

江寒通過最後生成的表格,就可以選取合適的超參數組合了。

爲了讓這個超參數搜索程序,獲得更高的工作效率,需要先指定超參數的搜索範圍。

範圍太大的話,會導致搜索時間過長,可能會等不及出結果;如果範圍太小,又很可能找不到合格的超參數取值。

這個搜索範圍,可以看做SFSP的超參數,只能憑經驗設定。

好在江寒已經訓練過許多次人工神經網絡,有着十分充足的經驗。

他將ASSP和深度CNN的代碼融合之後,連同訓練數據、驗證數據,全都上傳到了地下數據處理中心的服務器裡。

差不多兩天之後,ASSP就能得到初步的成果。

至於整個CNN網絡的訓練,那可就有得等了。

原始數據是12萬多條,增廣到2048倍之後,就是2億4千5百萬餘條數據!

數據量實在太龐大了,即使使用了GPU來提速,至少也需要5~7天,才能完成初步的訓練。

江寒讓程序跑起來之後,就走出了實驗室。

打算回到遊戲工作室裡,休息一下,然後去主持面試。

剛喝了兩口水,手機忽然響了起來。

來電是夏如虹的,江寒連忙接了起來,叫了聲:“阿姨。”

“你在哪了?”夏如虹聲音溫婉。

“17樓辦公室。”江寒回答。

夏如虹打這個電話,主要是討論寫字機器人的銷量和分成。

寫字機器人上市的時候,已經接近年底,所以截止2012年12月31日,只賣出了30多萬臺。

按照當初的約定,江寒將獲得3.5%銷售額的分成。

機器人的出廠價是每臺558元,3.5%就是每臺19.53元,30萬臺……

江寒隨便心算了一下,就得出了答案:580多萬。

這就比較讓人愉快了。

有了這筆錢,星空那邊的錢,暫時就不急着動用了。

這樣也能避免不少匯兌、稅費之類的損失……

第276章 丟1分和拿滿分,哪個更難?第51章 任務分析第231章 水漫金山第221章 超級大腦,人傑地靈第80章 碰碰船和真人CS第31章 《水果忍者》和《2048》第267章 數據增廣和集成學習第351章 送她點什麼?第149章 夢後樓臺深鎖第103章 風口第88章 有點刺激第139章 野豬!?第246章 Vigenère密碼和國王遊戲第397章 作曲大師,自帶乾糧第349章 說錯了什麼?第341章 決戰楓林火山第374章 手工打造LED顯示器第422章 更有效率的刷分第217章 超級粉絲第140章 虛驚第145章 陳萱的邀請第121章 還有誰會對自己這麼好?第148章 到底什麼意思?第144章 時序邏輯電路和寄存器第259章 江寒的秘奧義第130章 大佬和小蘿莉第102章 怎麼就這麼不好對付?第17章 男朋友挺好第273章 假如氪金就能變強第397章 作曲大師,自帶乾糧第290章 其實已經有點過時了第273章 假如氪金就能變強第382章 電動車和機械臂第249章 胸有成竹,根本不慌第141章 金裝四大才子第369章 點八個,贈十個……第36章 家宴第326章 “戰神一號”的弱點第170章 只是一場遊戲嗎?第189章 查房第308章 敬可愛又無常的命運第369章 點八個,贈十個……第210章 爲了節目效果第319章 那年,那個女孩兒第211章 就當幫他們改進一下服務質量了第77章 多少次回眸第109章 不擅長的事情第70章 水上公園第282章 又一顆壞蘋果?第166章 意外的變化第33章 蘋果開發者賬號第1章 一夜回到十年前第301章 人間喜劇,喜聞樂見第206章 整理論文第357章 再給你一次機會第400章 不可逾越的高山第379章 似真似幻,恍如隔世第186章 有我七成功力了第5章 三個系統準備就緒第385章 超大規模集成神經網絡第348章 只會下蛋,不會生寶寶第48章 《如果時間能倒退》第130章 大佬和小蘿莉第298章 手持利器,尤須謹慎第111章 虛擬空間,開啓!第303章 你以爲就這樣而已?第332章 大功告成,樂不思蜀第63章 巧嗎?第104章 鮮花與牛糞第89章 進入狀態這麼快?第390章 兩份DNA檢測報告單第222章 《Adaline網絡》和《最小均方濾波器(LMS)》第131章 夏雨菲的小秘密第221章 超級大腦,人傑地靈第247章 對拍、Day1第三題第270章 夏如冰的遭遇第171章 蘇婉瑩的秘密第174章 良心工作室第324章 如果是江寒哥哥的話……第69章 論如何追女孩紙第371章 莫非換了個女朋友?第426章 坦白從寬,回家過節。第330章 小孔成像和PNP問題第238章 競爭對手?第203章 誰支持、誰反對?第260章 這可是B5啊!第388章 組隊刷分,在線賣軟第127章 只怪準備得太充分了第39章 這可能是個誤會第30章 立人設第146章 給你個眼神自己領會第120章 《數字混淆加密(簡易版)》第208章 有埋伏第215章 儀表堂堂,器宇軒昂第175章 一億一個第185章 是不是太敏感了?第69章 論如何追女孩紙第346章 密室第244章 屋裡陪他小電影?第279章 一舉成名天下知
第276章 丟1分和拿滿分,哪個更難?第51章 任務分析第231章 水漫金山第221章 超級大腦,人傑地靈第80章 碰碰船和真人CS第31章 《水果忍者》和《2048》第267章 數據增廣和集成學習第351章 送她點什麼?第149章 夢後樓臺深鎖第103章 風口第88章 有點刺激第139章 野豬!?第246章 Vigenère密碼和國王遊戲第397章 作曲大師,自帶乾糧第349章 說錯了什麼?第341章 決戰楓林火山第374章 手工打造LED顯示器第422章 更有效率的刷分第217章 超級粉絲第140章 虛驚第145章 陳萱的邀請第121章 還有誰會對自己這麼好?第148章 到底什麼意思?第144章 時序邏輯電路和寄存器第259章 江寒的秘奧義第130章 大佬和小蘿莉第102章 怎麼就這麼不好對付?第17章 男朋友挺好第273章 假如氪金就能變強第397章 作曲大師,自帶乾糧第290章 其實已經有點過時了第273章 假如氪金就能變強第382章 電動車和機械臂第249章 胸有成竹,根本不慌第141章 金裝四大才子第369章 點八個,贈十個……第36章 家宴第326章 “戰神一號”的弱點第170章 只是一場遊戲嗎?第189章 查房第308章 敬可愛又無常的命運第369章 點八個,贈十個……第210章 爲了節目效果第319章 那年,那個女孩兒第211章 就當幫他們改進一下服務質量了第77章 多少次回眸第109章 不擅長的事情第70章 水上公園第282章 又一顆壞蘋果?第166章 意外的變化第33章 蘋果開發者賬號第1章 一夜回到十年前第301章 人間喜劇,喜聞樂見第206章 整理論文第357章 再給你一次機會第400章 不可逾越的高山第379章 似真似幻,恍如隔世第186章 有我七成功力了第5章 三個系統準備就緒第385章 超大規模集成神經網絡第348章 只會下蛋,不會生寶寶第48章 《如果時間能倒退》第130章 大佬和小蘿莉第298章 手持利器,尤須謹慎第111章 虛擬空間,開啓!第303章 你以爲就這樣而已?第332章 大功告成,樂不思蜀第63章 巧嗎?第104章 鮮花與牛糞第89章 進入狀態這麼快?第390章 兩份DNA檢測報告單第222章 《Adaline網絡》和《最小均方濾波器(LMS)》第131章 夏雨菲的小秘密第221章 超級大腦,人傑地靈第247章 對拍、Day1第三題第270章 夏如冰的遭遇第171章 蘇婉瑩的秘密第174章 良心工作室第324章 如果是江寒哥哥的話……第69章 論如何追女孩紙第371章 莫非換了個女朋友?第426章 坦白從寬,回家過節。第330章 小孔成像和PNP問題第238章 競爭對手?第203章 誰支持、誰反對?第260章 這可是B5啊!第388章 組隊刷分,在線賣軟第127章 只怪準備得太充分了第39章 這可能是個誤會第30章 立人設第146章 給你個眼神自己領會第120章 《數字混淆加密(簡易版)》第208章 有埋伏第215章 儀表堂堂,器宇軒昂第175章 一億一個第185章 是不是太敏感了?第69章 論如何追女孩紙第346章 密室第244章 屋裡陪他小電影?第279章 一舉成名天下知