成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

4個Linux小技巧幫你提高機器學習生產效率

系統 Linux
下面就是他分享的4個tips。由于本文中涉及到的shell腳本過多,你可以去文末地址中查看所有腳本的源代碼。

 在機器學習的實踐過程中,用好Shell能幫你很多節省時間。

下面就是他分享的4個tips。由于本文中涉及到的shell腳本過多,你可以去文末地址中查看所有腳本的源代碼。

抓取遠程文件

當你在遠程服務器上監視程序運行時,如果想把一個遠程文件抓取到本地查看,通常你會怎么做?

記下文件路徑,打開終端,用rsync之類的工具同步到本地,再到文件瀏覽器中查看。

實際上不必這么麻煩。只需要事先寫好幾個shell腳本,就可以避免重復的機械勞動。

在這里強烈推薦iTerm 2,它比Mac自帶的終端要強大得多,可以指定某個觸發關鍵詞執行某個相應的命令。

iTerm 2下載地址:https://www.iterm2.com/

先在遠程服務器上設置一個腳本t。當我們輸入r awesome_video.mp4時,它會搜索awesome_video.mp4文件所在路徑,并連同主機名以字符串rtransfer <host> <path>的形式打印出來。

 

rtransfer作為iTerm2的觸發關鍵詞,解析出主機和路徑,然后調用另一個本地腳本t2。腳本t2將這個視頻文件傳輸到臨時目錄,然后在該目錄中打開Finder。

使用iTerm 2觸發關鍵詞功能調用腳本,可以大大提升效率,而你要做的只是在前期花費時間定制腳本。

遠程訪問TensorBoard

除了抓取遠程文件,另一個讓人痛苦的是訪問遠程服務器上的TensorBoard實例。你可以設置SSH端口轉發,但是哪個端口對應哪個服務器?它們都在Docker容器中。

ngrok可以讓你把訪問本地端口變成訪問URL,比如輸入ngrok http 6006后,它會為你生成一個URL網址http://683acac3.ngrok.io,你可以在這個地址中查看TensorBoard實例。

結合腳本n,以更快的速度啟動ngrok,然后用腳本tb打開Web瀏覽器,啟動TensorBoard,在十秒內就能從運行目錄轉到顯示圖形。

 

ngrok有個缺點是它一次只能允許一個會話,因此在使用前需要殺死上一個ngork進程。如果你忘記在另外一臺服務器上殺死ngrok,可能會比較麻煩。

ngrok下載地址:https://ngrok.com/

用tbplot代替TensorBoard繪圖

對于運行大量metrics的情形,我們需要等待較長時間讓TensorBoard加載所有圖形。如果使用tbplot腳本,速度會快很多,并且能直接生成圖像文件。

tbplot實際上調用的是Matplotlib,缺點是目前只能生成標量圖。

tbplot下載地址:https://github.com/mrahtz/tbplot

自動化崩潰監測

運行代碼時,最耗費精力的事情就是是擔心遇到了錯誤并崩潰,因此需要不斷檢查他們的運行情況。

當程序出現問題時,通過警報自動監控可以緩解這種擔憂。一般可以把警報發送到郵箱中,為了避免這么麻煩,可以使用sqs-alerts,它依靠AWS AWS Simple Queue服務存儲和接收消息。

在每臺遠程機器上,使用cron運行一個腳本,監控日志并在檢測到運行中斷時向隊列發送消息。然后在本地機器上運行一個服務來監控隊列,并在收到消息時彈出警報。 

 

sqs-alerts下載地址:https://github.com/mrahtz/sqs-alerts

***,本文使用的所有shell腳本都可以在以下地址中找到:

https://github.com/mrahtz/dotfiles/tree/master/.local/bin

責任編輯:龐桂玉 來源: 機器學習算法與Python學習
相關推薦

2019-05-16 14:09:03

容器技巧開發

2012-02-28 09:41:00

Linux管理效率技巧

2010-03-10 10:41:23

Linux管理效率

2020-03-25 08:26:44

console.log前端

2020-06-04 15:55:54

GitHub代碼開發者

2021-02-07 09:26:55

機器學習建筑能源ML

2022-02-28 10:02:54

Linux技巧命令

2021-02-05 16:20:54

代碼Linux技巧

2022-03-24 09:34:06

Bootstrap

2019-05-13 14:00:13

CSS框架前端

2025-01-15 17:00:00

開發Linux命令

2022-09-05 14:17:48

Javascript技巧

2018-02-24 12:08:52

Python開發技巧

2015-08-04 10:51:26

vim效率技巧

2012-10-19 13:50:40

Linux管理效率技巧

2018-05-24 08:47:15

數據存儲技巧

2009-07-21 13:47:20

虛擬化IT服務器

2015-04-16 10:15:45

PHPPHP執行效率PHP技巧

2020-09-23 09:20:58

代碼Java字符串

2019-05-10 14:50:09

Java代碼技巧
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产在线看片 | 成人不卡一区二区 | 久久久久久久一级 | 少妇精品亚洲一区二区成人 | 国产精品视频网 | 91久久久久久久久 | 日一区二区 | 成人精品在线观看 | 精品综合久久久 | 成人影院网站ww555久久精品 | 亚洲成人蜜桃 | 欧美一级艳情片免费观看 | 精品在线一区 | 在线播放国产视频 | 日韩三级| 久久精品视频在线观看 | 久草欧美 | 成人在线播放网站 | 国产一区二区免费 | 一级aaaaaa毛片免费同男同女 | 成人免费在线 | 日韩不卡在线观看 | 视频一区中文字幕 | 久久久高清| 91精品国产91久久久久游泳池 | www.97国产 | 精品欧美乱码久久久久久 | 中文字幕精品一区二区三区精品 | 久久大陆 | 午夜视频网站 | 五月网婷婷 | 欧美日本一区二区 | 最新超碰 | 在线看片网站 | 成人动慢| 精品美女久久久 | 国产在线观 | 91精品国产色综合久久 | 欧美一级在线观看 | 国产在线看片 | 成人免费观看男女羞羞视频 |