實例解析用Perl抓取網頁和提交表格
本文和大家重點討論一下用Perl抓取網頁和提交表格的方法,在學習Perl的過程中這些問題是經常會遇到的,這里簡單介紹一下用Perl來實現抓好取網頁的源代碼,以及用POST的方法來提交表格,并返回結果。
用Perl抓取網頁和提交表格
這里簡單介紹一下用Perl來實現抓好取網頁的源代碼,以及用POST的方法來提交表格,并返回結果。難的講不來,講講簡單的。
這里講到的Perl模塊有:
useLWP::Simple;useLWP::UserAgent;用Perldoc查看詳細的用法。
1,用Perl抓取網頁
如果只是要拿到某個網頁,那使用LWP::Simple里的函數是最簡單的。通過調用get($url)函數,就可以得到相關網址的內容。
- my$url='http://freshair.npr.org/dayFA.cfm?todayDate=current'
- useLWP::Simple;
- my$content=get$url;
- die"Couldn'tget$url"unlessdefined$content;
#$content里是網頁內容,下面是對此內容作些分析:
- if($content=~m/jazz/i){
- print"They'retalkingaboutjazztodayonFreshAir!\n";
- }else{
- print"FreshAirisapparentlyjazzlesstoday.\n";
- }
非常簡單易懂。拿網頁內容是容易的,難的是用正則過濾需要的內容。
2,通過POST提交表格
部分HTML表格使用HTMLPOST向服務器提交數據,在這里你可以這樣:
- $response=$browser->post($url,
- [
- formkey1=>value1,
- formkey2=>value2,
- ...
- ],
- );
實例分析:例如在http://www.enzim.hu/hmmtop/html/submit.html)提交一段序列并返回結果,用Perl來實現。代碼如下:
- #!/usr/bin/Perl
- useLWP::UserAgent;
- my$browser=LWP::UserAgent->new;
- $protein="MSSSTPFDPYALSEHDEERPQNVQSKSRTAELQAEIDDTVGIMRDNINKVAERGERLTSI";
- my$SUSUI_URL="http://www.enzim.hu/hmmtop/server/hmmtop.cgi";
- my$response=$browser->post($SUSUI_URL,['if'=>$protein,]);
- if($response->is_success){
- print$response->content;
- }else{
- print"Badluckthistime\n";
- }
通過分析http://www.enzim.hu/hmmtop/html/submit.html的頁面可知,這個要提交的input只有一個,就是name="if"。$protein就是要提交的序列。$response->content就是返回結果。
【編輯推薦】