跳到主要內容

Hadoop with Netbeans 函式包裹至單一專案JAR檔

75580003

 

 

在Hadoop雲端環境執行程式時,

主要是將程式先包裹為一個JAR檔後,由Master 將其做為Task送出到各個node進行處理,

然而當系統較為複雜時,程式內引用的處理程序往往更為繁雜,

以生物資訊的案例來說,

一個專案中可能會需要用到如:連結遠端特定服務的library ( Ex:BLAST) , XML 的Library (Ex: JDOM) , 網路連結套件 (Ex: httpclient), WSDL, SAAJ …. 等許許多多的外部函式庫。

 

這狀況若以Web Service 來說並不會造成問題,

因為Netbeans 會自動Deploy 成一個 war檔進行部署。

 

但在一般的專案中,

Netbeans只會將專案本身包為 JAR檔,其餘外部的函式( 如引入在 /lib/下的外部jar檔)

在build後並不會包入JAR中,而僅是存放在dist/中的lib/目錄下。

 

這在平常或許沒什麼太大問題,

只要設定classpath或放到公用java classpath (ext/lib)中即可。

 

但在雲端環境中,由於JAR是做為Task傳送到不同的node server執行,

除非是每個node都預先存放好 library,否則在執行時便會因為僅將專案JAR檔送出,

造成 node server找不到外部library 而引發ClassNotFoundException導致task falue 。

 

解決上述問題的方式,有以下幾種方法:

  1. 將library放入各node Server的共用函式資料夾
  2. 將外部涵式解開JAR後,將package複製到自己的專案內,再令其重新build包裹在一起
  3. 直接將JAR檔包進JAR中

 

然而在雲端環境中,若要逐一對node server預先設定外部library,

不只耗時費工 (node server可能高達百臺),更有可能因為外部server而無法進行設定。

 

以上作法最便利的便是第三種方式:將外部的JAR包入專案的JAR中

此方法類似 Eclipse中的 “Fat Jar” plugin ,可以將外部的JAR直接包裝進JAR中,

而 Netbeans的作法則僅需修改ANT的build.xml便可達成。

 

唯編輯ANT的方式較為複雜,以下推薦一個網友分享的方式讓大家參考。

( From: Fat JARs out of NetBeans – by Joshua Born )

 

作法如下 (以下採用 Netbeans IDE 6.9.1):

 

  • 1. 將外部函式匯入 lib

image

 

  • 2. 點選專案視窗的Files分頁

image

 

  • 3. 開啟專案中的build.xml檔,並於<project> </project> 範圍內加入以下Tag,並存檔
  <target name="-unjar-and-copy-lib-jars">
<unjar dest="${build.classes.dir}">
<fileset dir="lib">
<include name="**/*.jar"/>
</fileset>
<patternset>
<exclude name="META-INF/**"/>
<exclude name="/*"/>
</patternset>
</unjar>
</target>

<target depends="init,compile,-pre-pre-jar,-pre-jar,-unjar-and-copy-lib-jars" name="fat-jar">
<property location="${build.classes.dir}" name="build.classes.dir.resolved"/>
<jar destfile="${dist.jar}">
<fileset dir="${build.classes.dir}"/>
<manifest>
<attribute name="Main-Class" value="${main.class}"/>
</manifest>
</jar>
<echo>To run this application from the command line without Ant, try:</echo>
<property location="${dist.jar}" name="dist.jar.resolved"/>
<echo>java -jar "${dist.jar.resolved}"</echo>
</target>

<target depends="clean,fat-jar" name="clean-and-fat-jar"/>
 


  • 4. build.xml修改完成後,在該檔案上按右鍵選[Run Target] –> [Other Targets] ,當中便會出現[fat-jar] , [clean-and-fat-jar],執行[fat-jar]後即可在dist中編出單一個JAR檔
 image
 
 

image
 
 
透過上述的方法便可以很輕鬆的進行JAR包裝,
這對想要移植過去的JAVA專案至雲端應用上是非常有幫助的,
 
不過這個作法有許多缺點,
最大的問題是包裹後的JAR檔相當肥大(檔案大小),
因此在Master Server進行task分派時勢必會造成流量的增加,
以單JAR 5mb來說,
若有100個task運行於100個node,則一個job造成的流量便會超過500mb,
這對系統來說會是非常大的負擔,尤其是node server不在鄰近區域時更會影響,

 


因此,盡可能的精減外部Library的使用,


並且將未用到的library 刪除,更甚至用解JAR的方式來取出僅需要的部份,


這樣的方式便可以減少傳輸流量的暴增,降低系統負擔。


 


BP  2011.06.10


 


相關文章:


  ‧『Hadoop with Netbeans 雲端開發環境

留言

這個網誌中的熱門文章

物聯網與大數據時代下的個人化精準醫療

Source:  idownload blog 2014 年,當致力於電子病歷 (Electronic Medical Record, EMR) 分析,藉以尋找癌症機轉與治療方法的大數據公司 Flatiron Health 獲得 Google 創投( Google Ventures )高達 1.3 億美元投資後 [1] ,個人化精準醫療( personalized medicine )隨即成為火紅的熱門主題,這樣一股氣勢發展,讓美國總統歐巴馬 (Obama) 更在今年提出精準醫療計劃( Precision Medicine Initiative) ,並投入 2016 年預算高達 2.15 億美金之譜 [2] 。 在精準醫療這般的強勢展開下,不僅僅只有過去生物資訊上基因體學、轉錄體學上的資料探勘或是電子病歷醫療健康數據分析,物聯網 (Internet of Thing) 的發展也同時透過行動裝置與消費型穿戴式裝置大舉進入個人化健康促進與醫學上疾病研究領域。在這機電感測裝置快速發展下,各種輕巧卻具備多種感測裝置的隨身穿戴式裝置逐漸普及於消費電子商品市場,各家廠商發展出豐富的產品功能不僅能記錄活動頻率,更能偵測活動強度、睡眠狀態、作息規律,更甚至能取得穿戴者 24 小時的心跳狀態與壓力疲勞狀態,並利用這些生理數據進行健康促進的提醒與建議。

醫學健康跨領域合作的開始:資料工程

一直都很喜歡在會議上與跨領域的專家、醫師、學者分享我們在數據工程與分析應用上的發展經驗。 許多的專家學者,對於大數據應用的認知都仍侷限在一個超大型結構化資料集的子集合應用,在規劃好的條件設定下,針對特定的目標(疾病、行為)進行篩選,將數據narrow down到可以被個人電腦或是單一伺服器架構處理的小型資料集。 這樣的半手工處理方式,對於專一(Specific)領域主題的資料追蹤計算或許已經十分足夠,但當中倘若資料清理方式有改變、篩選條件增減,所有的數據都要從raw重新處理,不僅造成大量的時間與人力浪費,對於專案計畫進度的延宕更是麻煩。這些還不包含

別再期末談臨終

『在那六年多的時間,我常常反省、後悔、卻也培養勇氣,問自己再遇到時要做什麼決定?.......回想我要簽同意書的時候,真的會抖-我有資格決定人家生死嗎?』 面對死亡,我們都很害怕,更何況是家人的臨終。 但究竟我們的選擇,是為了給家人最後的尊嚴? 還是填補自己的罪惡感? 學習勇敢面對、學習放下, 更要學著為自己的未來做好規劃,不成為子女的負擔。 希望大家一起鼓勵這個勇敢的朋友, 因為她的經驗分享,讓我們更加了解, 面對家人臨終,我們該如何做好準備。 『末期才談臨終太遲』 https://www.wacare.live/health-forum/q/1984983840830?topicId=25049764537230&fbclid=IwAR1ei-zrfSj9w5kbvBW5ecSbqWrI408fJ1qjXhisZwLxYdbON_jJbNKMAyY 更多的失智照護課程 https://www.wahere.wapro.live/udnxwacare Pan 2020.12.22 #臨終 #失智 #善終 #放棄急救 #預立醫療 #病人自主