跳到主要內容

醫學健康跨領域合作的開始:資料工程





一直都很喜歡在會議上與跨領域的專家、醫師、學者分享我們在數據工程與分析應用上的發展經驗。
許多的專家學者,對於大數據應用的認知都仍侷限在一個超大型結構化資料集的子集合應用,在規劃好的條件設定下,針對特定的目標(疾病、行為)進行篩選,將數據narrow down到可以被個人電腦或是單一伺服器架構處理的小型資料集。
這樣的半手工處理方式,對於專一(Specific)領域主題的資料追蹤計算或許已經十分足夠,但當中倘若資料清理方式有改變、篩選條件增減,所有的數據都要從raw重新處理,不僅造成大量的時間與人力浪費,對於專案計畫進度的延宕更是麻煩。這些還不包含
結構化、非結構化(影像、訊號)與半結構化(Genomic)的異質資料整合處理,模型的建構與訓練驗證,以及更困難的即時(Realtime)巨量資料處理。
在當今的醫療健康領域中,基礎研究(Basic research)的重要性是無法取代的,但對於基礎研究到應用科學(Applied Science)研究的橋接,如何將研究成果整合到前端的服務應用,或是建立即時分析預測模型、並且整合到前端互動媒介,無可避免的這些都仰賴高度的IT與數據技術導入才能得以實現。
在這個充滿需求、機會的環境裡,正是資訊人、工程師、資料科學家揮灑長才與肝功能的美好世代,恭喜了!
至於個人隱私保護、病人資料不離院前提下如何發展雲端與巨量資料應用,那又是另一個故事與戰場了。
PAN
2017.12.24

留言

  1. HI
    我偷偷告訴你喔
    雖然我感覺您的文章很少人看與迴響

    但您大部份的想法我完全讚同喔,俱正面,而且富有經驗。
    能說善道,又不偏不倚~

    雖然文章是可以修飾的,有些人交談上與寫作是完全不同的。


    我是個患有罕見疾病的先天患者
    基因使然,害我有多重複合症,其中之一就是 "肌肉萎縮 " 啊。

    這讓我吃足苦頭,讓我幾乎是個宅男,外食、出國、出門都在個位數啊。
    頭腦也不好,估計也跟心肺有關或疾病有關吧。

    不知不覺就30了...
    沒學歷、沒肌肉、沒智力的我大概只能一直領低薪下去吧。
    看一本書,看10頁忘10頁。
    數學也不行,到X+Y就掛了,更不用提維基分。

    有VB基礎,也懂得搞office.vba。
    也頂多拿來做做行政用途罷了。

    想要出門創業,全身都沒力量,電腦輪椅最長距離只有15K。

    與人聊天,記不起來對方說什麼。
    也當不起領導人

    粗工不能做、設計有障礙、帶領沒閱歷。
    汒汒然就點到你的文章來看了 ~

    親戚看不起、朋友沒半個、找不到東西累積實力,身體狀況還越來越差。
    因為全身沒肌肉的關係,導致我的肝與腎又要負責全部的代謝。
    有一點肝硬化了

    血糖開始高了。

    人生啊,真的很慘 ~
    現在像個吸血蟲一樣,趴在一個名為台灣的病人上。

    我最近也才去理解一下ERP而已,卻不懂什麼BPR'BPM。

    不管是你說的 " 嘴巴吃垃圾 " or " 獲利的點子 " or " 負能量 " or 什麼 ~
    我真的這陣子全都體會過了

    因為身體整天被關在家的我該感到欣慰嘛?
    最近真的不順到已經開始懷疑自已的生存意義了。

    謝謝你的分享喔,我想~ 我的基因如果能正常一點,大概會走跟你一樣的路吧。


    只會出一張嘴的上司,正事都不做,專業能力不足。
    會耍心機的同事,不儘會奉承,還會搞很多小動作。

    以及儘管你的條件很差,差到極點,都還會陪你聊聊講講話的朋友,雖然他們很忙。

    以及隔著電腦來認識這個世界的我
    那些網頁語言、ERP、進銷存、UIPATH、AI、物聯網

    回覆刪除
  2. bons casino bonus code "BONUS" for December 2021
    bons casino bonus code "BONUS" for December 2021. New bet365 players get a $250 bonus on the first deposit. bons casino welcome ボンズ カジノ bonus. Rating: 90% · ‎Review by bet365 Casinoinjapan.com

    回覆刪除

張貼留言

這個網誌中的熱門文章

Google 資料庫方案–Spreadsheet–(1)資料呈現

HEMiDEMi 的標籤: Google , Google SpreadSheet , 雲端 早在規劃『 教育,意義! 』project時, 便有打算將整個網站建立過程撰寫一篇教學,讓有興趣以google 服務為基礎進行開發的朋友參考。 沒想到這個想法擺著就拖了好幾個月, 好在學生提出了問題,就趁這機會寫一寫吧。 基本上『 教育,意義! 』網站的架構完全建立在Google提供的服務, 廣義來說也是個雲端的系統, 所有的資料是分散在不同的服務架構下,再用GAE, Javascrript將服務資訊串接起來, 由Blogspot 統一呈現。 省了租主機的費用,或架站的硬體、電費, 最好的地方在於不用管理主機維運的問題, 只要專心做我的創意、嘗鮮就好了!!   多棒! 若將『 教育,意義! 』網站依功能層次來分類,可以分為三層結構, 當中的層次與使用技術大致如下: UI 介面層 服務 : Blogspot (網站介面) , Picasa (相簿空間), Google Apps 技術 : Javascript , AJAX ( JQuery ) App應用層  服務 : Google App Engine (GAE) 技術 : Java, Java Server Page (JSP) 資料層 服務 : Google Docs (文件), Google Spreadsheet (試算表) 技術/函式庫 : Java, Google Data APIs 本篇文章將著重在介紹以Google Spreadsheet 做為雲端資料庫, 其他主題將會陸續推出。 若對Google API 與 Google App Engine 初步建置有興趣, 可以參考之前文章: 佛心來著的 Google Data API – for JAVA 雲端的開始:Netbeans 無痛 Google App Engine Java 服務開發 Google Spreadsheet 做為資料庫系統 對於小型的資料系統來說, 採用Google Spreadsheet做為應用程式資料庫(如問卷調查或線上系統) 也算堪用, 目前的儲存限制為 : 40 萬個儲存格 每張工作表最多...

當咒術成真 - 文字生成的虛擬世界

  2024/02  這幾天灌爆各大ai社群的,不外乎就是文字生成高清畫質影像的OpenAI Sora , 讓人驚艷的細膩表現,自動化的場景生成與運鏡效果,縱使這個概念並不是多創新的模式,但Open AI始終很懂得抓住大家眼球  (Sora的各種生成影片: https://openai.com/sora  ) 關於Sora 的技術與介紹,不妨看看chatGPT 對它的描述: OpenAI Sora文字-視訊生成模型 在視頻數據上進行大規模訓練生成模型,具體而言,OpenAI聯合訓練了文本條件擴散模型,處理不同持續時間、解析度和長寬比的視頻和圖像。利用了一種在視頻和圖像潛碼的時空塊上操作的轉換器架構。受到Srivastava等人(2015年)在使用LSTMs進行視頻表示學習的無監督學習的啟發,OpenAI的最大模型Sora擴展了這些概念,能夠生成一分鐘的高保真度視頻。此外,Chiappa等人(2017年)描述的循環環境模擬器方法與我們的方法論框架相一致,表明擴大視頻生成模型的規模是建立通用物理世界模擬器的一條有希望的道路。 一、技術創新 OpenAI 的 Sora 模型在技術創新上主要融合了 diffusion models 與 transformer models 的特點,這一結合代表著從文字描述到視覺內容生成的一大進步。根據 Goodfellow et al. (2014) 的研究,Generative Adversarial Nets (GANs) 開創了使用機器學習生成圖像的新方法,而 diffusion models 則透過逆向的擴散過程從隨機噪聲中逐步建構出有意義的圖像,提供了一種不同於傳統 GANs 的新途徑。另一方面,Vaswani et al. (2017) 提出的 transformer 模型,通過其自注意力機制有效處理長距離依賴關係,已廣泛應用於語言模型中。Sora 模型的創新之處在於將這兩種技術融合應用,實現了從簡單文本提示生成高質量視覺內容的能力,這不僅展示了機器學習技術的新高度,也為未來的影像生成、自然語言處理和人機交互開啟了新的可能性。 二、物理現象與現實世界的模擬 Sora 的另一大進步是在模擬現實世界物理現象方面的表現。雖然現有模型如 Raissi et al. (2019) 所提出的 Physi...