海馬迴受損的天空 - PAN's Hippocampus-impaired

 LLM的超長Token產生的新的越獄模式 : Many-shot Jailbreaking 前陣子(2024/02/15) 才剛發表的Google Gemini 1.5 Pro，特別強調有高達1M的token長度，可以一次處理大量資訊，例如超過數萬行程式碼或數十萬字的文字內容。甚至還有人認為是終結RAG的替代方案。 不過有趣的是前幾天(2024/04/03) 由Anthropic 發表的報告《Many-shot Jailbreaking》發布一個很有趣的實驗，透過大量多次的提問來突破LLM的禁止事項，誘導LLM模型回答出有風險危害的答案，這個基於超長輸入本文產生的越獄漏洞介紹可以參考: https://www.anthropic.com/research/many-shot-jailbreaking 簡單來說，這篇研究探討了如何利用大型語言模型（LLM）的長上下文處理能力來執行攻擊。所謂的攻擊，是指通過向模型提供大量展示不良行為的範例（或“shots”），從而使模型輸出不希望或有害的回應。隨著近期大型語言模型如Anthropic、OpenAI和Google DeepMind推出能夠處理更大文本的模型，研究者發現利用這些長文本能夠有效地“誤導”這些語言模型。 研究中指出，這種攻擊策略的有效性遵循幂律分佈，意味著增加示例的數量會按比例增加攻擊的成功率，直到達到一定的臨界點。該研究通過在多種任務和現有的最先進的封閉權重模型上測試，驗證了這種攻擊方法。長文本上下文增加了語言模型的漏洞，提供了新的途徑來操縱或影響模型的行為。這項研究對於理解和加強大型語言模型安全性具有重要意義，未來可以探索如何防止此類攻擊，確保語言模型的穩定和可靠運行。 另外，實驗圖表的意義如下: MSJ : Many-shot Jailbreaking MSJ的實證有效性（左）： 當MSJ在足夠長的文本上下文長度下應用時，它能成功「越獄」Claude 2.0模型，在多種任務上產生不良內容。在這些任務上，儘管使用5個示例（shots）時攻擊完全無效，但當使用到256個示例時，攻擊則一致有效。 MSJ對多模型的有效性（中間）： MSJ的有效性不僅限於Claude 2.0模型，它對多個LLMs都有效。在所有案例中，越獄成功的負對數概率（數值越低表示越有效）遵循可預測的擴展規律。例如，Llama-2（70B）模型

  數十年前，《哆啦A夢》漫畫裡那個根據既定風格生成新故事的神奇裝置，豐富了讀者的各種想像。如今，當代的生成式AI(Generative Artificial Intelligence)技術，特別在自然語言處理(Natural Language Processing, NLP)及生成對抗網絡(Generative Adversarial Networks, GANs)的應用上，讓過去的想像變成了現實，它精確地捕捉並模仿特定的藝術風格與敘事結構，模擬出新的情境與符合原作風格的故事。 這樣的技術發展不僅展示AI在創意和內容創造方面的潛力，也對文學、藝術以及媒體產業(Media Industry)的未來進程提出了挑戰與啟示，讓我們得以重新思考原創性(Originality)、版權(Copyright)以及創作倫理(Creative Ethics)的界限，同時也為創作開闢了新天地。 站在資料科學的前沿，這不僅是一場技術革命，更是一次文化和社會結構的深刻反思，技術的躍進是人類不懈追求夢想、將想像轉化為現實的生動寫照。我們將昨日不可及的幻想，一一實現於今日，這不僅展現科技的力量，更體現我們對夢想的堅持與熱情，對人類創造精神(Creative Spirit)和想像力(Imagination)的賦予，見證我們不斷推進的界限，以及將夢想化為現實的無窮可能性。 PAN, ChatGPT 4.0, Midjourney 的共同創作 image prompt : a cartoon comic strip with a cartoon character and a cartoon character by Tezuka Osamu , pixiv, process art, Astro Boy, doraemon , Imagine a vibrant and engaging comic strip that embodies the nostalgic essence of classic manga --v 5.0 -  #asieslavida #asieslavidatec #ai #nlp #gans #doraemon #manga #tezukaosamu

  2024/02  這幾天灌爆各大ai社群的，不外乎就是文字生成高清畫質影像的OpenAI Sora ， 讓人驚艷的細膩表現，自動化的場景生成與運鏡效果，縱使這個概念並不是多創新的模式，但Open AI始終很懂得抓住大家眼球  (Sora的各種生成影片： https://openai.com/sora  ) 關於Sora 的技術與介紹，不妨看看chatGPT 對它的描述： OpenAI Sora文字-視訊生成模型 在視頻數據上進行大規模訓練生成模型，具體而言，OpenAI聯合訓練了文本條件擴散模型，處理不同持續時間、解析度和長寬比的視頻和圖像。利用了一種在視頻和圖像潛碼的時空塊上操作的轉換器架構。受到Srivastava等人（2015年）在使用LSTMs進行視頻表示學習的無監督學習的啟發，OpenAI的最大模型Sora擴展了這些概念，能夠生成一分鐘的高保真度視頻。此外，Chiappa等人（2017年）描述的循環環境模擬器方法與我們的方法論框架相一致，表明擴大視頻生成模型的規模是建立通用物理世界模擬器的一條有希望的道路。 一、技術創新 OpenAI 的 Sora 模型在技術創新上主要融合了 diffusion models 與 transformer models 的特點，這一結合代表著從文字描述到視覺內容生成的一大進步。根據 Goodfellow et al. (2014) 的研究，Generative Adversarial Nets (GANs) 開創了使用機器學習生成圖像的新方法，而 diffusion models 則透過逆向的擴散過程從隨機噪聲中逐步建構出有意義的圖像，提供了一種不同於傳統 GANs 的新途徑。另一方面，Vaswani et al. (2017) 提出的 transformer 模型，通過其自注意力機制有效處理長距離依賴關係，已廣泛應用於語言模型中。Sora 模型的創新之處在於將這兩種技術融合應用，實現了從簡單文本提示生成高質量視覺內容的能力，這不僅展示了機器學習技術的新高度，也為未來的影像生成、自然語言處理和人機交互開啟了新的可能性。 二、物理現象與現實世界的模擬 Sora 的另一大進步是在模擬現實世界物理現象方面的表現。雖然現有模型如 Raissi et al. (2019) 所提出的 Physics-Informed Neural

 這次 均一平台教育基金會  ​舉辦的『2030 教育 AI 年會 』( https://fb.watch/nevNL9CCcF/ )  ，十分精彩，鼓勵大家可以看看，同樣在這片土地上，在資源缺乏的地區，如何透過數位科技，支持教育場域，翻轉偏鄉教育，更重要的是，可以更了解，政府端在看待不同環境與政策規劃時候，會用甚麼樣的立場角度與思維模式，或許可以讓大家更有感觸 不過我個人感觸很深的地方，是當ai用於兒童教育，大多數會是正向的擁抱科技，認同是減少人力的好方法。反觀當ai用於醫療健康或衛生教育時，大多會是從保護性的反向思維來看待，多數人會不斷挑戰正確性、安全性，甚至是適法性，因為直觀的聯想到人體健康，容忍不下一粒沙，這個就是兩者是最大的差異 (苦笑)。 但當我們把公共衛生的三段五級觀念仔細地來看，再區分照顧者與被照顧者，就可以看到前端的預防的衛生教育，以及各段當中的家屬"照護培力"，同樣都是以"教育"為主軸，目的在於提升健康識能(Health Literacy)與健康意識(health awareness)，但也因為我們總是會習慣性的從醫療照護的角度去思考，也因此不自覺的自動採取了很高的標準看待正確性這一件事情，但反而會因此遺忘了，"衛教不足與民眾健康識能不足至今仍是難解的問題"，而智慧科技應用，正是彌補的最好輔具。 此外，這次年會上，非常有趣的，所有討論內容也非常能投射到我們正在做的偏鄉事情：也就是“照護者“培力。照顧者這個族群是非常獨特，卻經常被忽略的族群，人口遠遠比兒童還要更多，但大環境與政策主要關注的大多還是“醫療”與“被照顧者(病人)”，反而在"照顧者"的培力、識能提升上，都相對的缺乏。 因此，這也是WaCare的最重要任務，透過數位共生與數位陪伴，照顧照顧者，降低照顧者負擔，提升照顧者覺察的能力並引導尋找合適資源，這即是照顧者識能提升的重要性，也是WaCare的重要性！ 你看看這個是不是非常適合AI?  看看 Wa邦尼 AI 有多討論就知道了:  https://www.wacare.live/expert-card/180982476541240/2573402601949/zh-TW Pan 2023.09.23

您好 很高興收到你的回信， 也跟你分享，過去這十年來，我們不斷思索著，如何透過資訊科技解決弱勢族群面臨的問題並改變他們的生活與健康品質，無論是過去我在南美洲與印地安人生活協助縮短數位落差，或是在衛福部部立醫院進行國際醫療衛生計畫為發展中國家開發導入HIS (海地、甘比亞、迦納、蒙古..)，甚至是近在我們生活周遭，一樣繳著健保費卻無法獲得相對醫療照護水平的台灣偏鄉，遠距提供健康促進與預防延緩失能服務。 但這些年來最大的心得，就是必須突破過去援助與計畫導向思維，建立一個商業模式與產業，來支撐科技運作龐大的營運成本，同時服務模式還要能解決社會問題，如此才能創造永續的循環生態系，而WaCare遠距健康與數位人道協會，就是以這樣概念為基礎的產物。 這目標並不容易(還非常困難XD)，但我們迎來了遠距零接觸的時代，讓這一切化為可能，只是要讓這嶄新模式更加深入普及在人們的生活中，還要更多的創新與努力，也需要更多跨領域專業夥伴一同參與才得以實現。 我們非常感謝大家一直以來的支持與建議，更歡迎有相同理念的夥伴參與，一起透過科技，讓『Health For All』不再只是目標，而是可以被實現的結果。 PAN 2021.08.21 WaCare 遠距健康 數位人道協會

許多人都問我，這幾個月來udn x WaCare 失智症社群發展這麼好，這麼快就速吸引數千名精準失智症相關民眾、家屬、專業人員加入WaCare，很不容易，但是，為什麼我們要選擇失智症這個"含金量"不多的疾病，而不選擇像是癌症、心血管疾病這樣的領域？？  原因很單純，因為我就是失智症照顧家屬。 我想做的，就是讓母親在這段失智後的人生旅途中，過得更平安、更快樂，也想要讓我的兄姊家人們，在未來漫長的照顧生活上，有更多支援與相互扶持，不再無助、徬徨或怨懟。 母親病程發展至今，從2017年的長期臥床，到現在2021年節，我還能牽著她到廟裡拜拜，總使她不斷的把我辨認成她的弟弟，也已經不再記得這個年年來參拜的廟宇為何，但是看著她平安寧靜的過著日子，我們也學會了好的方法穩定她的情緒、維持她的身體機能肌耐力，家人們和樂喜悅，這一切，都讓我無比的感謝，也覺得當初做的這個決定絕對沒有錯。 今年的新希望， 是讓WaCare將這個經驗轉化為更多貼心的功能，幫助更多受到失智症折磨的照顧家屬們，一起找到屬於自己與家人的平安喜樂，也讓更多的人認識失智症，讓失智症不再令人恐懼害怕。 我們一起加油！ 《跟著我們學習失智症照顧》 udn x WaCare 失智症照顧指南課程 https://www.wahere.wapro.live/udnxwacare #失智症 #照顧 #wacare #asieslavida #asieslavidatec