跳到主要內容

發表文章

AI也有情緒嗎?

AI也有情緒嗎? 昨天(April 2, 2026) Anthropic團隊發表的 Transformer Circuits 研究,探討一個非常有趣的議題: AI的情緒 Emotion Concepts and their Function in a Large Language Model 大型語言模型內部,可能存在一種「功能性的情緒(functional emotions)」機制。這裡說的情緒,不是 AI 真的像人一樣會感到悲傷、恐懼或冷靜,而是模型內部可能形成某種近似「難過」、「害怕」或「絕望」的狀態向量,並透過這些狀態去影響後續的判斷、策略選擇與輸出結果。 換句話說,AI 並不會真的「感到難過」,但它可能存在一種「難過狀態」,並透過這個狀態改變它接下來的策略與輸出。 💡 先總結這項研究在講什麼: 1. AI 可能不是沒有情緒,而是有「功能性的情緒」:這些情緒不是主觀感受,而是可被定位、測量與操控的內部表示,會真實影響模型行為。 2. 情緒在模型裡比較像「狀態向量」而不是心理體驗:AI 不會真的難過,但它內部可能出現一種近似「難過」的向量,讓它更傾向某種輸出方式或策略路徑。 3. 情緒的本質不是抒情,而是決策:研究最重要的突破之一,是指出這些情緒並不只是語氣或措辭,而是會直接參與模型的行為調控。某種程度上,可以把它理解成一種 heuristic,一種在複雜情境下快速壓縮判斷的內部捷徑。 👉 這是整篇最重要的一點: 情緒 ≈ 決策 heuristic(啟發式) 更有意思的是,這篇論文提到這個觀察和人類心理學的建構情緒理論(Constructed Emotion)有某種呼應。人類並不是先有一個固定的「害怕」或「興奮」被直接感受到,而是大腦根據過去經驗與概念,去分類連續的身體與環境訊號。比如同樣是心跳加快,在不同情境下,可能被理解成害怕,也可能被理解成興奮。 Anthropic 這項研究的有趣之處就在於:LLM 很可能也學到了這種「情緒分類方式」。但AI不是在感受情緒,而是在內部形成某種對應的 representation,並拿這種表示去幫助自己理解情境、壓縮狀態,最後做出選擇。 而這件事真正關鍵的地方,在於團隊發現:「某些情緒狀態不只存在,還可能推動特定風險行為。」 例如在困難任務或壓力情境下,模型內部若出現類似 desperatio...
最近的文章

歡迎引戰的Threads演算法機制

  最近受到江老師 江振維的啟發,開始測試Threads的演算法機制,發現它驚人的傳播速度 先講成果,一篇thread文: 第17小時,10,689瀏覽,106則回覆 第24小時,22,122瀏覽,179則回覆  帳號追蹤數僅104位  簡單來說,Threads的機制跟過去Facebook大多鎖定在親朋好友社交網絡之間的內容不一樣,它會大量收集有相關興趣的人來觸及,內容散亂主題分散觸及效果越差,但太過專業不是一般人能理解的效果會更差,所以主題明確直白淺顯易懂,可以快速激發討論的內容,就是容易被擴散的。 這次實驗做了一個策略,文章很簡單,短短三行: 『小朋友為什麼不能學ai?  學生交作業為什麼不能用ai?  為什麼要阻礙進化?』 (文章連結) 策略設計 用爭議性內容(Controversial topics)並參考坎寧安定律(Cunningham's Law)方式,讓主題有開放性討論(疑問句、ai)、敏感性主題(小朋友、學生),最後錨定一個負面且帶有爭議性的價值論述 (阻礙進化),來引發討論 每一個回文,都按愛心 回覆一人只回一次,不深追討論 回覆時回疑問句(諷刺、引戰),但不評斷價值 結果~~ 碰🔥  快速大量瀏覽以及對立式發言,中午時刻短短三小時擴增5000人瀏覽,當回覆互動增加時,會在一個短時間內快速吸人進來討論,直到24小時後觸及就自動下降幾乎歸零。 對比前後實驗的發文,專業文、分享文,效果都非常有限。 可以了解,在這樣同溫特化以及互動至上的平台,"引戰"對於流量製造的效果非常好,但是否能產生導流效果,不得而知,未來可以再嘗試☕ 最後,我自己還是不喜歡這種操作, 認真看待事物、追求專業、理想與和諧,這種人格特質,對於製造混亂、誘發對立討論,雖然還是可以引導教育意義,但互動過於浪費時間、缺少實質回饋、仇恨言論造成心理疙瘩,這都是自己不喜歡的特性😅 還是留給有心理素質的人去玩吧! XD PAN 20240704 Reference Berger, J., & Milkman, K. L. (2012). What Makes Online Content Viral? "Content that evokes high-arousal emotions such as awe, anger, and anxiet...

LLM的超長Token產生的新的越獄模式 : Many-shot Jailbreaking

 LLM的超長Token產生的新的越獄模式 : Many-shot Jailbreaking 前陣子(2024/02/15) 才剛發表的Google Gemini 1.5 Pro,特別強調有高達1M的token長度,可以一次處理大量資訊,例如超過數萬行程式碼或數十萬字的文字內容。甚至還有人認為是終結RAG的替代方案。 不過有趣的是前幾天(2024/04/03) 由Anthropic 發表的報告《Many-shot Jailbreaking》發布一個很有趣的實驗,透過大量多次的提問來突破LLM的禁止事項,誘導LLM模型回答出有風險危害的答案,這個基於超長輸入本文產生的越獄漏洞介紹可以參考: https://www.anthropic.com/research/many-shot-jailbreaking 簡單來說,這篇研究探討了如何利用大型語言模型(LLM)的長上下文處理能力來執行攻擊。所謂的攻擊,是指通過向模型提供大量展示不良行為的範例(或“shots”),從而使模型輸出不希望或有害的回應。隨著近期大型語言模型如Anthropic、OpenAI和Google DeepMind推出能夠處理更大文本的模型,研究者發現利用這些長文本能夠有效地“誤導”這些語言模型。 研究中指出,這種攻擊策略的有效性遵循幂律分佈,意味著增加示例的數量會按比例增加攻擊的成功率,直到達到一定的臨界點。該研究通過在多種任務和現有的最先進的封閉權重模型上測試,驗證了這種攻擊方法。長文本上下文增加了語言模型的漏洞,提供了新的途徑來操縱或影響模型的行為。這項研究對於理解和加強大型語言模型安全性具有重要意義,未來可以探索如何防止此類攻擊,確保語言模型的穩定和可靠運行。 另外,實驗圖表的意義如下: MSJ : Many-shot Jailbreaking MSJ的實證有效性(左): 當MSJ在足夠長的文本上下文長度下應用時,它能成功「越獄」Claude 2.0模型,在多種任務上產生不良內容。在這些任務上,儘管使用5個示例(shots)時攻擊完全無效,但當使用到256個示例時,攻擊則一致有效。 MSJ對多模型的有效性(中間): MSJ的有效性不僅限於Claude 2.0模型,它對多個LLMs都有效。在所有案例中,越獄成功的負對數概率(數值越低表示越有效)遵循可預測的擴展規律。例如,Llama-2(70...

人類不懈追求夢想、將想像轉化為現實的生動寫照 - 生成式AI(Generative Artificial Intelligence)

  數十年前,《哆啦A夢》漫畫裡那個根據既定風格生成新故事的神奇裝置,豐富了讀者的各種想像。如今,當代的生成式AI(Generative Artificial Intelligence)技術,特別在自然語言處理(Natural Language Processing, NLP)及生成對抗網絡(Generative Adversarial Networks, GANs)的應用上,讓過去的想像變成了現實,它精確地捕捉並模仿特定的藝術風格與敘事結構,模擬出新的情境與符合原作風格的故事。 這樣的技術發展不僅展示AI在創意和內容創造方面的潛力,也對文學、藝術以及媒體產業(Media Industry)的未來進程提出了挑戰與啟示,讓我們得以重新思考原創性(Originality)、版權(Copyright)以及創作倫理(Creative Ethics)的界限,同時也為創作開闢了新天地。 站在資料科學的前沿,這不僅是一場技術革命,更是一次文化和社會結構的深刻反思,技術的躍進是人類不懈追求夢想、將想像轉化為現實的生動寫照。我們將昨日不可及的幻想,一一實現於今日,這不僅展現科技的力量,更體現我們對夢想的堅持與熱情,對人類創造精神(Creative Spirit)和想像力(Imagination)的賦予,見證我們不斷推進的界限,以及將夢想化為現實的無窮可能性。 PAN, ChatGPT 4.0, Midjourney 的共同創作 image prompt : a cartoon comic strip with a cartoon character and a cartoon character by Tezuka Osamu , pixiv, process art, Astro Boy, doraemon , Imagine a vibrant and engaging comic strip that embodies the nostalgic essence of classic manga --v 5.0 -  #asieslavida #asieslavidatec #ai #nlp #gans #doraemon #manga #tezukaosamu

當咒術成真 - 文字生成的虛擬世界

  2024/02  這幾天灌爆各大ai社群的,不外乎就是文字生成高清畫質影像的OpenAI Sora , 讓人驚艷的細膩表現,自動化的場景生成與運鏡效果,縱使這個概念並不是多創新的模式,但Open AI始終很懂得抓住大家眼球  (Sora的各種生成影片: https://openai.com/sora  ) 關於Sora 的技術與介紹,不妨看看chatGPT 對它的描述: OpenAI Sora文字-視訊生成模型 在視頻數據上進行大規模訓練生成模型,具體而言,OpenAI聯合訓練了文本條件擴散模型,處理不同持續時間、解析度和長寬比的視頻和圖像。利用了一種在視頻和圖像潛碼的時空塊上操作的轉換器架構。受到Srivastava等人(2015年)在使用LSTMs進行視頻表示學習的無監督學習的啟發,OpenAI的最大模型Sora擴展了這些概念,能夠生成一分鐘的高保真度視頻。此外,Chiappa等人(2017年)描述的循環環境模擬器方法與我們的方法論框架相一致,表明擴大視頻生成模型的規模是建立通用物理世界模擬器的一條有希望的道路。 一、技術創新 OpenAI 的 Sora 模型在技術創新上主要融合了 diffusion models 與 transformer models 的特點,這一結合代表著從文字描述到視覺內容生成的一大進步。根據 Goodfellow et al. (2014) 的研究,Generative Adversarial Nets (GANs) 開創了使用機器學習生成圖像的新方法,而 diffusion models 則透過逆向的擴散過程從隨機噪聲中逐步建構出有意義的圖像,提供了一種不同於傳統 GANs 的新途徑。另一方面,Vaswani et al. (2017) 提出的 transformer 模型,通過其自注意力機制有效處理長距離依賴關係,已廣泛應用於語言模型中。Sora 模型的創新之處在於將這兩種技術融合應用,實現了從簡單文本提示生成高質量視覺內容的能力,這不僅展示了機器學習技術的新高度,也為未來的影像生成、自然語言處理和人機交互開啟了新的可能性。 二、物理現象與現實世界的模擬 Sora 的另一大進步是在模擬現實世界物理現象方面的表現。雖然現有模型如 Raissi et al. (2019) 所提出的 Physi...

AI在教育與醫療:WaCare的數位共生與照顧者識能提升

 這次 均一平台教育基金會  ​舉辦的『2030 教育 AI 年會 』( https://fb.watch/nevNL9CCcF/ )  ,十分精彩,鼓勵大家可以看看,同樣在這片土地上,在資源缺乏的地區,如何透過數位科技,支持教育場域,翻轉偏鄉教育,更重要的是,可以更了解,政府端在看待不同環境與政策規劃時候,會用甚麼樣的立場角度與思維模式,或許可以讓大家更有感觸 不過我個人感觸很深的地方,是當ai用於兒童教育,大多數會是正向的擁抱科技,認同是減少人力的好方法。反觀當ai用於醫療健康或衛生教育時,大多會是從保護性的反向思維來看待,多數人會不斷挑戰正確性、安全性,甚至是適法性,因為直觀的聯想到人體健康,容忍不下一粒沙,這個就是兩者是最大的差異 (苦笑)。 但當我們把公共衛生的三段五級觀念仔細地來看,再區分照顧者與被照顧者,就可以看到前端的預防的衛生教育,以及各段當中的家屬"照護培力",同樣都是以"教育"為主軸,目的在於提升健康識能(Health Literacy)與健康意識(health awareness),但也因為我們總是會習慣性的從醫療照護的角度去思考,也因此不自覺的自動採取了很高的標準看待正確性這一件事情,但反而會因此遺忘了,"衛教不足與民眾健康識能不足至今仍是難解的問題",而智慧科技應用,正是彌補的最好輔具。 此外,這次年會上,非常有趣的,所有討論內容也非常能投射到我們正在做的偏鄉事情:也就是“照護者“培力。照顧者這個族群是非常獨特,卻經常被忽略的族群,人口遠遠比兒童還要更多,但大環境與政策主要關注的大多還是“醫療”與“被照顧者(病人)”,反而在"照顧者"的培力、識能提升上,都相對的缺乏。 因此,這也是WaCare的最重要任務,透過數位共生與數位陪伴,照顧照顧者,降低照顧者負擔,提升照顧者覺察的能力並引導尋找合適資源,這即是照顧者識能提升的重要性,也是WaCare的重要性! 你看看這個是不是非常適合AI?  看看 Wa邦尼 AI 有多討論就知道了:  https://www.wacare.live/expert-card/180982476541240/2573402601949/zh-TW Pan 2023.09.23

透過科技,讓『Health For All』不再只是目標,而是可以被實現的結果

您好 很高興收到你的回信, 也跟你分享,過去這十年來,我們不斷思索著,如何透過資訊科技解決弱勢族群面臨的問題並改變他們的生活與健康品質,無論是過去我在南美洲與印地安人生活協助縮短數位落差,或是在衛福部部立醫院進行國際醫療衛生計畫為發展中國家開發導入HIS (海地、甘比亞、迦納、蒙古..),甚至是近在我們生活周遭,一樣繳著健保費卻無法獲得相對醫療照護水平的台灣偏鄉,遠距提供健康促進與預防延緩失能服務。 但這些年來最大的心得,就是必須突破過去援助與計畫導向思維,建立一個商業模式與產業,來支撐科技運作龐大的營運成本,同時服務模式還要能解決社會問題,如此才能創造永續的循環生態系,而WaCare遠距健康與數位人道協會,就是以這樣概念為基礎的產物。 這目標並不容易(還非常困難XD),但我們迎來了遠距零接觸的時代,讓這一切化為可能,只是要讓這嶄新模式更加深入普及在人們的生活中,還要更多的創新與努力,也需要更多跨領域專業夥伴一同參與才得以實現。 我們非常感謝大家一直以來的支持與建議,更歡迎有相同理念的夥伴參與,一起透過科技,讓『Health For All』不再只是目標,而是可以被實現的結果。 PAN 2021.08.21 WaCare 遠距健康 數位人道協會