surfshark免费

Anthropic利用特徵解构神经网路提升模型的可解释性

OpenAI的竞争者Anthropic发表的最新人工智慧研究论文〈Decomposing Language Models With Dictionary Learning〉,提出一种称为字典学习的方法,增加对神经网路的解释性。这项研究让Anthropic更能够监控模型,进而引导模型的行为,提高企业和社会在采用人工智慧的安全性和可靠性。

由於神经网路是以资料进行训练,而非根据规则的程式设计,每一步训练,都会更新数百万甚至数十亿个参数,最终使模型得以更好地完成任务,但Anthropic提到,虽然研究人员可以理解训练网路的数学运算,但是却不真正明白模型是如何从一堆数学运算中,导出最後的行为。而这样的状况,使得研究人员很难判断模型出现的问题,而且也难以进行修复。

虽然现今人类已经进行了数十年的神经科学研究,对於大脑的运作有了深入的了解,但是仍然有很多大脑中的谜团尚待解密。类似的情况,人工神经网路也存在难以完全理解的部分,只不过与真实大脑不同,研究人员可以透过实验来探索其中的运作机制。

尽管如此,过去对神经元的实验并没有太多帮助,研究人员透过干预单一神经元,观察该神经元对特定输入的反应,他们发现,单一神经元的活化,与神经网路的整体行为并不一致。在小语言模型中,单一神经元会在英语对话、HTTP请求或是韩语文本等不相关的上下文都很活跃,电脑视觉模型中的同一神经元,可能会对猫脸和汽车都有反应。也就是说,在不同的情况下,神经元的活化可以代表着不同意义。

在Anthropic最新的研究中,研究人员扩大分析单位,不在单一的神经元中寻找规律,而是运用一种称为特徵(Feature)的概念。每个特徵都会对应一群神经元活动模式,这为研究人员提供了新的分析途径,能够将复杂的神经网路解构成更容易理解的单位。

在Transformer语言模型中,研究人员成功将一个包含512个神经元的层,分解成超过4,000个特徵。这些特徵涵盖了DNA序列、法律用语、HTTP请求、希伯来文和营养标示等范畴。此外,研究人员也确认了特徵的解释性远比单一神经元更高。

论文中也提到,研究人员发展了自动解释方法,来验证特徵的可解释性。藉由大型语言模型来生成小模型特徵的描述,并以另一个模型的预测能力对描述进行评分,而实验结果证实,特徵的得分仍高於神经元,如此便证实了特徵的活跃和模型下游行为具一致性。研究人员还发现,在不同模型间所学到的特徵大致通用,因此一个模型从特徵得到的经验,可能适用於其他模型。

这项研究的贡献,在於克服单一神经元的不可解释性,透过将神经元分群成特徵,研究人员将能够更好地理解模型,并且发展更具安全性和可靠性的人工智慧服务。未来Anthropic研究人员会扩大研究范畴,理解大型语言模型的行为。…

surfshark免费

成王之路!Nvidia如何变得所向披靡? – IC/半导体 – TechNice科技岛-掌握科技与行销最新动态

编译/高晟钧

短短几年内,Nvidia便从一个主要从事高阶游戏晶片制造的公司,摇身一变成为市值估计超过1兆美元的人工智慧巨头,成功加入科技巨头Apple、微软、Amazon和Alphabet,跨入科技金字塔的顶端。Nvidia究竟有何独到之处,他们又是如何在短短几年内获得如此之成就呢?

长期以来,Nvidia一直专注於GPU的开发上,这也是Nvidia主要的核心业务。(图/123RF)

GPU升级

长期以来,Nvidia一直专注於GPU的开发上,这也是Nvidia主要的核心业务。GPU晶片主要为渲染视讯、图像和动画处理等显示功能而设计,对於一些高画质要求的游戏是不可或缺的。另一方面,GPU对於许多共同运行的小型晶片核心也有着重要帮助,它能够加速CPU的运算效能。

更多新闻:Google Cloud与Nvidia合作 助功生成式人工智慧发展

而对於Google、微软等庞大资料中心的云端运行,GPU真正地展现了其价值,该市场价值也大大超越了视频游戏。根据估计,Nvidia的资料中心部门年收入已经从2016年的3.4亿美元激增至如今的150亿美元,更可怕的是,一切还只是刚刚开始。

ChatGPT的出现

OpenAI在去前年底推出ChatGPT,实现了「生成式人工智慧」的理念,即透过大量资料训练,藉此在资料生成图像与文字中查询答案。

由於Nvidia拥有最适合训练人工智慧模型和推理任务的晶片,使得该公司的高阶系统备受推崇。尽管晶片供不应求,该公司的数据中心收入依旧在短短三个月内增加了一倍之多,分析师更是预言其明年的收入将突破600亿美元。

成功的秘密:软体CUDA

软体可谓是硬体运作的心脏。尽管晶片公司一般不负责应用程式的开发,但通常会提供允许开发人员在晶片上编写运行APP的软体工具。

2006年,Nvidia推出统一的GPU程式语言──CUDA,它不只解决以前成本过高的数学密集型问题,也铸造了一条竞争对手难以跨越的护城河,使得Nvidia从众多科技公司中脱颖而出。

随着时间推移,CUDA已发展出包含AI开发人员使用的250个软体库。这也使得Nvidia成为了人工智慧开发人员的首选平台。去年,CUDA的下载量已经达到了2,500万次,是截至去年以前总下载量的2倍之多。

偏执者得以生存

Nvidia的GPU如此昂贵,其又是如何保持领先地位呢?Nvidia成功的秘诀,在於保持晶片与软体性能的并肩前行。当Intel和AMD开始将自己的GPU技术与CPU晶片整合时,Nvidia也曾面临生存危机;当时Intel的年收入是Nvidia的10倍以上。

然而,没有一家科技公司可以真正的无懈可击。Nvidia的成功或许正应证了当年来自Intel前老板的一句建言:「只有偏执者才能生存。」

资料来源:Wsj.com

※更多ChatGPT相关讯息,请参考【生成式AI创新学院】。

surfshark免费

生成式AI背後的推手 「LLM大型语言模型」 – 产业供应 – TechNice科技岛-掌握科技与行销最新动态

记者/周子宁

AI浪潮席卷全球,一时间,讲坛节目、社群平台甚至人们茶余饭後的谈资都充满AI相关的话题。随着大众目光放向人工智慧的区块,更多相关的专业词语出现在大家视野中,而频繁被提起的「LLM」就是其中一员,究竟「LLM」是甚麽?又与AI有甚麽样的关联呢?

LLM大型语言模型受到AI浪潮影响,进入大众视野。示意图:取自RF123

LLM是甚麽?

LLM(Large Language Model,大型语言模型)是一种深度学习模型,可以透过记忆文本数据学习大量的知识。LLM大型语言模型内建超过一千亿个参数的自然语言处理系统(natural language processing,简称NLP),帮助LLM吸收巨量资料数据并学习字句逻辑,包含文章、影音、图片和书籍等都在学习范围,学习完成後可应用在问答、翻译和生成文本上。

而LLM大型语言模型之所以被冠以「大型」,是因为该模型在学习时可以自主更改的参数量极高,而这也代表LLM的知识库存远比一般学习模型丰富、应用范围更广,因此被称为「大型」语言模型。

更多新闻:Bard还是不够真实?捏造使用者不曾寄出的mail

LLM跟AI有甚麽关系?

如上段所言,LLM(Large Language Model,大型语言模型)是一种深度学习模型,而其工作原理就是通过获取的文本数据来分析文字逻辑,从而由大量的数据库中生成新文本。这样的功能描述是不是让人顿感熟悉?没错,最近大放异彩的ChatGPT功能也相近於此,而ChatGPT就是其中一种LLM的应用。

说到这里或许有些人感到混淆:ChatGPT是生成式AI?但ChatGPT又是其中一种LLM?那LLM跟AI是甚麽关系?其实AI并不是特定「某一种机器或程式」,AI是一种泛称。简单来说,AI(Artificial intelligence)是泛指所有人工智慧,而LLM(Large Language Model,大型语言模型)就是其中一种类型的AI。

更生活化一些的说明:AI就像是「面」这种统称,而里面分支出来的义大利面、油面、鸡蛋面,就是LLM一类的功能性程式模型。

LLM 的实际应用

LLM如何运算与应用?普遍而言,LLM都是在未经过标记的大型数据库上经过预先训练,再根据个别需求微调,同时加入少量的、已经标记(赋予上下文含意)的数据集。训练的步骤为:

1.文字数据转换为数位形式

2.随机分配模型参数

3.传送文本数据的数位形式传到模型中

4.使用损失函数来测量模型的输出与句子中实际的下一个单词之间的差异

5.优化模型的参数以最大程度地减少损失

6.最後重复该过程,直到最终成果达到可接受的精确度。

在训练完成後,LLM的应用范围极广,适用但不限於各种产业与相关软体,例如:智能客服、生物语言处理、医疗谘询、智慧机器人和各类代码与文本生成等等。

LLM两面观

LLM大型语言模型可以快速生成文本跟消化大量资料,有着可应对客制化、节省时间与人力、全理性判断等等优点,但LLM也有短版。大型语言模型的建构通常需要长达数月的时间,以及极度高昂的费用。而完成後的持续研发与维护同样需要丰厚的投资,同时如何获得足够丰富与正确的学习数据也是研发LLM的一大难处。

除此之外,尽管LLM学习速度高、吸收范围广,但LLM对於世界的理解只限於使用者给予的资料,因此很容易在数计集编写有漏洞或是错误的状况下,造成LLM被使用者或是吸收的资料误导,从而生成出错误资讯、不当发言甚至是被诱导出违法言论。

总体来说,LLM大型语言模型是一种强大精密的工具,能够理解和生成各种语言,但同时不论是LLM或是其他AI,本身都没有主观意识跟善恶之分,因此在使用上仍需对它们的能力和限制先做了解。

surfshark免费

用ChatGPT制作学习历程档案|陈坤平线上讲座 – 影音回顾 – 生成式AI创新学院 – TechNice科技岛-掌握科技与行销最新动态

精华版

ChatGPT学了这麽多,大家都知道他可以协助撰写文章、广告文案、或者简报提案,其实对於学生来说,还有一个非常大的用处,帮学生写出「适合自己」的学习历程档案。本次ChatGPT讲座就由XCHOOL跨域素养学园创办人陈坤平,教你其中小诀窍。课程中不只告诉你ChatGPT的优势,还会告诉你如何突破制作学习历程时的三大困难,以及ChatGPT还有下指令的最佳三大时刻,课程中乾货满满,不看可惜。详细的课程内容都在科技岛官网中: https://www.technice.com.tw/category/review/

上集

课程大纲

  1. ChatGPT作为辅助工具之优势与连结点
  2. 如何用ChatGPT来制作学习历程反思、自学/小论文与自述,如何检查既有历程?
  3. 面对AIGC的注意事项
下集

讲师简介
陈坤平
XCHOOL跨域素养学园 创办人
108课纲专业讲师
1111职涯顾问

完整版

chatgpt #ChatGPT #AI #聊天机器人 #陈坤平

【制作团队】
主持人 黄楷元
整理撰稿 苏筠家
剪辑後制 潘奕云

surfshark app , ,

AI助攻!直播电商完成B轮募资 预计2025前IPO 瞄准千亿美元东南亚市场

文/创意点子数位股份有限公司

直播电商技术龙头「创意点子」今年8月完成了500万美元的B轮募资,除原股东持续支持之外,更新增了包含泓达投资以及在日本有非常深厚人脉的安恩投资等新投资人加入认购。
这轮募资主要用途是为了因应东南亚直播电商的强劲需求,以及新技术的研发、推广、运营和自有AI演算法的提升,以及扩大招募更多具有国际人才等。除此之外,创意点子更成为Meta认证的技术供应商,将为全球30亿Facebook活跃会员和20亿instagram主要用户提供直播电商技术。创意点子执行长陆意志表示,今年是创意点子迈入下一个阶段的重要时刻,公司也将启动预计在2024至2025年之间正式於台湾IPO上市。
同时间,创意点子受资策会邀请,前往马来西亚推广台湾数位贸易与(跨境)

电商平台相关解决方案,配合政府新南向政策,搭配Taiwan Expo台湾形象展,办理研讨交流活动,创意点子首次向马来西亚介绍直播电商的技术来自於台湾,并在现场展示了全新次世代的直播电商模式,在当地反应相当热烈并有多家表达合作意愿。

与此同时,创意点子也於今年聘林郁芬担任台湾创意点子总经理。林郁芬总经理在产业界经历丰富,过去曾任职於Yahoo!、LINE以及时报资讯总经理等,创意点子期望借重林郁芬总经理的专业以及管理能力来带领公司再创佳绩。

根据泰国在线支付网Omise发布的数据显示,2023年东南亚直播电商的市场规模将达到190亿美元,有调研机构更预估,2025年东南亚的电商市场规模将达到惊人的1020亿美元。而早在去年,创意点子已开始布局东南亚市场,率先与亚洲最大实体零售商龙头-屈臣氏进行合作,屈臣氏早已看好东南亚的直播电商发展潜力,将直播电商功能建构於App内,增加顾客使用黏着度与转化率,继台湾、菲律宾与马来西亚已上线後,随後印尼以及东南亚其他国家也将陆续启动,也因此,为了深耕东南亚市场,创意点子将於今年第四季於东南亚设立运营总部,并将与当地团队合作,积极扩展东南亚市场。

据《2023年中国直播电商机会洞察报告》中提到,在直播电商的玩法趋势上,直播电商正以「外溢」的方式进行,如:2022年TikTok上线越南、泰国、马来西亚和菲律宾的跨境业务,不少平台与品牌开始布局海外业务。事实上,东南亚使用Facebook、instagram和Youtube的比例仍超过所有社群媒体的一半以上,且流量也仍占多数,许多人选择在社群媒体上「开直播做带货」,但因导购的方式不够便利因此常有许多掉单情况,且根据马来西亚当地电商运营公司表示,在社群媒体上购物经常有诈骗情况发生,以致许多人容易却步。

从2012年开始,创意点子就首创业界开发「影音变现」技术,一路从内容电商到直播电商走了10年时间,2014年首度将直播电商技术带入中国,造就中国直播带货的热潮,鲜少人知道直播电商技术的发明者其实发源於台湾的创意点子。
今年创意点子更成为Meta(Facebook)认证的全球技术供应商,透过社群媒体的流量,结合直播电商的技术应用,在提供社群媒体直播功能的服务上解决现有痛点,期望能带给使用者全新的体验,未来发展相当可期。

surfshark app , , , , ,

Google Domains 已不再卖新网域,正式由 Squarespace 收购

今年 6 月 Google 宣布不再经营 Google Domains 将由 Squarespace 收购,双方交易於 9 月 7 日完成,Google 从该日起便不再出售网域,并於网站上表示「Squarespace 已於 9 月 7 日收购所有 Google Domains 注册网域和相关客户帐户。客户和网域将在接下来几个月内转移至 Squarespace。」

Google 并未特别宣布用户无法买新网域,且网站上的讯息似乎要在登出或开启无痕视窗的状态下才会看到,Google 也未透过 email 通知用户。

不过 Google Domains 的既有用户仍可以管理自己的网域,画面上消息也出现Squarespace 为网域的登记员,而在过渡时期则由 Google 来管理网域。

Squarespace 网域的起价为每年 12 …

surfshark免费 ,

HOLTEK新推出HT82V39A三通道CIS类比讯号处理器整合LED驱动器

Holtek深耕类比讯号处理器产品开发,宣布新推出HT82V39A三通道CIS类比讯号处理器。HT82V39A内建LED驱动器能赋予产品应用更多弹性,其类比前端(AFE)采用3.3V作为主要电源,5V则为LED驱动器电源需求。针对中高速CIS感测器的应用,如中高阶的文件扫瞄器、相片及多功能事务机等极为合适。

HT82V39A采用三个通道的结构,可提供一至三个通道的操作模式供使用者选择,A/D转换器采用16位元的高解析度设计,搭配40MSPS转换速率。整合3通道的LED驱动器,每通道最高可提供66mA的电流,各通道可透过3位元的暂存器进行电流设定与调节,可节省系统空间的使用效率。封装上采用40-pin QFN。

Holtek拥有丰富的CIS感测器、数位及类比电路设计开发经验,在扫瞄器应用市场上已耕耘多年,将持续开发更高速且高整合性产品,提供更佳且更具竞争力的产品方案,以满足客户多样化的产品应用。…

surfshark中文官网 , , , ,

Apple 可折叠 iMac 专利显示的多种用途 – 苹果迷 APPLEFANS

Apple 最近通过一项专利申请,专利内容展示一款 可折叠 iMac 的概念。这款 iMac 不是使用可折叠的显示器,而是在底部有一个可折叠的玻璃面板,让它成为一款非常时尚的一体式桌面电脑,这项专利说明了折叠部分的多种用途,包括节省桌面空间和调整屏幕角度。不过这款设备的发想,可能不是用来可携式的,因为专利中没有提到电池。

相关文章 苹果新专利:将 MacBook 模组化 因应各种使用情境

Apple 的新专利: 可折叠 iMac 概念设计

Apple 一直以来都会申请许多概念性的专利设计,或许有些会注入在未来的新产品设计里,但也有可能仅停留在概念之中,而最新它们又再申请一项专利内容,内容看起来就像是一款 可折叠 iMac 的设计,根据专利描述,这款 iMac 的前面会有一个玻璃面板,底部可以折叠,形成一种优雅的桌面外观,这种设计不仅美观,还非常实用,因为使用者可以从设备後方的支架中,滑出键盘和触控板,然後将它放在折叠部分的桌面上。

它的设计不仅可以节省桌面空间,让使用者可以有更大的工作桌区域,另外,它折叠部分还可以用来调整萤幕的角度,适应不同的环境光线条件。

另外,它的键盘可以从电子设备上拆下来,并支援其他装置透过这个缺口来结合使用,像是加入一台 MacBook。

See also产品比较

M2 MacBook Air 比较: 13 寸 和 15 寸有何不同

总结

虽然 …