surfshark app , , , , , , ,

打破 AI 模型记忆体极限!Google 研究人员找到喂给 AI 超大量数据的新方法

Google 研究人员、柏克莱大学等专家合作的一项新研究指出,利用「环形注意力」(Ring Attention)这种技术,可打破 AI 模型现在主要面临的记忆体瓶颈,把数百万的文字量放入 AI 模型的资料视窗中,使 AI 模型的输入容量扩增到百万级以上。

Google、柏克莱大学新研究:「环形注意力」可突破 AI 模型记忆体限制 

由於训练和运算 AI 模型 GPU 存在记忆体限制,导致 AI 模型无法瞬间处理大量的字数 /  token 输入。该怎麽实现 AI 对大量数据的高效处理,是全球许多 AI 研究人员都在积极投入的项目。

目前而言,ChatGPT 在 Context Window 一次能够处理的文字输入顶多只有数千字,而较大的 AI 模型单次能够处理的上限大约为数万字(大约是一本书的字数)。

不过,这项限制终於有了新进展。由 Google 研究人员、柏克莱大学、Databricks 技术长等专家本月联合发布的新论文,提出一项称为「环形注意力」的突破性技术,有望根本性的改变人类和这些强大的新科技工具互动的方式。

在 Google DeepMind …

surfshark免费

成王之路!Nvidia如何变得所向披靡? – IC/半导体 – TechNice科技岛-掌握科技与行销最新动态

编译/高晟钧

短短几年内,Nvidia便从一个主要从事高阶游戏晶片制造的公司,摇身一变成为市值估计超过1兆美元的人工智慧巨头,成功加入科技巨头Apple、微软、Amazon和Alphabet,跨入科技金字塔的顶端。Nvidia究竟有何独到之处,他们又是如何在短短几年内获得如此之成就呢?

长期以来,Nvidia一直专注於GPU的开发上,这也是Nvidia主要的核心业务。(图/123RF)

GPU升级

长期以来,Nvidia一直专注於GPU的开发上,这也是Nvidia主要的核心业务。GPU晶片主要为渲染视讯、图像和动画处理等显示功能而设计,对於一些高画质要求的游戏是不可或缺的。另一方面,GPU对於许多共同运行的小型晶片核心也有着重要帮助,它能够加速CPU的运算效能。

更多新闻:Google Cloud与Nvidia合作 助功生成式人工智慧发展

而对於Google、微软等庞大资料中心的云端运行,GPU真正地展现了其价值,该市场价值也大大超越了视频游戏。根据估计,Nvidia的资料中心部门年收入已经从2016年的3.4亿美元激增至如今的150亿美元,更可怕的是,一切还只是刚刚开始。

ChatGPT的出现

OpenAI在去前年底推出ChatGPT,实现了「生成式人工智慧」的理念,即透过大量资料训练,藉此在资料生成图像与文字中查询答案。

由於Nvidia拥有最适合训练人工智慧模型和推理任务的晶片,使得该公司的高阶系统备受推崇。尽管晶片供不应求,该公司的数据中心收入依旧在短短三个月内增加了一倍之多,分析师更是预言其明年的收入将突破600亿美元。

成功的秘密:软体CUDA

软体可谓是硬体运作的心脏。尽管晶片公司一般不负责应用程式的开发,但通常会提供允许开发人员在晶片上编写运行APP的软体工具。

2006年,Nvidia推出统一的GPU程式语言──CUDA,它不只解决以前成本过高的数学密集型问题,也铸造了一条竞争对手难以跨越的护城河,使得Nvidia从众多科技公司中脱颖而出。

随着时间推移,CUDA已发展出包含AI开发人员使用的250个软体库。这也使得Nvidia成为了人工智慧开发人员的首选平台。去年,CUDA的下载量已经达到了2,500万次,是截至去年以前总下载量的2倍之多。

偏执者得以生存

Nvidia的GPU如此昂贵,其又是如何保持领先地位呢?Nvidia成功的秘诀,在於保持晶片与软体性能的并肩前行。当Intel和AMD开始将自己的GPU技术与CPU晶片整合时,Nvidia也曾面临生存危机;当时Intel的年收入是Nvidia的10倍以上。

然而,没有一家科技公司可以真正的无懈可击。Nvidia的成功或许正应证了当年来自Intel前老板的一句建言:「只有偏执者才能生存。」

资料来源:Wsj.com

※更多ChatGPT相关讯息,请参考【生成式AI创新学院】。

surfshark免费

生成式AI背後的推手 「LLM大型语言模型」 – 产业供应 – TechNice科技岛-掌握科技与行销最新动态

记者/周子宁

AI浪潮席卷全球,一时间,讲坛节目、社群平台甚至人们茶余饭後的谈资都充满AI相关的话题。随着大众目光放向人工智慧的区块,更多相关的专业词语出现在大家视野中,而频繁被提起的「LLM」就是其中一员,究竟「LLM」是甚麽?又与AI有甚麽样的关联呢?

LLM大型语言模型受到AI浪潮影响,进入大众视野。示意图:取自RF123

LLM是甚麽?

LLM(Large Language Model,大型语言模型)是一种深度学习模型,可以透过记忆文本数据学习大量的知识。LLM大型语言模型内建超过一千亿个参数的自然语言处理系统(natural language processing,简称NLP),帮助LLM吸收巨量资料数据并学习字句逻辑,包含文章、影音、图片和书籍等都在学习范围,学习完成後可应用在问答、翻译和生成文本上。

而LLM大型语言模型之所以被冠以「大型」,是因为该模型在学习时可以自主更改的参数量极高,而这也代表LLM的知识库存远比一般学习模型丰富、应用范围更广,因此被称为「大型」语言模型。

更多新闻:Bard还是不够真实?捏造使用者不曾寄出的mail

LLM跟AI有甚麽关系?

如上段所言,LLM(Large Language Model,大型语言模型)是一种深度学习模型,而其工作原理就是通过获取的文本数据来分析文字逻辑,从而由大量的数据库中生成新文本。这样的功能描述是不是让人顿感熟悉?没错,最近大放异彩的ChatGPT功能也相近於此,而ChatGPT就是其中一种LLM的应用。

说到这里或许有些人感到混淆:ChatGPT是生成式AI?但ChatGPT又是其中一种LLM?那LLM跟AI是甚麽关系?其实AI并不是特定「某一种机器或程式」,AI是一种泛称。简单来说,AI(Artificial intelligence)是泛指所有人工智慧,而LLM(Large Language Model,大型语言模型)就是其中一种类型的AI。

更生活化一些的说明:AI就像是「面」这种统称,而里面分支出来的义大利面、油面、鸡蛋面,就是LLM一类的功能性程式模型。

LLM 的实际应用

LLM如何运算与应用?普遍而言,LLM都是在未经过标记的大型数据库上经过预先训练,再根据个别需求微调,同时加入少量的、已经标记(赋予上下文含意)的数据集。训练的步骤为:

1.文字数据转换为数位形式

2.随机分配模型参数

3.传送文本数据的数位形式传到模型中

4.使用损失函数来测量模型的输出与句子中实际的下一个单词之间的差异

5.优化模型的参数以最大程度地减少损失

6.最後重复该过程,直到最终成果达到可接受的精确度。

在训练完成後,LLM的应用范围极广,适用但不限於各种产业与相关软体,例如:智能客服、生物语言处理、医疗谘询、智慧机器人和各类代码与文本生成等等。

LLM两面观

LLM大型语言模型可以快速生成文本跟消化大量资料,有着可应对客制化、节省时间与人力、全理性判断等等优点,但LLM也有短版。大型语言模型的建构通常需要长达数月的时间,以及极度高昂的费用。而完成後的持续研发与维护同样需要丰厚的投资,同时如何获得足够丰富与正确的学习数据也是研发LLM的一大难处。

除此之外,尽管LLM学习速度高、吸收范围广,但LLM对於世界的理解只限於使用者给予的资料,因此很容易在数计集编写有漏洞或是错误的状况下,造成LLM被使用者或是吸收的资料误导,从而生成出错误资讯、不当发言甚至是被诱导出违法言论。

总体来说,LLM大型语言模型是一种强大精密的工具,能够理解和生成各种语言,但同时不论是LLM或是其他AI,本身都没有主观意识跟善恶之分,因此在使用上仍需对它们的能力和限制先做了解。

surfshark免费 ,

HOLTEK新推出HT82V39A三通道CIS类比讯号处理器整合LED驱动器

Holtek深耕类比讯号处理器产品开发,宣布新推出HT82V39A三通道CIS类比讯号处理器。HT82V39A内建LED驱动器能赋予产品应用更多弹性,其类比前端(AFE)采用3.3V作为主要电源,5V则为LED驱动器电源需求。针对中高速CIS感测器的应用,如中高阶的文件扫瞄器、相片及多功能事务机等极为合适。

HT82V39A采用三个通道的结构,可提供一至三个通道的操作模式供使用者选择,A/D转换器采用16位元的高解析度设计,搭配40MSPS转换速率。整合3通道的LED驱动器,每通道最高可提供66mA的电流,各通道可透过3位元的暂存器进行电流设定与调节,可节省系统空间的使用效率。封装上采用40-pin QFN。

Holtek拥有丰富的CIS感测器、数位及类比电路设计开发经验,在扫瞄器应用市场上已耕耘多年,将持续开发更高速且高整合性产品,提供更佳且更具竞争力的产品方案,以满足客户多样化的产品应用。…

surfshark免费 ,

AI晶片年度活动IC Tech in the AI Era将於10/12台北登场

人工智慧(AI)运算技术不断突破,带动AI晶片需求快速成长。Precedence Research研究报告数据显示,预估全球AI晶片市场规模将从2022年的168.6亿美元,成长到2032年2274.8亿美元,2023至2032年CAGR达29.72%。为因应AI发展趋势,IEEE CASS Taipei、台湾RISC-V联盟(RVTA)、台湾半导体产学研发联盟(TIARA)、台湾物联网产业技术协会(TwIoTA)将於10月12日共同主办IC Tech in the AI Era系列活动,深入探讨相关议题。

主办单位表示,AI运算发展已经到了关键的转折点。大语言模型(LLM)引发大众关注,并在生成文章、图像、影音、程式语言和其他内容方面,发挥强大潜力。LLM显着增加了神经网路中的模型参数大小,并且需要大量计算来进行AI模型训练和推理。

在当前AI时代,IC设计面临巨大挑战。AI技术发展更影响IC产业,因为运算需求不断提高,远远超过半导体摩尔定律的提升速度。想藉着不断缩小半导体制程,来满足性能、功耗、面积和成本的目标,将会越来越困难。大规模的AI运算需求带来了高性能、高频宽和高能源效率的需求,复杂的IC设计也增加了设计成本和对高技能人才的需求。

在另一方面,AI技术也带来新的机会。AI可以为IC产品赋予新功能,同时也有可能成为IC产业提高效率的关键工具。此外,开源处理器架构可以提供强大而灵活的设计元件,来实现复杂的AI运算架构。以上技术都为IC产业带来了革命性的新机遇。

在上午的场次,由国际电子电机工程师学会电路与系统协会台北分会(IEEE CASS Taipei)所主办的IEEE CASIF Taipei 2023,针对AI时代的IC设计挑战,进行深入探讨,邀请台积电、联发科专家发表专题演讲,并邀请产、官、学、研各界专家齐聚一堂座谈研讨,出席业界专家包括台积电、联发科、晶心科技,学界包括台湾大学、阳明交通大学、清华大学,研究单位包括工研院电子与光电系统研究所、国家实验研究院台湾半导体研究中心(TSRI)等,更有国科会科技办公室和经济部技术处贵宾莅临致词,共同讨论在AI时代,IC设计的困难与挑战,以及台湾未来在半导体与IC设计的发展与契机。

在下午的场次,则由台湾RISC-V联盟(RISC-V Taiwan Alliance)所主办的2023 RISC-V Taipei Day,将邀请VRULL技术长暨创办人Dr. Philipp Tomsich(同时也是RISC-V International的Applications & Tools Committee主席)、Tenstorrent首席CPU架构师Mr. Wei-Han Lien、晶心科技总经理暨技术长苏泓萌、台湾发展软体科技行销长暨执行副总魏国章等专家发表专题演讲,以探讨RISC-V开源处理器架构在AI时代,如何为复杂的IC系统与AI运算架构赋能。

此系列活动10月12日将在台北国际会议中心201会议室举行,活动可免费参与,上下午场活动之间并有午餐供应。活动期间TIE Expo台湾创新技术博览会也同步在世贸一馆办理,可就近参观。

此外,除了为专业人士规划的以上两场活动外,IC Tech in the AI Era系列活动亦结合台湾创新技术博览会(TIE),於10/13(五)在台北世贸一馆举办「半导体科研青年论坛(青研论坛)」,适合热爱科技的青年学子与一般大众自由入场与会,将展望半导体科技转动世界的力量,并由多位产学研界的青壮研发人才,分享从事科研工作的亲身历练、乐趣与成就。…

surfshark免费 , , , , , , , , , , , ,

行政院通过公部门生成式AI参考指引,禁用於高机密文件,国科会:先订指引再立法

(中央社)行政院会今(31)日通过公部门使用生成式AI的参考指引,国科会表示,生成式AI发展快速,台湾做法将采先指引、後立法,指引可让公部门思考AI风险、累积实务经验,有助於未来AI基本法的立法。

行政院行政院会今天通过「行政院及所属机关(构)使用生成式AI参考指引(草案)」,开放公务部门使用生成式AI,但不得用於高机密文件,也不得向生成式AI询问可能涉及机密业务或个人资料的问题,且须由业务承办人做最终判断。

行政院发言人林子伦今天主持政院会後记者会时转述,陈建仁在院会表示,人工智慧(AI)正在改变全世界,生成式AI可取代部分脑力,相关应用的确非常重要,但带来对国人、社会、个人及国家安全的潜在风险与冲击,更需由科技、产业发展、人才及治理等各方面积极布局并正面因应挑战,以回应国内、外社会挑战及维持国家安全。

陈建仁说,指引是现阶段各行政机关使用生成式AI的基本原则,有助於促进各机关对生成式AI有一致认知,以及正确使用,值得肯定,但面对瞬息万变的AI发展,AI法制规范仍需与时俱进,国科会应持续观察全球AI发展趋势与因应作为,随时修正指引。

国科会过去也在研议AI基本法的立法可能,国科会副主委林敏聪出席政院会後记者会时解释,AI科技技术变化非常快,对产业的影响也还在发展,因此国科会未来将针对国内外技术、国际法规综合发展、产业影响等等持续评估,会在比较适当资讯之下再提出AI基本法。

林敏聪说,指引可让公部门思考AI风险、累积实务经验,有助於未来AI基本法的立法,目前做法就是「先指引、後立法」。

公部门开放使用生成式AI,「高机密文件」除外

行政院会今天通过「行政院及所属机关(构)使用生成式AI参考指引(草案)」,开放公务部门使用生成式AI,但不得用於高机密文件,且须由业务承办人做最终判断,藉以增进效率也保有机密性、专业性。

国家科学及技术委员会今天在行政院会报告「行政院及所属机关(构)使用生成式AI参考指引(草案)」,指引共10点,揭示各机关(构)使用生成式AI时,应秉持负责任及可信赖的态度,以及安全性、隐私性与资料治理、问责等原则,并掌握自主权与控制权。

指引获行政院会通过後,国科会今天便会依程序签核,通知各机关参考使用指引。

根据指引,生成式AI产出的资讯,须由业务承办人就其风险进行客观且专业之最终判断,不得取代业务承办人的自主思维、创造力及人际互动;且各机关不可完全信任生成式AI产出的资讯,亦不得以未经确认的产出内容,直接作成行政行为或作为公务决策的唯一依据。

指引也要求,各机关使用生成式AI作为执行业务或提供服务辅助工具时,应适当揭露,且使用生成式AI应遵守资通安全、个人资料保护、着作权与相关资讯使用规定,并注意其侵害智慧财产权与人格权的可能性。

指引明定,制作机密文书应由业务承办人亲自撰写,禁止使用生成式AI。而所谓的机密文书,是指行政院「文书处理手册」所定的国家机密文书及一般公务机密文书。

另外,指引也要求业务承办人不得向生成式AI提供涉及公务应保密、个人及未经机关(构)同意公开的资讯,也不得向生成式AI询问可能涉及机密业务或个人资料的问题;不过封闭式地端部署的生成式AI模型,在确认系统环境安全性後,得依机密等级分级使用。

新闻来源

  • 政院定调:生成式AI发展快速 先订指引再立法(中央社)
  • 政院通过公部门生成式AI参考指引 禁用於高机密文件(中央社)

surfshark免费 , , , , , ,

AI 做简报又更简单了!只输入网址,Bard 就整理好线上论文?

超夸张,只要贴上网址,Google Bard AI 把网页内容变成简报,这这这我还能不变心吗?

之前有一支影片分享了 ChatGPT 结合 Power Point 的简报制作技巧。

在 Bard 大更新之後,运用网页浏览的功能,不管是线上期刊还是论文,转换成简报更加的方便,根据我自己的测试,只要五分钟,从一篇网路上的论文就可以快速的变成一份漂亮的简报,这真是懒人救星啊!

今天简单的分享了 Bard 支援连接网路之後的论文摘要功能,并且回应之前影片网友遇到的内容大纲转简报的制作问题,希望这支影片能解决你的问题

看完影片之後你觉得 Bard 的哪个功能最让你惊艳或惊吓呢?

  1. 拳打 ChatGPT 的连网功能
  2. 脚踢 ChatGPT 的内容准确性
  3. 豪夺网站的资讯内容
  4. 巧取生成错误资讯鱼目混珠

如果你有更多的想法与问题,欢迎加入泛科学 AI 的 Discord 论坛,我把连结放在影片下方资讯栏。

如果这支影片对你有帮助的话,请帮我在影片下方点个喜欢,或是透过超级感谢展现你的心意,让我制作更多实用有趣的 AI 教学影片,最後别忘了订阅泛科学院的频道,我们下支影片再见罗。…

surfshark免费 ,

伊云谷连两年进入全球垂直市场云端托管服务商100强

科技调查机构ChannelE2E於近日公布2023年全球垂直市场云端托管服务商100强名单(Top 100 Vertical Market MSPs for 2023),伊云谷数位科技连续两年入榜,蝉连亚洲第1,全球排名则为第7名。

ChannelE2E连续八年针对垂直市场云端托管服务商进行调查,与去年同期相比,今年报告指出,2022年全球垂直市场云端托管服务商100强营收成长27.5%,主要受益於医疗及金融产业过去一年中扩大投资云端服务,其中以医疗产业连续两年占比最高,也是今年度最大的动能,从2021年18%成长至2022年的31%。金融业则挤下制造业,成为云端托管市场的第二大服务对象,从2021年的13%成长至2022年23%。

报告结果亦显示,在市场趋势及需求下,垂直市场云端托管服务商皆努力提升自身资安能力。伊云谷於2022年6月成为全球云端资安领导组织「云端安全联盟(Cloud Security Alliance)」正式会员。

伊云谷为该联盟在台首家会员,可第一时间获取国际资安示警,积极参与国际资安社群,串联全球资安网路推动云端安全。更於2023年5月份通过Amazon Web Services MSSP(AWS Managed Security Service Provider)资安能力认证,为全台首家获得该指标性资安认证的资讯服务商。

伊云谷以云端原生起家,专注解决客户上云评估、搬迁、顾问谘询、规画迁移、托管、技术支援、最佳化等基础建设服务,并针对企业不同应用面与服务业态,提供包含ERP企业核心系统云端化、CRM云端服务系统,AI人工智慧与资料数据分析等解决方案,以及OT营运科技与资安、永续减碳等一站式多元解决方案,伊云谷具备多年协助企业数位转型的经验,透过顾问式服务了解客户需求,让企业无後顾之忧专注於本业创新。…

surfshark免费

轻松学 AI –开启智慧照护之旅 | 线上讲座【完整版】 – TechNice科技岛-掌握科技与行销最新动态

医疗照护也可以数位化、导入 AI!请试着想看看,偏远地区居民,因身体不舒服,或是家人照护上遇到问题该如何是好?

开车或搭车,经过一段遥远的路途才到达医院,挂号、看诊,最後才得到解答吗?若是建置一套好的系统,简单上线就可以让城乡距离缩短,问题迅速得到解答,那麽数位化和 AI 就必须在此刻加入。

WaCare 远距健康执行长潘人豪於此次课程中介绍数据、AI 如何帮助大众,让身体更好,让问题迅速得到解答。

潘人豪 2017年创立 WaCare 远距健康,带领团队投入数位健康应用,以科技实践社会弱势解方,透过数据科学与 AI 推论技术整合巨量异质数据(个人病历、环境数据、政府开放资料、穿戴式装置等),建立个人健康行为介入模型以抑制风险发生实现健康促进,成功拓展到全台湾 16 县市超过 600 个偏乡社区,并在疫情期间实现 45 万人次的居家长者线上参与数位健康促进活动,减少疫情带来的社会冲击,实践国人健康促进与消灭健康不平等的社会责任。

  • 潘人豪
    • WaCare 远距健康执行长
  • 个人经历
    • 原任职元智大学 大数据与数位汇流创新中心助理教授
    • 专长於数据科学、云端计算、智慧医疗照护与生物资讯领域
    • 曾驻外执行中南美洲、非洲数位人道援助计画

相关影片

AI 精准专业化!解决医疗照护困难 | 线上讲座【上】

医疗导入 AI 建立数位卫教社群 | 线上讲座【下】

surfshark app , , , , , ,

打造专属你的 AI 大脑!Google AI 笔记工具 NotebookLM 开放公测

Google 在今年 I/O 大会上宣布推出的 AI 笔记工具 Project Tailwind,现在命名为 NotebookLM,已於昨日(13 日)开放给一小部分美国地区用户测试。

NotebookLM 能做到什麽?目前最先支援的是 Google 文件,上传档案後即可自动摘要篇幅长的笔记内容、针对文件提问,或产生新想法,例如用影片大纲生成完整剧本。

许多生成式 AI 都具备这些功能,但 Google 标榜 NotebookLM 参考的内容限缩在使用者自行上传的文件,这可为使用者打造出专属的 AI,同时也让 AI的 回覆更加精准正确,不过 Google 警告 NotebookLM 仍有机会乱凑答案。

Photo Credit: 截自 Google 部落格

在隐私安全方面,Google 承诺 NotebookLM 只有权限取得用户选择上传的资料,数据也不会被用来训练 AI 模型。

NotebookLM …