surfshark免费 ,

Microchip推出生成式AI网路专用800G AEC解决方案

生成式AI和AI/ML技术的兴起提高了对更高速连接的需求,进而推动後端资料中心网路和应用朝向800G网路发展。使用主动乙太网路电缆(AEC)是当前最有效的解决方案,但电缆供应商需要克服许多设计和开发障碍。为解决这一问题,Microchip Technology宣布推出META-DX2C 800G重计时器。

META-DX2C 800G重计时器为双密度四通道小型可插拔封装(QSFP-DD)和八通道小型可插拔封装(OSFP)AEC电缆产品提供加速开发路径。重计时器由800G AEC产品开发综合解决方案提供支援,包括硬体参考设计和完整的通用管理介面规范(CMIS)套装软体,将电缆制造商所需的开发资源最小化。

Microchip通讯业务部副总裁Maher Fahmi表示,这是该公司META-DX2乙太网PHY系列中最新、尺寸最小的产品,利用Microchip的微控制器和其他关键元件,提供了完整的参考设计,可加快AEC产品开发,减少资源投资并简化供应链管理。META-DX2C重计时器实现了生成式AI应用所需高密度网路的AEC连接。

META-DX2C重计时器采用高效能、长距离112G SerDes,可支援达40dB的传输距离,能够设计更薄、更长的AEC,这对於密集的超大规模基础设施建设至关重要。此外,Microchip还提供经过全面验证的插卡硬体参考设计和在Microchip 32位元PIC32微控制器中部署CMIS软体的套装软体。Microchip的META-DX2C 紧凑型重计时器还能解决大容量资料中心交换器和路由器中类似连接难题,避免高密度和资料速率导致讯号完整性问题。

市场研究公司650 Group共同创办人兼分析师Alan Weckel表示,生成式AI正在对资料中心基础设施的建设方式和所需的网路连接量产生巨大影响。为了应对这一挑战,超大规模企业需要高频宽、低功耗和低成本的解决方案。该公司调研发现,AEC是应对这一挑战的最佳解决方案。Microchip的META-DX2C 800G AEC重计时器契合这一趋势,是实现该领域成长所需的解决方案。

Microchip的META-DX2C 800G AEC解决方案由插卡参考设计提供支援。该参考设计包括META-DX2C重计时器、PIC32微控制器、振荡器、降压稳压器和线性稳压器,全部来自Microchip。由单一供应商提供这些元件可简化客户的供应链管理。随附的软体开发套件符合CMIS 5.2规范。

META-DX2C重计时器(部件编号:PM6254)包含硬体参考设计、韧体解决方案和SDK,现已上市。…

surfshark免费

全球 Top 50 生成式 AI 工具排行出炉!除了ChatGPT,还有 3 款实用 AI 工具上榜

很难想像,ChatGPT 问世至今才快满 1 岁。自 2022 年底上线,短短 2 个月时间,ChatGPT 就达到月活跃用户 1 亿的成就,成为有史以来最快达成此里程碑的应用。矽谷知名创投 a16z,9 月发布了一份分析报告,依据截至 2023 年 6 月的网站与 App 每月造访数,制作出了一张全球月流量前 50 大生成式 AI 产品排行榜。

不过 a16z 在报告中特别提到一个前提,虽然目前大多数消费者使用的生成式 AI(GenAI)工具,仍以网站优先,但行动应用程式的使用量也持续攀升,因此他们综合了网站流量与 App 使用量数据来做出排名。然而,此份清单的限制就在於,纯应用程式以及在 Discord 伺服器中所发生的网路活动,皆不计入此统计内,也就是说,这是一份简单粗暴的排行榜,而非精密统计的详尽排名,但我们仍可透过榜单,大致理解全球生成式 AI 工具的类别趋势。

尽管 a16z 强调上榜应用的代表性并不完整,但作为一般使用者,这份榜单还是很吸引人,不少工具也是先前没有使用过的。因此,本篇除了整理 a16z 报告的趋势观点外,也从榜单中试用了几款应用程式。…

surfshark app , , , , , , ,

打破 AI 模型记忆体极限!Google 研究人员找到喂给 AI 超大量数据的新方法

Google 研究人员、柏克莱大学等专家合作的一项新研究指出,利用「环形注意力」(Ring Attention)这种技术,可打破 AI 模型现在主要面临的记忆体瓶颈,把数百万的文字量放入 AI 模型的资料视窗中,使 AI 模型的输入容量扩增到百万级以上。

Google、柏克莱大学新研究:「环形注意力」可突破 AI 模型记忆体限制 

由於训练和运算 AI 模型 GPU 存在记忆体限制,导致 AI 模型无法瞬间处理大量的字数 /  token 输入。该怎麽实现 AI 对大量数据的高效处理,是全球许多 AI 研究人员都在积极投入的项目。

目前而言,ChatGPT 在 Context Window 一次能够处理的文字输入顶多只有数千字,而较大的 AI 模型单次能够处理的上限大约为数万字(大约是一本书的字数)。

不过,这项限制终於有了新进展。由 Google 研究人员、柏克莱大学、Databricks 技术长等专家本月联合发布的新论文,提出一项称为「环形注意力」的突破性技术,有望根本性的改变人类和这些强大的新科技工具互动的方式。

在 Google DeepMind …

surfshark app , , , , , , , , ,

Google 跌落神坛的 AR 智慧眼镜,能由微软带到主流吗?

微软在 10 月 5 日为研发 AR 眼镜申请了新专利,公司希望在未来有机会取代掉我们熟知的智慧型手机。

Google 过去曾积极发展 AR 眼镜 -「Google 眼镜」,在 10 年前推出之际被看好,《时代杂志》将其选为年度最佳发明之一,後来却因找不到市场定位难将眼镜推向主流。

虽然 Google 去年试着将眼镜定为成面向企业主的产品,并招募公司企业参加试用计画,但还是未能在市场上引起轰动,最终於今年 3 月停产和停售。(余烬终灭?Google 眼镜企业版即日起停产、停售)

微软想解决 AR 眼镜的电量问题

现在换微软想解决 AR 眼镜领域的痛点。他们采用可更换式的电池设计,且装置内也可储存电量,即便电池电量耗尽使用者仍能延长眼镜的佩戴时间。

Photo Credit: 截自 USPTO pdf 档

根据微软申请的专利,公司计画透过电连接器(electrical connector)连接电池与眼镜,来让电池方便拆卸。除了将电池装於镜脚外,另一项设计则是将电池置於可拆卸的听筒上,若使用者长时间配戴不舒适可将电池拿掉减轻重量。

微软 AR 眼镜其他功能

另外,微软的 AR …

surfshark免费

Anthropic利用特徵解构神经网路提升模型的可解释性

OpenAI的竞争者Anthropic发表的最新人工智慧研究论文〈Decomposing Language Models With Dictionary Learning〉,提出一种称为字典学习的方法,增加对神经网路的解释性。这项研究让Anthropic更能够监控模型,进而引导模型的行为,提高企业和社会在采用人工智慧的安全性和可靠性。

由於神经网路是以资料进行训练,而非根据规则的程式设计,每一步训练,都会更新数百万甚至数十亿个参数,最终使模型得以更好地完成任务,但Anthropic提到,虽然研究人员可以理解训练网路的数学运算,但是却不真正明白模型是如何从一堆数学运算中,导出最後的行为。而这样的状况,使得研究人员很难判断模型出现的问题,而且也难以进行修复。

虽然现今人类已经进行了数十年的神经科学研究,对於大脑的运作有了深入的了解,但是仍然有很多大脑中的谜团尚待解密。类似的情况,人工神经网路也存在难以完全理解的部分,只不过与真实大脑不同,研究人员可以透过实验来探索其中的运作机制。

尽管如此,过去对神经元的实验并没有太多帮助,研究人员透过干预单一神经元,观察该神经元对特定输入的反应,他们发现,单一神经元的活化,与神经网路的整体行为并不一致。在小语言模型中,单一神经元会在英语对话、HTTP请求或是韩语文本等不相关的上下文都很活跃,电脑视觉模型中的同一神经元,可能会对猫脸和汽车都有反应。也就是说,在不同的情况下,神经元的活化可以代表着不同意义。

在Anthropic最新的研究中,研究人员扩大分析单位,不在单一的神经元中寻找规律,而是运用一种称为特徵(Feature)的概念。每个特徵都会对应一群神经元活动模式,这为研究人员提供了新的分析途径,能够将复杂的神经网路解构成更容易理解的单位。

在Transformer语言模型中,研究人员成功将一个包含512个神经元的层,分解成超过4,000个特徵。这些特徵涵盖了DNA序列、法律用语、HTTP请求、希伯来文和营养标示等范畴。此外,研究人员也确认了特徵的解释性远比单一神经元更高。

论文中也提到,研究人员发展了自动解释方法,来验证特徵的可解释性。藉由大型语言模型来生成小模型特徵的描述,并以另一个模型的预测能力对描述进行评分,而实验结果证实,特徵的得分仍高於神经元,如此便证实了特徵的活跃和模型下游行为具一致性。研究人员还发现,在不同模型间所学到的特徵大致通用,因此一个模型从特徵得到的经验,可能适用於其他模型。

这项研究的贡献,在於克服单一神经元的不可解释性,透过将神经元分群成特徵,研究人员将能够更好地理解模型,并且发展更具安全性和可靠性的人工智慧服务。未来Anthropic研究人员会扩大研究范畴,理解大型语言模型的行为。…

surfshark免费

成王之路!Nvidia如何变得所向披靡? – IC/半导体 – TechNice科技岛-掌握科技与行销最新动态

编译/高晟钧

短短几年内,Nvidia便从一个主要从事高阶游戏晶片制造的公司,摇身一变成为市值估计超过1兆美元的人工智慧巨头,成功加入科技巨头Apple、微软、Amazon和Alphabet,跨入科技金字塔的顶端。Nvidia究竟有何独到之处,他们又是如何在短短几年内获得如此之成就呢?

长期以来,Nvidia一直专注於GPU的开发上,这也是Nvidia主要的核心业务。(图/123RF)

GPU升级

长期以来,Nvidia一直专注於GPU的开发上,这也是Nvidia主要的核心业务。GPU晶片主要为渲染视讯、图像和动画处理等显示功能而设计,对於一些高画质要求的游戏是不可或缺的。另一方面,GPU对於许多共同运行的小型晶片核心也有着重要帮助,它能够加速CPU的运算效能。

更多新闻:Google Cloud与Nvidia合作 助功生成式人工智慧发展

而对於Google、微软等庞大资料中心的云端运行,GPU真正地展现了其价值,该市场价值也大大超越了视频游戏。根据估计,Nvidia的资料中心部门年收入已经从2016年的3.4亿美元激增至如今的150亿美元,更可怕的是,一切还只是刚刚开始。

ChatGPT的出现

OpenAI在去前年底推出ChatGPT,实现了「生成式人工智慧」的理念,即透过大量资料训练,藉此在资料生成图像与文字中查询答案。

由於Nvidia拥有最适合训练人工智慧模型和推理任务的晶片,使得该公司的高阶系统备受推崇。尽管晶片供不应求,该公司的数据中心收入依旧在短短三个月内增加了一倍之多,分析师更是预言其明年的收入将突破600亿美元。

成功的秘密:软体CUDA

软体可谓是硬体运作的心脏。尽管晶片公司一般不负责应用程式的开发,但通常会提供允许开发人员在晶片上编写运行APP的软体工具。

2006年,Nvidia推出统一的GPU程式语言──CUDA,它不只解决以前成本过高的数学密集型问题,也铸造了一条竞争对手难以跨越的护城河,使得Nvidia从众多科技公司中脱颖而出。

随着时间推移,CUDA已发展出包含AI开发人员使用的250个软体库。这也使得Nvidia成为了人工智慧开发人员的首选平台。去年,CUDA的下载量已经达到了2,500万次,是截至去年以前总下载量的2倍之多。

偏执者得以生存

Nvidia的GPU如此昂贵,其又是如何保持领先地位呢?Nvidia成功的秘诀,在於保持晶片与软体性能的并肩前行。当Intel和AMD开始将自己的GPU技术与CPU晶片整合时,Nvidia也曾面临生存危机;当时Intel的年收入是Nvidia的10倍以上。

然而,没有一家科技公司可以真正的无懈可击。Nvidia的成功或许正应证了当年来自Intel前老板的一句建言:「只有偏执者才能生存。」

资料来源:Wsj.com

※更多ChatGPT相关讯息,请参考【生成式AI创新学院】。

surfshark免费

生成式AI背後的推手 「LLM大型语言模型」 – 产业供应 – TechNice科技岛-掌握科技与行销最新动态

记者/周子宁

AI浪潮席卷全球,一时间,讲坛节目、社群平台甚至人们茶余饭後的谈资都充满AI相关的话题。随着大众目光放向人工智慧的区块,更多相关的专业词语出现在大家视野中,而频繁被提起的「LLM」就是其中一员,究竟「LLM」是甚麽?又与AI有甚麽样的关联呢?

LLM大型语言模型受到AI浪潮影响,进入大众视野。示意图:取自RF123

LLM是甚麽?

LLM(Large Language Model,大型语言模型)是一种深度学习模型,可以透过记忆文本数据学习大量的知识。LLM大型语言模型内建超过一千亿个参数的自然语言处理系统(natural language processing,简称NLP),帮助LLM吸收巨量资料数据并学习字句逻辑,包含文章、影音、图片和书籍等都在学习范围,学习完成後可应用在问答、翻译和生成文本上。

而LLM大型语言模型之所以被冠以「大型」,是因为该模型在学习时可以自主更改的参数量极高,而这也代表LLM的知识库存远比一般学习模型丰富、应用范围更广,因此被称为「大型」语言模型。

更多新闻:Bard还是不够真实?捏造使用者不曾寄出的mail

LLM跟AI有甚麽关系?

如上段所言,LLM(Large Language Model,大型语言模型)是一种深度学习模型,而其工作原理就是通过获取的文本数据来分析文字逻辑,从而由大量的数据库中生成新文本。这样的功能描述是不是让人顿感熟悉?没错,最近大放异彩的ChatGPT功能也相近於此,而ChatGPT就是其中一种LLM的应用。

说到这里或许有些人感到混淆:ChatGPT是生成式AI?但ChatGPT又是其中一种LLM?那LLM跟AI是甚麽关系?其实AI并不是特定「某一种机器或程式」,AI是一种泛称。简单来说,AI(Artificial intelligence)是泛指所有人工智慧,而LLM(Large Language Model,大型语言模型)就是其中一种类型的AI。

更生活化一些的说明:AI就像是「面」这种统称,而里面分支出来的义大利面、油面、鸡蛋面,就是LLM一类的功能性程式模型。

LLM 的实际应用

LLM如何运算与应用?普遍而言,LLM都是在未经过标记的大型数据库上经过预先训练,再根据个别需求微调,同时加入少量的、已经标记(赋予上下文含意)的数据集。训练的步骤为:

1.文字数据转换为数位形式

2.随机分配模型参数

3.传送文本数据的数位形式传到模型中

4.使用损失函数来测量模型的输出与句子中实际的下一个单词之间的差异

5.优化模型的参数以最大程度地减少损失

6.最後重复该过程,直到最终成果达到可接受的精确度。

在训练完成後,LLM的应用范围极广,适用但不限於各种产业与相关软体,例如:智能客服、生物语言处理、医疗谘询、智慧机器人和各类代码与文本生成等等。

LLM两面观

LLM大型语言模型可以快速生成文本跟消化大量资料,有着可应对客制化、节省时间与人力、全理性判断等等优点,但LLM也有短版。大型语言模型的建构通常需要长达数月的时间,以及极度高昂的费用。而完成後的持续研发与维护同样需要丰厚的投资,同时如何获得足够丰富与正确的学习数据也是研发LLM的一大难处。

除此之外,尽管LLM学习速度高、吸收范围广,但LLM对於世界的理解只限於使用者给予的资料,因此很容易在数计集编写有漏洞或是错误的状况下,造成LLM被使用者或是吸收的资料误导,从而生成出错误资讯、不当发言甚至是被诱导出违法言论。

总体来说,LLM大型语言模型是一种强大精密的工具,能够理解和生成各种语言,但同时不论是LLM或是其他AI,本身都没有主观意识跟善恶之分,因此在使用上仍需对它们的能力和限制先做了解。