侵权投诉

探讨实时机器学习的概念及其应用现状

电子设计 ? 2021-01-06 16:21 ? 次阅读

实时机器学习正得到越来越广泛的应用和部署。近日,计算机科学家和AI领域科技作家ChipHuyen在其博客中总结了实时机器学习的概念及其应用现状,并对比了实时机器学习在中美两国的不同发展现状。

与美国、欧洲和中国一些大型互联网公司的机器学习和基础设施工程师聊过之后,我发现这些公司可以分为两大类。一类公司重视实时机器学习的基础设施投资(数亿美元),并且已经看到了投资回报。另一类公司则还在考虑实时机器学习是否有价值。

对于实时机器学习的含义,现在似乎还没有明确的共识,而且也还没有人深入探讨过产业界该如何做实时机器学习。我与数十家在做实时机器学习的公司聊过之后,总结整理了这篇文章。

本文将实时机器学习分为两个层级:

层级1:机器学习系统能实时给出预测结果(在线预测)

层级2:机器学习系统能实时整合新数据并更新模型(在线学习)

本文中的「模型」指机器学习模型,「系统」指围绕模型的基础设施,包括数据管道和监测系统。

层级1:在线预测

这里「实时」的定义是指毫秒到秒级。

用例

延迟很重要,对于面向用户的应用而言尤其重要。2009年,谷歌的实验表明:如果将网络搜索的延迟从100ms延长至400ms,则平均每用户的日搜索量会降低0.2%-0.6%。2019年,Booking.com发现延迟增加30%,转化率就会降低0.5%左右——该公司称这是「对业务有重大影响的成本」。

不管你的机器学习模型有多好,如果它们给出预测结果的时间太长,就算只是毫秒级,用户也会转而点击其它东西。

批量预测的问题

一个称不上解决方案的措施是不使用在线预测。你可以用离线方法批量生成预测结果,然后将它们保存起来(比如保存到SQL表格中),最后在需要时拉取已有的预测结果。

当输入空间有限时,这种方法是有效的——毕竟你完全知道有多少可能的输入。举个例子,如果你需要为你的用户推荐电影。你已经知道有多少用户,那么你可以每隔一段时间(比如每几个小时)为每个用户生成一组推荐。

为了让用户输入空间有限,很多应用采取的方法是让用户从已有类别中选择,而不是让用户输入查询。例如,如果你进入旅游出行推荐网站TripAdvisor,你必须首先选择一个预定义的都会区,而无法直接输入任何位置。

这种方法存在很多局限性。TripAdvisor在其预定义的类别内表现还算可以,比如「旧金山」的「餐厅」,但如果你想自己输入「HayesValley的高分泰式餐厅」这样的查询,那么结果会相当差。

o4YBAF_1cgGAG5T8AALNmJUwAKY145.png

甚至很多技术较为激进的公司也会使用批量预测,并由此显现出其局限性,比如Netflix。如果你最近看了很多恐怖片,那么当你再次登录Netflix时,推荐电影中大部分会是恐怖片。但如果你今天心情愉悦,搜索了「喜剧」开始浏览喜剧类别,那么Netflix应该学习并在推荐列表中展示更多喜剧吧?然而,它在生成下一个批量推荐列表之前并不会更新当前列表。

在上面的两个例子中,批量预测会降低用户体验(这与用户参与和用户留存紧密相关),但不会导致灾难性的后果。其它这类例子还有广告排序、Twitter的热门趋势标签排序、Facebook的新闻订阅排序、到达时间估计等等。

还有一些应用,如果没有在线预测会出现灾难性的后果,甚至变得毫无作用,比如高频交易、自动驾驶汽车、语音助手、手机的人脸/指纹解锁、老年人跌倒检测、欺诈检测等。虽然在欺诈交易发生3小时后检测到比检测不到要好一些,但如果能实时检测到欺诈,就可以直接防止其发生了。

如果将批量预测换成实时预测,我们就可以使用动态特征来得到更相关的预测结果。静态特征是变化缓慢或不变化的信息,比如年龄、性别、工作、邻居等。动态特征是基于当前状况的特征,比如你正在看什么节目、刚刚给什么内容点了赞等。如果能知晓用户现在对什么感兴趣,那么系统就能给出更加相关的推荐。

pIYBAF_1chWAexjFAAXhbS-n3Q0466.png

解决方案

要让系统具备在线预测能力,它必须要用两个组件:

快速推理:模型要能在毫秒级时间内给出预测结果;

实时数据管道:能够实时处理数据、将其输入模型和返回预测结果的流程管道。

1.快速推理

当模型太大或预测时间太长时,可采用的方法有三种:

让模型更快(推理优化)

比如聚合运算、分散运算、内存占用优化、针对具体硬件编写高性能核等。

让模型更小(模型压缩)

起初,这类技术是为了让模型适用于边缘设备,让模型更小通常能使其运行速度更快。最常见的模型压缩技术是量化(quantization),比如在表示模型的权重时,使用16位浮点数(半精度)或8位整型数(定点数),而不是使用32位浮点数(全精度)。在极端情况下,一些人还尝试了1位表征(二元加权神经网络),如BinaryConnect和Xnor-net。Xnor-net的作者创立了一家专注模型压缩的创业公司Xnor.ai,并已被苹果公司以2亿美元收购。

另一种常用的技术是知识蒸馏,即训练一个小模型(学生模型)来模仿更大模型或集成模型(教师模型)。即使学生模型通常使用教师模型训练得到,但它们也可能同时训练。在生产环境中使用蒸馏网络的一个例子是DistilBERT,它将BERT模型减小了40%,同时还保留了BERT模型97%的语言理解能力,速度却要快60%。

其它技术还包括剪枝(寻找对预测最无用的参数并将它们设为0)、低秩分解(用紧凑型模块替代过度参数化的卷积滤波器,从而减少参数数量、提升速度)。详细分析请参阅Cheng等人2017年的论文《ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks》。

模型压缩方面的研究论文数量正在增长,可直接使用的实用程序也在迅速增多。相关的开源项目也不少,这里有一份40大模型压缩开源项目列表:https://awesomeopensource.com/projects/model-compression。

让硬件更快

这是另一个蓬勃发展的研究领域。大公司和相关创业公司正竞相开发新型硬件,以使大型机器学习模型能在云端和设备端(尤其是设备)更快地推理乃至训练。据IDC预测,到2020年,执行推理的边缘和移动设备总数将达37亿台,另外还有1.16亿台被用于执行训练。

2.实时数据管道

假设你有一个驾乘共享应用并希望检测出欺诈交易,比如使用被盗信用卡支付。当该信用卡的实际所有者发现未授权支付时,他们会向银行投诉,你就必须退款。为了最大化利润,欺诈者可能会连续多次叫车或使用多个账号叫车。2019年,商家估计欺诈交易平均占年度网络销售额的27%。检测出被盗信用卡的时间越长,你损失的钱就会越多。

为了检测一项交易是否为欺诈交易,仅检查交易本身是不够的。你至少需要检查该用户在该交易方面的近期历史记录、他们在应用内的近期行程和活动、该信用卡的近期交易以及在大约同一时间发生的其它交易。

为了快速获得这类信息,你需要尽可能地将这些信息放在内存之中。每当一件你关心的事情发生时,比如用户选择了一个位置、预定了一次行程、联系了一位司机、取消了一次行程、添加了一张信用卡、移除了一张信用卡等,关于该事件的信息都要进入你的内存库。只要这些信息还有用,它们就会一直留在内存里(通常是几天内的事件),然后再被放入永久存储库(比如S3)或被丢弃。针对该任务,最常用的工具是ApacheKafka,此外还有AmazonKinesis等替代工具。Kafka是一种流式存储,可在数据流动时保存数据。

流式数据不同于静态数据,静态数据是已完全存在于某处的数据,比如CSV文件。当从CSV文件读取数据时,你知道该任务什么时候结束。而流式数据不会结束。

一旦你有了某种管理流式数据的方法,你需要将其中的特征提取出来,然后输入机器学习模型中。在流式数据的特征之上,你可能还需要来自静态数据的特征(当该账号被创建时,该用户的评分是多少等等)。你需要一种工具来处理流式数据和静态数据,以及将来自多个数据源的数据组合到一起。

流式处理vs批处理

人们通常使用「批处理」指代静态数据处理,因为这些数据可以分批处理。这与即到即处理的「流式处理」相反。批处理的效率很高——你可以使用MapReduce等工具来处理大量数据。流式处理的速度很快,因为你可以在每一份数据到达时马上就完成处理。ApacheFlink的一位PMC成员RobertMetzger则有不同意见,他认为流式处理可以做到像批处理一样高效,因为批处理是流式处理的一种特殊形式。

处理流数据的难度更大,因为数据量没有限定,而且数据输入的比率和速度也会变化。比起用批处理器来执行流式处理,使用流式处理器来执行批处理要更容易。

ApacheKafka有一些流式处理的能力,某些公司将这些能力置于它们的Kafka流式存储之上,但Kafka流式处理在处理不同数据源方面的能力比较有限。还有一些扩展SQL使其支持流数据的努力,SQL是为静态数据表设计的一种常用查询语言。不过,最常用的流式处理工具还是ApacheFlink,而且它还有原生支持的批处理。

在机器学习生产应用的早期,很多公司都是在已有的MapReduce/Spark/Hadoop数据管道上构建自己的机器学习系统。当这些公司想做实时推理时,它们需要为流式数据构建一个单独的数据管道。

使用两个不同的管道来处理数据是机器学习生产过程中常见bug的来源,比如如果一个管道没有正确地复制到另一个管道中,那么两个管道可能会提取出两组不同的特征。如果这两个管道由不同的团队维护,那么这会是尤其常见的问题,比如开发团队维护用于训练的批处理管道,而部署团队则维护用于推理的流式处理管道。为了将Flink整合进批处理和流式处理流程中,包括Uber和微博在内的公司都对它们的基础设施进行了重大检修。

事件驱动型方法vs请求驱动型方法

过去十年,软件世界已经进入了微服务时代。微服务的思路是将业务逻辑分解成可独立维护的小组件——每个小组件都是一个可独立运行的服务。每个组件的维护者都可以在不咨询该系统其余部分的情况下快速更新和测试该组件。

微服务通常与REST紧密结合,这是一套可让微服务互相通信的方法。RESTAPI是需求驱动型的。客户端(服务)会通过POST和GET之类的方法向服务器发送明确的请求,然后服务器返回响应结果。为了注册请求,服务器必须监听请求。

因为在请求驱动的世界中,数据是根据向不同服务的请求而处理的,所以没有一项服务了解数据如何流经整个系统的整体情况。我们来看一个包含3项服务的简单系统:

A服务管理可接单的司机

B服务管理出行需求

C服务预测每次展示给有需求客户的最佳可能定价

由于价格取决于供需关系,因此服务C的输出取决于服务A和B的输出。首先,该系统需要服务之间的通信:为了执行预测,C需要查询A和B;而A需要查询B才能知道是否需要移动更多司机,A还要查询C以了解怎样的定价比较合适。其次,我们没法轻松地监控A或B的逻辑对C性能的影响,也没法在C性能突然下降时轻松地对数据流执行映射以进行调试。

才不过三项服务,情况就已经很复杂了。想象一下,如果有成百上千项服务——就像现在的主流互联网公司那样,服务间的通信将多得难以实现。通过HTTP以JSONblob形式发送数据是REST请求的常用模式,但这种方法的速度很慢。服务间的数据传输可能会变成瓶颈,拖慢整个系统的速度。

如果我们不再让20项服务向A发送请求,而是每当A中有事件发生时,该事件都被广播到一个数据流中,这样无论哪个服务需要A的数据,都可以订阅该数据流,然后选择其所需的部分?如果有一个所有服务都可以广播事件并且订阅的数据流呢?该模式被称为pub/sub:发布和订阅。Kafka等解决方案都支持这样的操作。由于所有数据都会流经一个数据流,因此你可以设置一个仪表盘来监控数据及其在系统中的变化情况。因为这种架构基于服务的事件广播,因此被称为事件驱动型方法。

pIYBAF_1ciiABsV_AAQKgxXNixI463.png

请求驱动型和事件驱动型架构对比。(图源:https://www.infoq.com/presentations/microservices-streams-state-scalability/)

请求驱动型架构适用于更依赖逻辑而非数据的系统,事件驱动型架构则更适合数据量大的系统。

挑战

很多公司在从批处理转向流式处理,从请求驱动型架构转向事件驱动型架构。在与美国和中国的主要互联网公司谈过之后,我的感觉是美国这种转变速度要慢一些,而中国的则快得多。流式架构的采用与Kafka和Flink的流行程度紧密相关。RobertMetzger告诉我,他观察到亚洲使用Flink的机器学习负载比美国的多。「ApacheFlink」这个关键词的谷歌搜索趋势与这一观察一致。

pIYBAF_1cj-Ad9F1AADdogd95oc945.png

流式架构没有更受欢迎的原因有很多:

1.公司没有看到流式架构的优势。

这些公司的系统规模还没有达到服务间通信会造成瓶颈的程度。

它们没有能受益于在线预测的应用。

它们有能受益于在线预测的应用,但还不知道这一点,因为它们之前从未进行过在线预测。

2.基础设施所需的前期投资较高。

基础设施更新的成本较高并且可能损害已有应用,管理者不愿意投资升级支持在线预测的基础设施。

3.思维转换

从批处理转向流式处理需要转换思维。使用批处理,你知道任务会在何时完成。使用流式处理,则无法知晓。你可以制定一些规则,比如获得之前2分钟内所有数据点的平均,但如果一个发生在2分钟之前的事件被延迟了,还没有进入数据流呢?使用批处理,你可以合并处理定义良好的表格,但在流式处理模式下,不存在可以合并的表格,那么合并两个数据流的操作是什么意思呢?

4.Python不兼容

Python算得上是机器学习的通用语言,但Kafka和Flink基于Java和Scala运行。引入流式处理可能会导致工作流程中的语言不兼容。ApacheBeam在Flink之上提供了一个用于与数据流通信的Python接口,但你仍然需要能用Java/Scala开发的人。

5.更高的处理成本

批处理意味着你可以更加高效地使用计算资源。如果你的硬件能够一次处理1000个数据点,那么使用它来一次处理1个数据点就显得有些浪费了。

层级2:在线学习

这里的「实时」定义在分钟级。

定义「在线学习」

我使用的词语是「在线学习」而非「在线训练」,原因是后者存在争议。根据定义,在线训练的意思是基于每个输入的数据点进行学习。非常少的公司会真正这么做,原因包括:

这种方法存在灾难性遗忘的问题——神经网络在学习到新信息时会突然遗忘之前学习的信息。

基于单个数据点的学习流程比基于批量数据的学习流程成本更高(通过降低硬件的规格,使之降到仅能处理单个数据点的水平,这个问题可以得到一定缓解)。

即使一个模型能使用每个输入的数据点进行学习,这也不意味着在每个数据点之后都会部署新的权重。由于我们目前对机器学习算法学习方式的理解还很有限,因此模型更新后,我们还需要对其进行评估,查看表现如何。

对大多数执行所谓的在线训练的公司而言,它们的模型都是以微批量学习的,并且会在一段时间之后进行评估。在评估之后,只有该模型的表现让人满意时才会得到更广泛的部署。微博从学习到部署的模型更新迭代周期为10分钟。

o4YBAF_1ckyAHhpOAAQVhNYSWyE238.png

微博使用Flink的机器学习(图源:https://www.youtube.com/watch?v=WQ520rWgd9A)

用例

TikTok让人上瘾。它的秘诀在于推荐系统,其能快速学习你的偏好并推荐你可能会接着看下去的视频,从而为用户提供一个不断刷新视频的体验。TikTok能做到这一点的原因是其母公司字节跳动建立了一套成熟的基础设施,使其推荐系统能够实时地学习用户偏好。

推荐系统是在线学习的理想应用之一。推荐系统有很自然的标签——如果一位用户点击一个推荐,那么这个预测就是正确的。并非所有推荐系统都需要在线预测。用户对房子、汽车、航班和酒店的偏好不太可能过一分钟就变了,因此对于这样的系统,持续学习并不太合理。但是,用户对在线内容的偏好却会很快改变,比如视频、文章、新闻、推文、帖子和贴图。(比如我刚读到章鱼有时会毫无缘由地击打鱼,现在我想看看相关视频。)由于用户对在线内容的偏好会实时变化,因此广告系统也需要实时更新以展示相关广告。

在线学习对系统适应罕见事件至关重要。以黑色星期五在线购物为例,由于黑色星期五一年仅发生一次,因此亚马逊和其它电商网站不可能有足够多的历史数据来学习用户在那天的行为,因此它们的系统需要持续学习那天的状况以应对变化。

再以Twitter的搜索为例,有时候某些名人会发布一些愚蠢的内容。举个例子,当关于「FourSeasonsTotalLandscaping(直译为:四季完全景观美化)」的新闻上线时,很多人会去搜索「totallandscaping」。如果你的系统没有立即学习到这里的「totallandscaping」是指特朗普的一场新闻发布会,那么用户就会看到大量关于园艺的推荐。

在线学习还可以帮助解决冷启动(coldstart)问题。冷启动是指新用户加入你的应用时,你还没有他们的信息。如果没有任何形式的在线学习,你就只能向新用户推荐一般性内容,直到你下一次以离线方式训练好模型。

解决方案

因为在线学习相对较为新颖,大多数做在线学习的公司也不会公开谈论其细节,因此目前还不存在标准解决方案。

在线学习并不意味着「无批量学习」。在在线学习方面最成功的公司也会同时以离线方式训练其模型,然后再将在线版本与离线版本组合起来。

挑战

无论是理论上还是实践中,在线学习都面临着诸多挑战。

理论挑战

在线学习颠覆了我们对机器学习的许多已有认知。在入门级机器学习课程中,学生学到的东西虽然细节有所不同,但核心都是「使用足够多epoch训练你的模型直到收敛」。而在线学习没有epoch——你的模型只会看见每个数据一次。在线学习也不存在收敛这个说法,基础数据分布会不断变化,没有什么可以收敛到的静态分布。

在线学习的另一大理论挑战是模型评估。在传统的批训练中,你会在静态的留出测试集上评估模型。如果新模型在同一个测试集上优于现有模型,那我们就说新模型更好。但是,在线学习的目标是让模型适应不断变化的数据。如果更新后的模型是在现在的数据上训练的,而且我们知道现在的数据不同于过去的数据,那么再在旧有数据集上测试更新后的模型是不合理的。

那么,我们该怎么知道在前10分钟的数据上训练的模型优于使用前20分钟的数据训练的模型呢?答案是必须在当前数据上比较两个模型。在线学习需要在线评估,但是向用户提供还未测试的模型听起来简直是灾难。

不过,很多公司都这么做。新模型首先要进行离线测试,以确保它们不会造成灾难性后果,然后再通过复杂的A/B测试系统,与现有模型并行地进行在线评估。只有当新模型在该公司关心的某个指标上的表现优于现有模型时,它才能得到更广泛的部署。(本文不再讨论如何选择在线评估的指标。)

实践挑战

在线训练目前还没有标准的基础设施。一些公司选择使用参数服务器的流式架构,但除此之外,我了解过的公司都不得不构建许多自己的基础设施。此处不再详细讨论,因为一些公司要求我对这些信息保密,因为他们构建的方案是为自己服务的——这是他们的竞争优势。

美国和中国的MLOps竞赛

我读过许多有关美国和中国AI竞赛的文章,但大多数比较关注研究论文、专利、引用和投资。但当我与美国和中国公司聊过实时机器学习的话题之后,我才注意到他们的MLOps基础设施有着惊人的差距。

美国很少互联网公司尝试过在线学习,而即使是使用在线学习的公司,也不过是将其用于简单的模型,比如Logistic回归。而不管是与中国公司直接谈,还是与曾在两个国家的公司工作过的人谈,给我的印象都是在线学习在中国公司里更常见,而且中国的工程师也更愿意尝试在线学习。下图是一些对话截图。

pIYBAF_1cmCANVuKAAYA2byfwjQ263.png

总结

实时机器学习发展正盛,不管你是否已经准备好。尽管大多数公司还在争论在线推理和在线学习是否有价值,但某些正确部署的公司已经看到了投资回报,它们的实时算法可能将成为它们保持竞争优势的重要因素。

编辑:hfy

收藏 人收藏
分享:

评论

相关推荐

通过小脚丫FPGA搭建实验电路并验证一个二进制比较器

前一篇文章我们介绍了通过小脚丫FPGA核心开发板来进行门电路的实验过程。当然,我们还可以画出更多复杂....
的头像 FPGA入门到精通 发表于 01-06 17:19 ? 38次 阅读
通过小脚丫FPGA搭建实验电路并验证一个二进制比较器

通过小脚丫板载的两个数码管来显示字符

今天我们任务是通过小脚丫板载的两个数码管来显示字符,所以首先我们要了解一下数码管的基本工作原理,接下....
的头像 FPGA入门到精通 发表于 01-06 17:17 ? 61次 阅读
通过小脚丫板载的两个数码管来显示字符

用一个仅有14条I/O腿的FPGA最小系统模块实现几种仪器的功能

用一个仅有14条I/O腿的FPGA最小系统模块实现几种仪器的功能,并且要有控制界面。 这款FPGA ....
的头像 FPGA入门到精通 发表于 01-06 17:14 ? 74次 阅读
用一个仅有14条I/O腿的FPGA最小系统模块实现几种仪器的功能

Xilinx FPGA IO的GTLP和HSTL电平标准的详细说明

本文档的主要内容详细介绍的是Xilinx FPGA IO的GTLP和HSTL电平标准的详细说明。
发表于 01-06 17:13 ? 14次 阅读
Xilinx FPGA IO的GTLP和HSTL电平标准的详细说明

FPGA器件如何配置电平和接口标准

Virtex-4、Virtex-5和Spartan-3系列器件增加和修改了一些与配置有关的专用引脚,....
发表于 01-06 17:13 ? 16次 阅读
FPGA器件如何配置电平和接口标准

FPGA中RS232电平和TTL电平到底有什么区别

TTL电平信号之所以被广泛使用,原因是因为:通常我们采用二进制来表示数据。而且规定,+5V等价于逻辑....
发表于 01-06 17:13 ? 31次 阅读
FPGA中RS232电平和TTL电平到底有什么区别

Xilinx FPGA IO的PCI和GTL电平标准

PCI电平标准即外设器件互联电平标准,该标准支持33MHz和66MHz的总线应用,包括PCI-X、P....
发表于 01-06 17:13 ? 22次 阅读
Xilinx FPGA IO的PCI和GTL电平标准

小脚丫FPGA的综合技能学习平台

小脚丫FPGA的综合技能学习平台,功能见下图: 实物长这样: 不少同学搭配口袋仪器,可以在这个板上观....
的头像 FPGA入门到精通 发表于 01-06 17:12 ? 66次 阅读
小脚丫FPGA的综合技能学习平台

一个价值36.5万美元的机器学习模型打了水漂?

人们口口声声担心「人工智能的推断不可靠」,实则连个数据泄露的问题都敢忽略。 人们常会提到,当今流行的....
的头像 人工智能与大数据技术 发表于 01-06 17:07 ? 122次 阅读
一个价值36.5万美元的机器学习模型打了水漂?

时序电路之触发器

时间的重要性不言而喻,加上时间这个维度就如同X-Y的平面加上了一个Z轴,如同打开了一个新的世界。所以....
的头像 FPGA入门到精通 发表于 01-06 17:07 ? 52次 阅读
时序电路之触发器

史上最大AI模型GPT-3强势霸榜Github

最近,GPT-3火了!相信你已经在网上看到各种有关GPT-3的演示。这个由OpenAI创建的大型机器....
的头像 人工智能与大数据技术 发表于 01-06 17:06 ? 63次 阅读
史上最大AI模型GPT-3强势霸榜Github

时序逻辑电路:时钟分频

和单片机一样,FPGA开发板上也都会配有晶振用来生成板载时钟。前一篇我们提到了小脚丫的固定板载时钟频....
的头像 FPGA入门到精通 发表于 01-06 17:02 ? 81次 阅读
时序逻辑电路:时钟分频

如何通过FPGA+AD9361 SDR实现机载视频无线传输

摘要: 针对当前无人机数据链日趋小型化,采用射频收发一体化设计,基于FPGA 对零中频射频收发器AD....
的头像 FPGA入门到精通 发表于 01-06 16:46 ? 78次 阅读
如何通过FPGA+AD9361 SDR实现机载视频无线传输

专注硬件加速服务,艾科朗克完成A轮融资

据悉,「艾科朗克」已于近日完成5000万A轮融资。本轮融资由沣扬资本领投,万得信息、君盛投资、兴富资....
的头像 我快闭嘴 发表于 01-06 16:36 ? 175次 阅读
专注硬件加速服务,艾科朗克完成A轮融资

发烧友隆重推出:优质教程专题(你想要的教程都在这!)

这是一个内容丰富的教程专题,里面包含了很多优质设计内容,是这里有PADS设计实战教程、Altium Designer教程、信号完整教...
发表于 01-06 14:46 ? 136次 阅读
发烧友隆重推出:优质教程专题(你想要的教程都在这!)

基于FPGA的片上系统的无线保密通信终端

发表于 01-06 14:27 ? 0次 阅读
基于FPGA的片上系统的无线保密通信终端

使用无人机、热成像仪和人工智能技术提高计算考拉数量的效率

研究并保护动物的必要需求便是要了解该区域到底有多少这一动物,可考拉太难找了!为了提高计算考拉数量的效....
发表于 01-06 11:37 ? 204次 阅读
使用无人机、热成像仪和人工智能技术提高计算考拉数量的效率

AI虽面临产业落地难的问题,但产业化路径已日渐清晰

今天我们谈论AI,已经很少再提及下围棋、打游戏等“碾压人类”式的炸裂新闻,而是更关注AI如何与各行业....
的头像 脑极体 发表于 01-06 11:32 ? 266次 阅读
AI虽面临产业落地难的问题,但产业化路径已日渐清晰

基于Actel SmartFusion智能混合信号FPGA的的全新MMC管理解决方案

爱特公司(Actel Corporation)全资子公司Pigeon Point Systems(P....
发表于 01-06 11:09 ? 34次 阅读
基于Actel SmartFusion智能混合信号FPGA的的全新MMC管理解决方案

机器学习中的几种数据偏差

机器学习中的数据偏差是一种错误,其中数据集的某些元素比其他元素具有更大的权重和或表示。有偏见的数据集....
的头像 Imagination Tech 发表于 01-05 17:54 ? 172次 阅读
机器学习中的几种数据偏差

2021年IT领导者对人工智能和机器学习未来发展的期望

每到岁末年初,IT思想领袖都会对未来一年的技术发展、创新服务、行业进步等发展趋势进行分析预测。人们需....
的头像 Les 发表于 01-05 17:07 ? 628次 阅读
2021年IT领导者对人工智能和机器学习未来发展的期望

《中国企业数字化转型研究报告(2020)》

趋势七:跨国公司在华企业向海外输出数字化转型先进经验。受益于中国更为庞大的生产数据、应用数据和用户数....
的头像 工业IoT 发表于 01-05 17:07 ? 306次 阅读
《中国企业数字化转型研究报告(2020)》

FPGA设计电路的一些问题和PCB为什么要布短线

1、我是基于购买的FPGA核心板设计的外扩板,由于FPGA的特殊性,大部分IO引脚可以随意分配,然后....
发表于 01-05 17:02 ? 38次 阅读
FPGA设计电路的一些问题和PCB为什么要布短线

FPGA器件的三类配置下载方式详细说明

有些人对于FPGA下JTAG的下载方式有些迷惑,为什么出现配置芯片了,为什么要用不同的下载电缆,不同....
发表于 01-05 16:21 ? 21次 阅读
FPGA器件的三类配置下载方式详细说明

FPGA程序的三种烧写方式的教程

AS模式(active serial configuration mode): FPGA每次上电时作....
发表于 01-05 16:21 ? 26次 阅读
FPGA程序的三种烧写方式的教程

FPGA配置电路的主模式和从模式与JTAG模式的详细说明

我们知道,FPGA是易失性的。硬件配置,即把HDL代码下载到FPGA芯片中,才能进行下一步的调试。
发表于 01-05 16:21 ? 19次 阅读
FPGA配置电路的主模式和从模式与JTAG模式的详细说明

Kaggle神器LightGBM的最全解读

1. LightGBM简介 GBDT (Gradient Boosting Decision Tre....
的头像 通信信号处理研究所 发表于 01-05 14:27 ? 132次 阅读
Kaggle神器LightGBM的最全解读

亚马逊预测2021将改变世界的八大技术趋势

2020年12月17日,在为期三周的亚马逊re:Invent全球大会即将闭幕之际,亚马逊全球副总裁、....
的头像 通信信号处理研究所 发表于 01-05 14:25 ? 486次 阅读
亚马逊预测2021将改变世界的八大技术趋势

时频二维搜索捕获算法及其FPGA实现

发表于 01-05 13:57 ? 101次 阅读
时频二维搜索捕获算法及其FPGA实现

JESD204——它是什么?

2006年4月,JESD204最初版本发布。该版本描述了转换器和接收器(通常是FPGA或ASIC)之....
的头像 亚德诺半导体 发表于 01-04 16:27 ? 286次 阅读
JESD204——它是什么?

DVI输出图像选区截取的FPGA实现

发表于 01-04 14:02 ? 303次 阅读
DVI输出图像选区截取的FPGA实现

莱迪思FPGA助力玩视科技(HDCVT)实现SDI转HDMI解决方案

近日宣布深圳玩视科技有限公司(HDCVT)采用莱迪思FPGA器件提供的丰富高速SERDES资源和灵活....
发表于 01-04 12:00 ? 130次 阅读
莱迪思FPGA助力玩视科技(HDCVT)实现SDI转HDMI解决方案

联发科携手联盟成员推动人工智能标准

MediaTek 近日宣布成为 MLCommons 联盟的创始成员,MLCommons 是一个开放式....
的头像 联发科技 发表于 01-04 10:52 ? 567次 阅读
联发科携手联盟成员推动人工智能标准

基于可编程逻辑器件和VHDL语言实现算术逻辑单元的设计

随着可编程逻辑器件的发展,FPGA的应用已经越来越广泛,且用可编程逻辑器件代替传统的普通集成电路已成....
发表于 01-04 10:36 ? 183次 阅读
基于可编程逻辑器件和VHDL语言实现算术逻辑单元的设计

机器编程:自动编程还能自主检测Bug,有望成为一种强大的生产力工具

机器编程与机器学习有很大的不同,机器编程是教系统自己编程。虽然还处于早期阶段,但这种新颖的自我监控系....
的头像 Les 发表于 01-04 10:24 ? 329次 阅读
机器编程:自动编程还能自主检测Bug,有望成为一种强大的生产力工具

揭秘赛灵思计算平台ACAP技术细节

? 在日前召开的FPGA领域的学术顶会--2019年“FPGA国际研讨会”上,赛灵思发表了两篇长论文....
的头像 电子发烧友网工程师 发表于 01-04 09:53 ? 199次 阅读
揭秘赛灵思计算平台ACAP技术细节

中国FPGA芯片行业综述

? FPGA芯片定义及物理结构 FPGA芯片作为专用集成电路(ASIC)领域中半定制电路面市,克服定....
的头像 电子发烧友网工程师 发表于 01-04 09:51 ? 636次 阅读
中国FPGA芯片行业综述

Altera在FPGA中演示25-Gbps收发器性能,功能上优于竞争ASSP产品

Altera公司率先在可编程逻辑中成功演示25-Gbps收发器性能,在收发器技术上树立了关键里程碑。....
发表于 01-04 09:41 ? 172次 阅读
Altera在FPGA中演示25-Gbps收发器性能,功能上优于竞争ASSP产品

2020中国企业数字化转型十大趋势

随着更多企业数字化转型的逐步深入,数字化从企业个体转型上升到产业协同升级,加速产业生态的变革与重构。....
的头像 传感器技术 发表于 01-04 09:10 ? 709次 阅读
2020中国企业数字化转型十大趋势

Xilinx 7系列中SERDES的应用概述

SERDES是英文SERializer(串行器)/DESerializer(解串器)的简称。它是一种....
发表于 12-31 17:30 ? 85次 阅读
Xilinx 7系列中SERDES的应用概述

Xilinx 7 系列FPGA中的Serdes总结

本文档的主要内容详细介绍的是Xilinx 7 系列FPGA中的Serdes总结。
发表于 12-31 17:30 ? 73次 阅读
Xilinx 7 系列FPGA中的Serdes总结

FPGA JTAG工具设计的教程说明

本文档的主要内容详细介绍的是FPGA JTAG工具设计的教程说明。
发表于 12-31 17:30 ? 65次 阅读
FPGA JTAG工具设计的教程说明

FPGA JTAG的配置模式详细说明

赛灵思公司的FPGA芯片具有IEEE 1149.1/1532协议所规定的JTAG接口,只要FPGA上....
发表于 12-31 17:30 ? 74次 阅读
FPGA JTAG的配置模式详细说明

XILINX中的zynq ultrascale plus产品选择指南

本文档的主要内容详细介绍的是XILINX中的zynq ultrascale plus产品选择指南。 ....
发表于 12-31 17:30 ? 57次 阅读
XILINX中的zynq ultrascale plus产品选择指南

四大焦点话题,审视医学AI的理工医跨界融合

? 四年来,国内外顶级学者的数百篇学术报告,已经成为医学图像和数字医学领域的研究风向标。 雷锋网《医....
的头像 IoT科技评论 发表于 12-31 17:19 ? 948次 阅读
四大焦点话题,审视医学AI的理工医跨界融合

Xilinx FPGA中SRL移位寄存器的资源介绍

SRL(移位寄存器)资源,在FPGA中都有,不过是叫不同的名字。Xilinx FPGA内部的LUT有....
发表于 12-31 16:45 ? 32次 阅读
Xilinx FPGA中SRL移位寄存器的资源介绍

如何在FPGA中对SRL实现设计指导

最近在看关于Ultrafast设计方法学的视频以及Vivado design Methodology....
发表于 12-31 16:45 ? 50次 阅读
如何在FPGA中对SRL实现设计指导

FPGA中SRL16的资料详细说明

这个参数确定的是移位寄存器的移位时钟个数。这个时钟个数取决于后面的Depth参数。其中第一个参数Fi....
发表于 12-31 16:45 ? 69次 阅读
FPGA中SRL16的资料详细说明

ETC紧凑型电视信号分析仪的性能及应用

ETC紧凑型电视信号分析仪针对DVB-T2、DVB-T/ DVB-H和ISDB-T数字电视发射机测试....
的头像 牵手一起梦 发表于 12-31 16:34 ? 349次 阅读
ETC紧凑型电视信号分析仪的性能及应用

fpga开发板使用教程之在K7上用Ibert实现基本的GTX测试

GTX、GTH等具体是什么就不多介绍了,网上有很多。写这个的目的,就是当收到FPGA板卡后,要判断本....
发表于 12-31 15:36 ? 324次 阅读
fpga开发板使用教程之在K7上用Ibert实现基本的GTX测试

如何利用PCA和SVM建立一个人脸识别模型

主成分分析:主成分分析(PCA)是一种机器学习算法,广泛应用于探索性数据分析和建立预测模型,它通常用....
的头像 牵手一起梦 发表于 12-31 14:19 ? 226次 阅读
如何利用PCA和SVM建立一个人脸识别模型

在K7上用Ibert实现基本的GTX测试步骤方案

      GTX、GTH等具体是什么就不多介绍了,网上有很多。写这个的目的,就是当收到FPGA板卡后,...
发表于 12-31 14:07 ? 0次 阅读
在K7上用Ibert实现基本的GTX测试步骤方案

2021年人工智能与机器学习的趋势及预测

人工智能和机器学习如今一直在改变着我们的世界,2020年发生的冠状病毒疫情为这两种技术带来了新的机会....
的头像 如意 发表于 12-31 11:50 ? 993次 阅读
2021年人工智能与机器学习的趋势及预测

FPGA人才培养“理论”与“实践”两手都要抓

当今社会,随着智能化需求市场变化多来越多、越来越快,FPGA发挥作用越来越大。但FPGA人才却成为困....
的头像 高云半导体 发表于 12-31 11:21 ? 295次 阅读
FPGA人才培养“理论”与“实践”两手都要抓

现代计算机视觉技术在过去10年里取得了显著进展

介绍使图像分割的方法,包括传统方法和深度学习方法,以及应用场景。 基于人工智能和深度学习方法的现代计....
的头像 新机器视觉 发表于 12-31 09:45 ? 154次 阅读
现代计算机视觉技术在过去10年里取得了显著进展

工程师教你如何快速上手FPGA低功耗设计

对于研发人员而言,大家总是在追求低功耗设计。采用低功耗设计,无疑是能够带来诸多好处。为帮助大家了解如何降低功耗,本文,将...
发表于 12-30 08:00 ? 158次 阅读
工程师教你如何快速上手FPGA低功耗设计

关于使用ps模式配制fpga

看到fpga能使用ps模式在线升级,就用labview弄了个程序尝试了下,把几个需要用到的io从fpga接出来然后通过规定的时序将配制文件写...
发表于 12-30 00:57 ? 53次 阅读
关于使用ps模式配制fpga

基于FPGA的栈空间管理器的研究和设计

发表于 12-29 09:41 ? 638次 阅读
基于FPGA的栈空间管理器的研究和设计

学习FPGA图像处理必须知道的原理和方法

图像在采集和传输的过程中,通常会产生噪声,使图像质量降低,影响后续处理。因此须对图像进行一些图像滤波、图像增强等预处理。...
发表于 12-29 09:16 ? 269次 阅读
学习FPGA图像处理必须知道的原理和方法

UD408G5S1AF 32位 DDR4 SDRAM的特征

支持Xilinx FPGA中的32位 DDR4 SDRAM
发表于 12-29 06:30 ? 0次 阅读
UD408G5S1AF 32位 DDR4 SDRAM的特征

TMP411 ±1°C Programmable Remote/Local Digital Out Temperature Sensor

TMP411设备是一个带有内置本地温度传感器的远程温度传感器监视器。远程温度传感器,二极管连接的晶体管通常是低成本,NPN或PNP型晶体管或二极管,是微控制器,微处理器或FPGA的组成部分。 远程精度为±1 °C适用于多个设备制造商,无需校准。双线串行接口接受SMBus写字节,读字节,发送字节和接收字节命令,以设置报警阈值和读取温度数据。 TMP411器件中包含的功能包括:串联电阻取消,可编程非理想因子,可编程分辨率,可编程阈值限制,用户定义的偏移寄存器,用于最大精度,最小和最大温度监视器,宽远程温度测量范围(高达150°C),二极管故障检测和温度警报功能。 TMP411器件采用VSSOP-8和SOIC-8封装。 特性 ±1°C远程二极管传感器 ±1°C本地温度传感器 可编程非理想因素 串联电阻取消 警报功能 系统校准的偏移寄存器 与ADT7461和ADM1032兼容的引脚和寄存器 可编程分辨率:9至12位 可编程阈值限...
发表于 09-19 16:35 ? 231次 阅读
TMP411 ±1°C Programmable Remote/Local Digital Out Temperature Sensor

TMP468 具有引脚可编程的总线地址的高精度远程和本地温度传感器

TMP468器件是一款使用双线制SMBus或I 2 C兼容接口的多区域高精度低功耗温度传感器。除了本地温度外,还可以同时监控多达八个连接远程二极管的温度区域。聚合系统中的温度测量可通过缩小保护频带提升性能,并且可以降低电路板复杂程度。典型用例为监测服务器和电信设备等复杂系统中不同处理器(如MCU,GPU和FPGA)的温度。该器件将诸如串联电阻抵消,可编程非理想性因子,可编程偏移和可编程温度限值等高级特性完美结合,提供了一套精度和抗扰度更高且稳健耐用的温度监控解决方案。 八个远程通道(以及本地通道)均可独立编程,设定两个在测量位置的相应温度超出对应值时触发的阈值。此外,还可通过可编程迟滞设置避免阈值持续切换。 TMP468器件可提供高测量精度(0.75°C)和测量分辨率(0.0 625°C)。该器件还支持低电压轨(1.7V至3.6V)和通用双线制接口,采用高空间利用率的小型封装(3mm×3mm或1.6mm×1.6mm),可在计算系统中轻松集成。远程结支持-55°C至+ 150°C的温度范围。 特性 8通道远程二极管温度传感器精度:±0.75&...
发表于 09-18 16:05 ? 154次 阅读
TMP468 具有引脚可编程的总线地址的高精度远程和本地温度传感器
bwin娱乐平台,bwin国际娱乐,bwin必赢亚洲平台官网