第287章 与张一名话推荐

重生之AI教父 CloseAI 2175 字 13天前

不过由于许多公司管理自己数据库的方式非常不规范不安全,导致被人拖库的事情时有发生。整个数据库直接被黑客取走,用户的一切敏感信息都被获取,作为商品被反复倒卖。

数次大型信息泄露事件过后,也导致了【人肉】别人变得越发容易,网友们相互开盒,不亦乐乎。

不过这些问题,却也不是孟繁岐现在有什么办法可以改变的了。

至于第三种混合推荐方式,则是将之前两大类通过一些方法综合考量,融合起来。

毕竟单独考虑内容和协同过滤都是不够周全的,前者可以避免冷启动问题,也就是如果用户没有跟一个种类的视频互动过,那么这类视频就会很难被推荐到。不过基于内容的推荐很可能会陷入重复套娃当中,点多了之后就不会推别的内容给用户。看几个萌宠视频就掉进猫窝出不来了。

后者根据用户互动数量的增加,可以非常好地把握用户的喜好。只是如果用户从未看到某些类型的话,系统也难以判断,在初期会遭遇上述的冷启动问题,不知道该不该推某些类别。

当然了,这是非常笼统论述,实际的操作更加复杂。

“现在国内在这方面大部分都是模仿你在谷歌为油管设计的那一套办法。”张一名此前刚刚自学了一套传统办法,结果推荐系统就被AI革新了一轮。

孟繁岐在谷歌的中前期,为了扩大自己的分成比例,做了一些推荐搜索方面的优化,其中就包括替油管准备的一套方法。

针对网页和推荐广告的那部分,谷歌是不可能放出来的,毕竟那是谷歌8成收入来源的一个重大提升。

而油管这方面,虽是世界级的视频网站,但在营收方面占比还是拉胯了一点,加上孟繁岐的做法也比较糙,因而迟些时候谷歌还是选择了公布。

“其实我在那个工作里没有投入太多精力,就只是率先把深度网络的那一套给搬进去了,做了一些专项的适配。”孟繁岐着实也不是谦虚,那段时间太忙了,油管这边属于营收小头,孟繁岐没有当成主要任务在做,各方面都不够细致。

“你这话说得,传出去能把人气死。油管怎么说也是十几亿用户的头部长视频平台,哪有你说得那么好做?”张一名是内行人,他知道以油管的规模,是有几个巨大挑战的。

“油管体量大,我自己测试很多推荐算法,小规模问题都做得非常好,但体量上到千万、亿级别就很容易出问题,更别提油管的十亿级别了。”张一名在头条上推荐的东西测得很多,其中的难点知晓得很清楚。

小主,

“用户多了,每秒的新内容上传数量也很庞大,系统不仅要处理好原本十亿级别的视频,还得对最新上传的内容及时更新建模。”张一名摇了摇头,以他自学推荐方法的经历,一时间根本想象不到这个难题得怎么去解决。

“油管当时是用了十亿级别的参数,用了千亿的训练样本。主要是用了两个神经网络,一个生成视频候选,一个用于排序重要性。”谷歌虽然公布了这部分内容,但是多少有点语焉不详,自然不如算法主导人孟繁岐介绍得简明清楚。

“主要是从用户的历史行为获取输入,从视频库检索数百个视频,尽量通过粗粒度的特征去筛选,因为规模上去之后噪声的为是相当夸张的。对于检索出来的百余视频,再根据细粒度特征用排序网络区分召回,分析相对的重要性,最终构成最佳推荐列表。”

这种粗排,精排,深度网络替代传统办法和树方法的模式,已经在国内外广泛流行了起来,可以说孟繁岐年初时分在谷歌做的这一套模式,如今已经成为了视频推荐的基本范式。

只不过孟繁岐自己早已经鸟枪换炮。

“我们现在稳定的一个版本也是遵循这个粗排候选生成,精排最后视频结果的模式,不过我注意到其实大部分厂商标注出来的数据是有很大的系统偏差的。有时候用户点了排在前面的视频,并不是因为