rss 推荐阅读 wap

零点资讯网_新闻资讯门户|新闻|中国新闻|国际新闻|中国新闻网

热门关键词:  as  www.ymwears.cn  xxx  test  众应互联
首页 零点报道 消费热点 文化自信 前沿资讯 财经头条 生活关注 旅游休闲 科创发展 贸易互通 微商世界

揭秘:腾讯京东推荐系统架构如何设计?

发布时间:2020-08-01 14:50:10 已有: 人阅读

  【IT168 专题报道】SACC大会于10月22日落幕。至此,在10月21日的搜索及推荐系统架构设计专场中,有五位演讲嘉宾对他们熟悉的推荐系统架构技术进行了分享,他们分别是来自

  第四范式资深算法科学家程晓澄、腾讯音乐娱乐集团技术总监李深远、58转转搜索推荐部负责人张相於、阿里巴巴高级技术专家邓万禧、京东集团架构师尹德位。

  首先为大家介绍今天的第一位演讲嘉宾来自第四范式资深算法科学家程晓澄。程晓澄是推荐系统服务算法负责人,负责逻辑思维得到 APP、海外移动新闻聚合 APP News In Palm 等多个推荐系统的搭建,及推荐服务功能与架构的设计,以支撑客户在各类场景和业务的需求。曾任职豆瓣算法部门,参与了豆瓣 FM 等多个推荐系统的搭建和改进。

  演讲的主要内容主要分为三个部分:推荐系统的诞生土壤和早期演进、推荐系统当下的基本架构、推荐系统的搭建及挑战。

  在推荐系统的早期,推荐在这两假设上才能建立:user based recommendation以及item based recommendation。但是早期的模型存在一些局限。有些方法用到的信息只有 uid、iid、历史评分,而一些新的商品就没有历史评分。显然如果用到更多的信息和空间就能使预测更加准确。如果有一个更丰富的选择和假设,每个用户都有自己的行为逻辑,然后利用评分的方式进行捕捉,并且根据每个用户喜欢什么不喜欢什么,能够自主去进行修正和反馈,这就涉及到机器学习的概念。

  谈到推荐系统的搭建时,程晓澄认为主要包括线上请求、线下数据流闭环、数据分析、算法实验等几个方面。整个推荐系统需要能够快速迭代,快速回应产品和性能上算法上要求,需要更多的进步和进化。

  最后程晓澄表示,一个象棋大师会被一个每回合走两步的业余选手轻松击败,而任意一个系统上线后也会暴露一些问题。一个好的系统不应该仅仅拥有响应产品、性能、算法需求的架构,还应该同时拥有可进行大量实验的环境机制。

  演讲的开始,李深远表示现在QQ音乐、酷狗、酷我成立了独立的音乐公司,目前QQ音乐的注册用户目前达到8亿、DAU用户1亿。

  最后,李深远还介绍AI时代,QQ音乐团队通过不同尝试研制了智能推荐新系统。智能推荐(Intelligence Recommendation)是依托于腾讯海量用户行为和广泛产品覆盖,以数据+算法+系统为核心,并结合腾讯在电商,游戏,金融,泛娱乐,资讯,3C等众多领域深厚的大数据技术积累,为客户提供基于海量用户画像+实时大数据机器学习的内容个性化推荐PaaS服务,通过简单的API调用,就能快速拥有业界顶尖的大数据应用能力。

  李深远在演讲中还提到,做算法应该抬头看路,对于技术开发人员来讲,在同比的时间跑赢自己才是最重要的。

  今天的第三位演讲嘉宾是来自58转转的张相於。张相於毕业于中国人民大学,现任转转推荐算法部负责人,负责转转的推荐系统以及其他算法相关工作,曾任当当网推荐系统开发经理。多年来主要从事推荐系统以及机器学习系统的相关工作,也做过搜索、计算广告、反作弊等相关工作,并热衷于探索大数据技术、机器学习技术在其他领域的应用实践。

  演讲的开始,张相於首先对C2C市场及其特点进行了分析。他表示,C2C平台目前可能还是以交易为主,但是它本质上是连接了个人与个人,前景会非常广阔。

  用户发布的数据异质性解决方法分为两种,一种是将非结构化数据转为结构化数据,第二种是使用NLP相关技术直接处理和使用非结构化数据。面对买卖双方的时效敏感性挑战,转转通过优化改造CF算法,构建统一画像管理系统,来将各种算法进行了实时化改造。第三个挑战——复杂策略下的性能压力,通过对架构进行算能升级,实现了性能的提升了和计算能力的提升。

  第四位演讲嘉宾是来自阿里巴巴高级技术专家邓万禧,邓万禧2009年毕业于南开大学并加入阿里巴巴,主要参与isearch5搜索引擎的研发,该引擎目前已经广泛应用于阿里集团电商搜索、神马搜索等核心业务。近年来主要负责开放搜索的设计与研发,致力于降低搜索技术的门槛和成本,让搜索技术不再成为客户的业务瓶颈。

  最后一位演讲嘉宾是来自京东集团架构师尹德位。尹德位现任职于京东,主要从事搜索引擎架构研发及平台化设计工作,使技术更好地服务于集团业务快速发展。作为京东重要的流量入口,搜索是京东电商生态中的核心系统。京东搜索系统经过多代发展,现已支持每日数亿PV请求,为中国几亿用户提供高效精准的搜索服务。经过持续的迭代优化,系统伸缩弹性和通用性进一步完善,在数据增长与成本控制之间找到最佳结合点,如今已成长为可支持百亿数据级的高性能高并发分布式搜索系统。

  接着,谈到搜索架构演进之路时,他重点介绍了京东的平行搜索引擎。而平行搜索(分布式)引擎中的负载均衡管理是重点需要关注的内容。负载均衡管理主要包括:1.轮询2.负载窗口机制3.哈希4.动态伸缩5.集群灾备。

  数据量持续增长和搜索化,而京东亿级流量的海量商品搜索架构在挑战中不断发展,积极迎接挑战。

首页 | 零点报道 | 消费热点 | 文化自信 | 前沿资讯 | 财经头条 | 生活关注 | 旅游休闲 | 科创发展 | 贸易互通 |免责声明

Copyright2008-2022 零点资讯网 www.wax-o.org 版权所有 业务QQ:17468920 Power by DedeCms

电脑版 | wap