互联网电商平台个性化智能推荐系统设计难在哪里互联网电商平台个性化智能推荐系统设计难在哪里
虽然从市场用户调研到互联网电商平台产品设计,再到上线运营推广,覆盖的面很宽,但我仔细对整个互联网电商平
台知识体系梳理了一遍,其中,最为关键和难度最高的就是个性化推荐系统、搜索和大数据系统,其实不难看出,个
性化推荐系统和搜索底层都是基于大数据,所以最终各条产品线和技术都归集到大数据系统上,后续我会逐一对每个
难点进行分析,本篇就针对用户个性化推荐系统设计进行分享。
通过对多个大型互联网电商平台的跟踪研究,个性化智能推荐系统设计建设由三步构成:第一建立平台用户行为的召
回模型,维度基于用户历史行为数据召回、用户偏好召回和用户地域召回来实现,用户历史行为数据召回基于用户历
史浏览、点击、购买、评论、分享、收藏、关注等触点,分类推荐在线相关、在线相似、离线相关、离线相似行为;
基于用户偏好召回是基于用户归类画像与平台多屏互通融合;基于用户地域召回是基于用户地域的网格化来实现地域
行为推荐算法;第二是召回模型匹配算法,利用高斯逻辑回归及多维算法来得出与用户召回行为的匹配商品及广告信
息;第三是平台针对匹配模型推荐结果的排序算法,基于用户交互日志通过模型训练特征权重,采用排序算法来实现
自动匹配个性化推荐。在系统实现技术架构上,为支撑个性化推荐系统平均至少每周进行算法迭代,采用HBase、
Spark及MapReduce等系统架构,在个性化推荐系统优化升级中,与DNN融合的速度越来越快。
个性化智能推荐最终的目标就是让一个普通访问电商平台的用户,在进入平台页面时,系统能够根据用户日常的行为
偏好和习惯,用户心理想要购买的商品,在还没有发生点击行为时,系统能自动推荐到用户访问的页面,提升平台用
户下单转化率。即使在用户没有访问平台时,企业通过与用户日常浏览互联网行为轨迹的平台进行联盟合作,在联盟
平台推送用户希望购买的商品广告和链接,刺激和引导用户点击购买。即使在用户没有打开电脑时,能够通过信息和
邮件的方式,根据用户平常的购买频次和周期,在特定的时间推送到用户手机和电脑。
平台前端实现用户千人千面,而后端需要建立复杂的用户全网行为数据采集、存储加工、数据建模和用户画像过程,
单纯采集互联网电商平台数据,仅能达到个性化推荐效果的40%左右,如果要提升个性化推荐的效果,就必须覆盖用
户全网行为轨迹,甚至用户线下的行为轨迹,这就形成了以互联网电商平台为核心的生态系统,也能说明阿里、腾讯
为什么要控股或收购各行业企业的原因。
1、用户行为数据采集
首先需要在采集的互联网平台进行埋点,在页面放置“蜘蛛”探针、采集业务系统所有访问和操作日志、从数据库中提取
业务数据,采集回来存储在数据仓库,采集服务器组负责将采集到的日志信息生成文件,落地到存储设备;ETL服务
器负责将日志文件和结构化数据导入Hadoop分析集群,并将分析结果导出到Oracle数据库;数据解析服务器负责连接
Hadoop环境,完成数据分析各项计算;Hadoop和Hive提供数据分布式存储和计算的基础框架;调度实现以上数据导
入、分析和结果导出的所有任务的统一调度;数据展示服务器负责数据分析结果的多种形式展现。