乐学 Know-how：降解复杂问题
一位业内著名的私募基金经理在他的文章里把这个过程解释的言简意赅，这里直接引用一部分思路极其一致的段落：
如果一家企业能够把生产线上效率最高的工人所掌握的工艺经验，变成生产流程中的各种参数，并以明确的流程化的形式沉淀下来，成为生产技术要求，那么这家企业就拥有了Knowhow。
Knowhow和工作经验最大的不同在于，经验只存在于熟练工人的记忆中，所有新人进来后，都需要经历同样的“学习曲线”，那就无法产生规模效应；
而Knowhow是“标准化后”的可量化的员工工作经验，存在于流程和工艺参数上，所有权属于公司，可传承，可降低新老员工的工作差异，通过规模化的生产获取竞争优势，获得更大的市场份额。
同时，Knowhow又不完全是标准化生产，它同时需要生产流程、组织架构、产品特征、客户需求的配合，而且也在不停的改造与升级中，所以即使是核心员工或团队，也不一定能令Knowhow扩散至竞争对手手中。
太过标准化的生产，很容易让行业陷入同质化竞争 ，而太过强调员工个人经验的模式，又难以规模化，而Knowhow正是介于标准化生产与员工个人经验之间的东西，既能产生竞争优势，又有保持优势的护城河。
作者用这个逻辑去论述房地产行业的项目制管理，由于高度不确定性是不能产生Know-how的；但我则认为并非房地产项目不能know-how，而是足够高的利润，让组织缺乏动力沉淀这部分知识财产。
一个组织，需要能够在内部有效沉淀和传递知识，保证具备领域知识的各角色可以通过标准化的工作方法持续地解决复杂问题，而解决什么问题，深受组织的决策方式所影响。
即， 集体需要通过由知识沉淀、任务拆解和决策机制构成的组织能力 ，解决复杂问题。
这些组织能力被藏在工作环境中的方方面面，难以被总结和概括，结果统统被称为企业文化。
国内以“狼性文化”而著称的民营企业，被无数企业羡慕的高执行力，是由其“不断地改造协作流程，以降低协作难度、花大量投资支持专业部门承载知识资产、同时用高薪保证人员可以在关键时期高强度作战”所保证的。
这些企业治理能力，往往并不具备可复制条件；又或者说，肯如此花精力打基础的组织，也并不需要去复制其他企业的经验。
所以传统管理咨询的几大法宝和靶子就是： 流程、角色、组织架构和企业文化 。
但在 数字化转型 的语境下，解决方案则转变为：数据、架构治理和算法。
这个问题很抽象，下面的现实案例可以帮助大家获得一个基本的感觉。
淘宝通过对买卖双方交易过程的免费吸引商家和用户流量。同时设计了多种功能帮助用户找到商品（比如模糊搜索、识图找物、直播间等），并用各种活动持续激活用户，这是“用户增长型”产品经理的主要工作。
当平台内商品数量和种类越来越多后，用户找到适合自己的产品所需耗费的时间就越长。于是“策略型产品经理”就需要对商品的搜索过程进行设计，给更优质的商品提高权重。
同时，商家希望自己的产品更容易被消费者看到，于是向需要淘宝购买流量、打广告、做营销，“增值营收型产品经理”就承担起这部分的需求和设计。
当功能因为各种原因可能对用户产生骚扰时，需要决策如何优化产品。这时“数据型产品经理”就要通过“埋点”、“A/B test”等方式对数据进行采集、分析和可视化，为决策提供数据支持。
负责“用户增长”的与负责“广告”的在业务上必然有冲突，而且频率也不低：广告越多越不精准，用户体验就越差。
但是这个影响表现是不能通过开会、讨论解决的，所以产品/业务负责人，就需要根据收集到的多维度数据，从数据结果上给出决策依据。
比如，某新上推荐策略中，衡量指标有CTR、CVR、UV价值和RPM四个指标，现状CTR：40%、CVR：14%、UV价值928、RPM(3004)；
（CPC (Cost Per Click): 按点击计费（平均点击价格）；CPA (Cost Per Action): 按成果数计费；CPM (Cost Per Mille): 按千次展现计费（千次展现价格）；CVR (Click Value Rate): 转化率，衡量CPA广告效果的指标；CTR(Click Through Rate): 点击率；RPM：Revenue Per Mille 千次展示收入，和CPM类似，RPM是针对广告展示商（比如Adsense商户）而言的；UV：Unique Visitor，独立访客数。）
通过在灰度测试中对各指标的观察结果：
表现正向的策略可以上线；不影响的策略可以视业务需要上线；负向的策略非特殊情况不能上线。
上述案例中，不同角色针对数据代表的业务价值的认知是一致的（即知识沉淀）；并通过算法处理后的数据表现对业务表现进行评估，形成了常态化的“决策机制”；同时不同角色专注在不同功能设计上，但最终通过产品技术架构对不同条线进行整合，完成了复杂问题的任务拆解。
在数字型组织里，复杂问题是通过 技术架构 降解为不同角色的具体问题， 知识沉淀和传递 通过对数据的理解和认知完成，并最终由算法处理的结果形成 常态化的决策 。
当然，这属于数字化程度非常高，且商业化极为成熟的领域目前才有的能力，对于大部分团队、企业甚至行业来说，数字化转型的契机都有所区别。
比如手机行业从最早的功能机向现在智能机转型的过程，也是话语权从品牌厂商向OS软件供应商转移的过程。google可以通过andriod系统的技术架构，指导全球andriod智能机厂商整合供应链能力，本质上就是逐渐在用数字化能力，促进手机生产过程中的协作，取代传统工业生产项目管理，及产品迭代的方式。
这种电气化、信息化、数字化的工作方式正在成为工业制造的新趋势，越是市场化、高新化的行业越是如此。
大到正在蓬勃发展的电动车行业，小到规模庞大替换频率高的智能电表，都在用芯片和通讯模组通过软件迭代功能，而非频繁替换硬件。
不仅从需求端上讲这样更具经济效益，从供应端上说，也因为功能迭代频率的压力，倒逼企业通过数字化手段降低各生产环节的协作难度，压缩生产周期。
在这方面堪称具备世界顶尖工程能力的实践，就要数特斯拉的“极限生产” (Extreme Manufacturing)。
区别于传统厂商：设计-研发-测试的模式，特斯拉的设计和测试直接在工厂进行，设计和生产等同，都发生在工厂生产线，而非办公室。
区别于传统的抽样测试，特斯拉每一个成熟的设计构想，都会在生产车间快递尝试，并对其进行测试和调试，就需要用数字化模型、传感器实现快速的自动化测试和模拟，而非极度繁琐的结果性测试。
可以实现这样的生产方式，必须归功于其领先的集中式电子电气架构，和自主研发的底层 *** 作系统，实现软硬件解耦，允许相对独立的模块设计和快速演进。
对比看传统汽车厂商采用的ECU架构，与汽车供应链体系是相匹配的，整车厂集成Tier1提供的领域模组，Tier1向下整合Tier2负责的单一模块，Tier2组装Tier3专精的零部件。
传统的复杂生产是靠着供应链各自演化，再通过成本高昂、效率低下的协作完成的，Know-how实际上是这个复杂的供应链体系，这就是为什么中国在传统汽油车上一直无法突破。
这也是特斯拉被如此看好的原因，他的Know-how在于通过集中式电子电气架构完成对供应链的整合，是能明确各领域模组发展方向的、是带领产业进步的。
许多投资人和分析师甚至基于此做了非常大胆的预测：未来所有的汽车品牌都在是给特斯拉打工，特斯拉只要专注迭代技术架构，就可以收割全世界的汽车市场，正如当前的手机OS。
理解新技术、理解数字化的意义就在于此，否则直到被市场淘汰，都还不清楚趋势是从什么时候转变的。淘宝直通车是由阿里巴巴集团下的雅虎中国和淘宝网进行资源整合，推出的一种全新的搜索竞价模式。他的竞价结果不只可以在雅虎搜索引擎上显示，还可以在淘宝网（以全新的+文字的形式显示）上充分展示。每件商品可以设置200个关键字， 卖家可以针对每个竞价词自由定价，并且可以看到在雅虎和淘宝网上的排名位置，排名位置可用淘大搜查询，并按实际被点击次数付费。（每个关键词最低出价005元 最高出价是99元，每次加价最低为001元）。
加入直通车不需要再重新注册，淘宝/天猫直通车完全与您的淘宝用户名绑定，方便快捷！
首先您进入淘宝页面右上角“卖家中心”—“营销中心”—“我要推广”—“直通车”。进入了淘宝/天猫直通车客户自助系统，新客户可以点击左上角“我要充值”按钮。第一次充值预存500元推广费用，续费最低续费金额200元起续，按照提示充值成功之后，即表示您已开通淘宝/天猫直通车服务或者续费成功，您就可以开始设置您的推广内容啦！
一丶了解展现位置
基于移动设备WAP以及APP端搜索产品，让您的商品随时随地在消费者掌心展现。
站内：
淘宝客户端(红色字样为广告展示位)
1、 android： 1（广告）+5+1+5+1+10+1 “hot”字样
2、 Iphone： 1+5+1+5+1+10+1“hot”字样
3 ipad：ipad是1+5+1+15+1+20+2 “hot”字样
站外：
各类app和wap网站
如：墨迹天气，内涵段子，万年历，暴风，美颜相册，儿歌多多，wifi万能钥匙，斗地主，。手机电视；凤凰网，手机新浪网，搜狐，3G门户，人民网等
二、淘宝直通车无线端基本规则
商品展现规则
综合排名（相关性+质量得分+出价）
商品扣费方式
ppc扣费：投放价格=计算机设备投放价格折扣
三、淘宝直通车无线端差异点
A、与主搜相关性
1、广告关键词与搜索关键词的相关性
2、广告与搜索关键词的相关性（创意标题、类目、、属性）
3、广告与品牌的相关性（不接受品牌无关或者假冒伪劣）
B、与宝贝相关性
1、关键词与宝贝本身信息的相关性，保留宝贝标题，推广创意标题
宝贝标题信息与直通车推广内容信息上，如果关键词在宝贝标题中用到的，特别是直通车的推广标题中出现过，那么该关键词与您宝贝的相关性就会提高
2、关键词与宝贝类目的相关性
宝贝发布的类目和关键词的有限类目的一致性，不要错放类目
3、关键词与宝贝属性的相关性
发布宝贝是选择的属性与关键词的一致性，尽可能的填写符合自己宝贝特征的属性
C、与PC端的差异性
1、 展现的产品少
2、 买家在无线搜索要求的精准度更高
3、 直通车起先是在pc端的右侧和下方，而无线是在主搜里面的，相关性差异不大，买家不愿意点
4、 无线端的用户体验感受度上相对比在pc端是差的
四、BP后台新功能上的运用
1、 无线单独溢价：
1）移动设备采用统一溢价，即移动设备站内与移动设备站外不单独溢价
2）可设置比例范围0-200%，调整单位1%
3）默认为100%， 相应同步PC站内/站外出价，客户可手动设置比例
4）范围选择0时，默认出价005元。
2、 无线关键词优化
1） 无线关键词打标
简单的来说，即是，如果该关键词前面有打上手机标的，那么在无线端和pc端该关键词都是有展现的机会的，如果该关键词是没有打标的，代表在无线端是没有搜索量的。
2） 移动端词包
在添加关键词里面，有均衡包，流量包，转化包，移动包。这里的移动词包，可以为无线投放挑选关键词，也代表这这些关键词在无线端是有一定搜索量的。
另外，在流量获取高峰期，建议添加标签为“优”的词，适当的优化关键词且做一定的培养，是最有机会排名在首位的关键词不二之选，潜力词相比优质词的竞价深度要低一些，可作为辅助使用。
3、关键词无线首位出价预估
针对无线站内搜索首条广告进行出价预估，由于实际展现环境影响的因素太多，后期再逐步验证但建议出价详细到小数点后两位数。在这里会有人问，那我怎么才能排到第一位呢？个个都想排第一，但是否有考虑排第一，转化是否就真能跟得上呢？运用官方的话说，第一名位置的流量很大，波动性也会很大，建议您优化好目前推广宝贝，宝贝各项数据指标好，就会排的比较靠前，另外也建议大家不要只看排名，最好看每日通过无线给店铺引流的数据，以及这些流量的带来的效果。
从流量获取能力上分析无线质量得分，比如某个关键词，出价在216的流量获取能力是100，且质量得分是10分，而在首屏预估出价只需要205，那么该关键词可以预计在无线端的质量得分。
另一个关键词出价是443的流量获取能力是100，并且还是有打标的，首屏预估出价是132，出价的差距比较大，也可以预计该关键词在无线的质量得分也是不低的，可优化该关键词适当降低价格。
六、无线端的标题和
标题：建议单独为无线着想，无线端产品展现样式是比较小的，字数虽然和pc要求一样，但是如果过长，就只看到头，没看到尾，并且最好能将重点的吸引买家眼球的关键词放在标题前面，习惯都是从左看到右，也有利于买家的体验度
:建议专门为无线投放专门做，后期无线肯定会出台相关的推广图要求，目前无线端中，宝贝的杂，并且都是运用pc端的，尺寸就存在差异性，如果能在无线端中把我们的和其他对手的卖点和亮点区分开来，对无线流量的引入也是一大帮助。淘宝做引流和推广的方法如下：
1比较常见的店铺活动，做促销活动不仅能够给我们吸引流量，还能跟好的维护好老顾客。在官方没有大促销活动的时候，我们可以自己做一些店内活动，比如秒杀，满减，买赠等等。
2付费的推广引流应该是每位做电商的朋友都会接触到的在正常不过的了，在使用海淘流量的过程中，我们首先要明确自己的目标，然后人工手动设置，不过对于新店，新产品还是不太建议大家使用的。
3选择做电商推广引流的主要目的就是让更多消费者知道我们的产品，把他们吸引到我们的店铺进行消费，以此来促进我们店铺的整体转化，所以我们还可以通过直播带货，公众号，小红书，微博等比较热门的社交平台分享我们的产品。淘宝取消付款后不 *** 出会买东西的页面，可能有以下原因：
1 取消付款时，可能还没有进入到购买页面，因此不会出现会买东西的页面。
2 取消付款后，淘宝会自动返回到上一个页面，如果上一个页面不是购买页面，就不会出现会买东西的页面。
3 淘宝的系统可能存在一些bug，导致无法 *** 出会买东西的页面。
如果您想要 *** 出会买东西的页面，可以尝试以下方法：
1 在取消付款之前，确保已经进入到购买页面。
2 取消付款后，手动返回到购买页面，再次尝试付款。
3 如果以上方法无效，可以联系淘宝客服进行咨询，看是否有其他解决方案。PPC太高了怎么办呢？
首先，我们来分析一下PPC高的原因，有可能有两种情况：
情况之一：行业本身就高。比如有的行业，行业均值都要三四块，甚至五六块，那么，这种属于行业的问题，说明行业竞争激烈，也从侧面反映出，行业利润比较丰厚，因为如果利润太低，是没有人会出这么高的价格去竞争的；
情况之二：行业本身很低，而你的扣费很高。比如行业扣费是5毛左右，而你要出3块钱，才能获得展现，点击扣费两三块，这种属于你直通车技巧不行，没有开好车，导致权重降低了，因为直通车计划都是有权重的，权重低的情况下，质量分就低，需要花更高的代价去获得展现；
如果是第二种情况，那么很简单，你只需要通过学习直通车技巧，把PPC给降低一下，就可以了，通过一系列的拖价的 *** 作，把PPC可以降低到行业的均值，甚至比行业均值更低！
淘宝cpm与eCPM的区别：
1、CPM是衡量一个媒体价值的数字。
CPM（costpermille）是一种媒体或媒体排期表（SCHEDULING）送达1000人或"家庭"的成本计算单位。这可用于计算任何媒体，任何人口统计群体及任何总成本。
它便利说明一种媒体与另一种媒体、一个媒体排期表与另一媒体排期表相对的成本。千人成本并非是广告主衡量媒体的唯一标准，只是为了对不同媒体进行衡量不得已而制定的一个相对指标。
2、eCPM只是用来反映网站盈利能力的参数，不代表收入。
eCPM（effectivecostpermille）指的就是每一千次展示可以获得的广告收入，展示的单位可以是网页，广告单元，甚至是单个广告（在AdSense“高级报告”的“数据展示依据”下拉框中可以选择）。
扩展资料：
eCPM值的计算可表述为如下公式：
eCPM=CPCpCTR
预估的千次展示消耗=单次点击出价预估点击率
从公式理解下媒体与广告主的分工：基于成本考核的标准，广告主需要为每一次点击出价。掌握着流量属性、特征的媒体由模型预估每一次广告展示的点击率。
在CPC计费方式下，广告每发生一次点击，广告主就为这次的点击支付一次费用。竞价环境中，各条参与竞价的广告，点击率自然是不一样的，模型会基于人群特征以及广告类型，预估每个流量对每条广告的点击率，由此换算出eCPM值，并选择eCPM值最高的广告展示给受众。
展示eCPM值最高的广告，意味着媒体收取的费用会更高（并不是说向竞价成功的广告主收取更高的费用，此处涉及到的竞价机制，后面再介绍），利益空间更大。这符合媒体精细化运营流量，最大化挖掘流量价值的利益诉求。
对广告主来说，更是降低了广告主（尤其是效果广告主）投放广告的门槛，不同的流量价值是不一样的，对于高价值的流量，竞争较大，因此不同的广告主根据自身需求选择流量的自由度得以提升，并且预估点击率的工作交由掌握流量特征的媒体来完成，这是比较合理的分工。
参考资料来源：百度百科-千人成本
参考资料来源：百度百科-eCPM
关于推荐系统中的reranking问题。作者信息：文章比较简单，思想也不错，并且据称实践中也给力。简单翻一下。
摘要：排序是推荐系统的一个核心问题，目的是给用户一个“排好序的”item list。通常这个ranking function是从labeled dataset里学到的，通过优化全局表现。这个function对每个item给一个得分。但是这个function可能是次优的，因为它是对每个item“独立”应用的，而且没有显式地考虑item之间的关系，也没有考虑用户偏好的不同。于是这篇文章就提出了PRM。这个reranking模型可以接在任何排序模型后面。它直接优化整个的推荐列表，通过“使用transformer结构来encode列表中的item信息”。其中，这个transformer用了self-attention机制，它直接对任意pair的item间的联系建了模。通过加入一个预训练好的学习用户偏好的embedding，效果还会进一步提升。实验结果有离线也有在线，都是显示出PRM的牛逼。
1 introduction
通常推荐系统的流程是：若干召回->粗排->排序->重排。若干召回的目的是从超级大的item集合中挑出一部分；粗排是从召回的这些中再挑出一部分（一般千级别）；排序是从粗排的这些中再挑出一部分；重排是对排序出来的这些（一般最多也就几十的量级）重新排个序展示给用户。其实排序和重排序没有本质的区别，只是量级问题而已。我感觉。所以没必要太区分排序和重排序，反正都能用。
“排好序”的item list对用户的满意度有很大影响，对推荐系统的收益也有很大影响。现在已经有很多排序算法了。典型的排序一般只考虑了user-item pair features, 但是没考虑其他item的影响。虽然pairwise和listwise 的learning to rank方法尝试解决这个问题，通过把item-pair或者item-list当做输入，但是他们只专注于对label数据（点击）的优化，没有显示考虑特征空间中item之间的关系。
一些工作就尝试考虑item之间的关系，然后改善一些排序模型给出的“序”，这就是reranking。核心思想就是encode intra-item patterns到特征空间，然后打分。目前最好的encode方法是RNN-based的，比如GlobalRerank, DLCM。他们按次序输入初始list，然后按时间步输出encoded vector。然鹅，rnn-based方法在对“list中的item之间的交互”的建模上能力有限。The feature information of the previous encoded item degrades along with the encoding distance
受到机器翻译中的transformer结构启发，文章提出用transformer来学item之间的交互影响。transformer结构用了self-attention机制，这就使得任意两个item之间都是直接产生关系，不用随着编码距离变远而降低。同时，比rnn好的一点在于可以并行化，效率高。
不仅是item之间的交互，个性化的encoding也要考虑进来。推荐系统的reranking是user-specific的，决定于用户的偏好。比如说，对于价格敏感的用户，你就应该加大价格的权重。经典的全局的encoding也许不是最优，就是因为忽略了用户之间的不同。例子，用户想比价的时候，就应该集中展示不同价格的相似物品；用户没有明显购买欲望的时候，推荐就应该更多样化。于是提出的PRM就既考虑了item之间的相互关系，也考虑了个性化。
论文贡献：（这里可以不用看，不影响。其实主要就是model和data。。problem和evaluation不是应该的吗。。）
2 相关工作
rerank是在ranking模型后的提升，在这些ranking模型中，learning to rank是最广泛使用的方法之一。learning to rank(LTR)可以概括成三类：pointwise\pairwise\listwise。这些都是学的global scoring function，对于某个特征的权重是全局学来的（也就是不个性化）。这样不行啊。
后面简单介绍了下其他人在reranking方面的工作。有的用单向GRU来encode整个list到每个item。有的用LSTM啊什么什么的。他们的能力受到encoding distance的限制。transformer不受这个影响，因为任意item之间距离是O(1)的。而且，用decoder来序列产出list的话，不适用于线上，受不了这个延迟啊。也有提出了groupwise方法的，也可以冰箱，但是计算开销太大了。
3 reranking model formulation
LTR在信息检索和推荐系统里用的很多。它的loss function：
其中R是所有用户的请求集合；I_r 是对于请求r的候选集；x_i是item i的特征表示; y_i是item i的label，也就是是否点击。P是预测的点击概率，theta是前置排序模型的参数；
光有x还不够，还需要（a）item-pair之间的相互影响（b）用户物品之间的交互。所谓（a）其实可以直接从LTM模型给出的 对于请求r的初始list S_r 中学到，有一些工作已经探索过了。但是还没有探索（b）的。不同用户的item-pair相互作用应该是不同的。本文会引入一个个性化矩阵PV来学习user-specific encoding function。loss是：
其中 S_r 是前置排序模型给出的初始排序， theta尖 是reranking模型的参数，X是特征矩阵。比较两个损失函数，其实很像，只是多了个PV而已。
4 personalized re-ranking model
41 模型结构
三部分：输入层、编码层、输出层
42 input layer
输入层的目标就是学习初始list中所有item的综合表达。前置排序模型给出初始list，记为 S = [i_1, i_2, , i_n] ；item的原始的特征矩阵 X \in \Re^{nd_{feature}} （跟ranking模型一样的） X的每一行是item i的特征向量x_i 。
Personalized Vector (PV) 其实初始的list可以部分反映用户的偏好了（毕竟是排序出来的东西），但还不够。Figure 1(b)里，把 X 和 PV 拼起来，得到中间embedding矩阵 E^{'} \in \Re ^{n(d_{feature}+d_{pv})} :
PV是由一个预训练的模型产出的（后面介绍）。
Position Embedding (PE)。 为了利用list的序列信息，我们又加了一个位置embedding PE \in \Re ^{n(d_{feature}+d_{pv})}，可以看到这个维数跟E' 一样。PE是可学习的，这样效果会略好。
最后用一个简单的feed-forward网络把E'' 映射到 E \in \Re ^{nd} , d是encoding层的输入维数（显然）：下面公式等号右边的E应该带两撇
43 encoding layer
encoding层的目标是集成一下“item-pair之间的相互关系”和其他信息（包括用户偏好、初始list里的顺序）。这里就引进了transformer。因为transformer在NLP任务里太屌了呀，尤其是在机器翻译中的编解码能力超过rnn系列。而且自注意力机制很适合reranking，因为任意两个item都产生了关系（反复在说这一点）。图1(a)是一个基本结构示意。图1(b)里可以看到，encoding模型包括N_x 个transformer块，每个块包含一个注意力层和一个前向网络层。
Attention Layer:
这里其实就是基本的attention，可以参考 刘岩：详解Transformer （Attention Is All You Need） The Illustrated Transformer ，感觉讲的很好。
然后为了表示更复杂的关系，用多头attention：
Feed-Forward Network: 文章里说前向网络主要是增强模型的非线性和对不同维度输入向量的交互。注意这里的前向其实是residual connection（不觉得跟resnet很像吗），虽然这里没有提，但是实验结果里分析了。
Stacking the Encoding Layer: 一个attention加一个ffn当成一个块，多个块stacking就可以得到更复杂的高维的交互信息。
44 Output Layer
输出层就是对每个item给个分数。这里只用了一个线性层，加softmax（全连接嘛）。
在训练阶段，用点击数据作为label，并最小化损失函数：
45 Personalized Module
在这部分，说一下怎么得到PV。图1(c)就是本文用的结构。H是用户历史。loss是
D是展示给用户的物品集合，theta' 是模型参数，y_i 是label。最后用 sigmoid 之前的隐藏层作为 pv_i 表示。
图1(c)只是其中一种结构，其他的模型也可以用在这里，比如FM, FFM, DeepFM, DCN, FNN, PNN等。
5 实验结果
其实论文的实验结果大都没什么好看的。反正都是说提出的东西最屌。这篇文章里的实验部分有一个优点，就是做了ablation study，让大家知道哪部分最重要。
51 数据
一个是雅虎的数据，一个是电商数据（虽然没说，想也知道是淘宝）。
雅虎数据其实不适合直接用，所以做了一些转换。（不重要。。其实我没仔细研究==）
52 baseline
考虑了实际情况，比如说rnn的（GlobalRerank）不用，并行太困难了；再比如开销大的（Seq2Slate\GlobalRerank）不用，线上撑不住。主要是四个：
53 evaluation metrics
这两个显然都是越大越好，它们是用来离线评价的。线上的话用更有说服力的指标：
PV:：物品总展示
IPV：物品总点击
CTR：点击率，IPV/PV
GMV：用户在推荐的物品上花的总钱数
54 experimental settings
对于baseline和PRM，关键的超参数是一致的。具体就不写了，不重要。
55 离线实验
551 雅虎数据集上的实验
探索两个问题：0 PRM是不是真的最好？为什么？ 1 不同的LTR提供初始list，表现是不是不同？
看文章之前我就可以回答这两个问题了，PRM当然最好，接不同的LTR表现当然不同。。
结果：
雅虎数据集不包含用户相关信息，所以没有personalized module，所以叫模型叫PRM-base。即使这样，它也最厉害。PRM-BASE比DLCM表现好，主要是因为transformer牛逼。
然后做了ablation study看看这些部件哪个贡献大。
其中，PE是位置embedding，RC是残差连接。
去掉PE效果严重下降，这就是说初始list里的顺序很重要（人家排序模型辛辛苦苦排出来的，能不重要么）。残差连接和dropout影响不大，可以说明模型不太有梯度消失和过拟合问题。block是先增后减，因为太多会过拟合。注意力的头数影响不大，跟NLP不太一样。考虑到开销问题，推荐用1个就够了。
552 电商数据的离线实验
探索问题：加上personalized module的话，PRM表现怎么样？
这里偷懒了，直接用线上的DNN-based LTR作为前置排序模型，而且直接就不比其他baseline了，只比DLCM。（感觉不太严谨。。。不过影响不大）
结果可以看到，PRM-BASE还是好过DLCM，而加了Personalized-pretrain就更好了。PV很关键。PRM-Personalized-Pretrain两个优势：
预训练模型可以完全利用用户的更长的log，来提供更通用、更好的用户偏好表示。
PV学好了，PRM可以从中学到更好的encoding，更个性化了。
56 online experiments
当然也做了线上ab实验。结论一致。
57 注意力权重可视化
探索问题：自注意力机制真的能学到有意义的信息吗？
画了几个热力图，可以看到相关的确实相关，挺合理的。
6 结论和未来
PRM好啊，用transformer既学了item之间的依赖关系也学了用户和item之间的交互关系。
作者认为优化一下label空间也会有用。
下一步要研究reranking实现多样性。
ppc就是“平均点击扣费”，是一个平均数。
计算公式：PPC=花费÷点击量，比如100个点击，花费是150元，算下来PPC就是15元，与之相关的，还有一个概念：ROI，也集是投产比。
PPC可以反映你获取流量的代价的高低；投产比，可以反映你的车开的是否划算，是盈利，还是亏损，都是非常重要的直通车推广数据。
扩展资料：
直通车ppc计算公式：
1、综合排名扣费公式：
实际扣费=下一名出价X下一名质量得分/您的质量得分 + 001元
综合排名规则中，质量得分将影响您的扣费。质量得分越高，需付出的费用就越低。扣费不会大于设置的关键词(或类目)出价，当公式计算得出的金额大于出价时，按出价扣费。
2、流量价值计算公式
流量价值=成交一笔的利润/成交一笔所需流量
这个很重要，去量子恒道查看这个宝贝的转化率是多少，例如转化率是10%，就是100个顾客访问有10个成交，单笔所需流量为10个。
成交一笔的利润，例如成交一笔可以获得30元的利润。那流量价值就等于30/10=3元。也就是说一个流量的价值是3元。直通车点击设置只要不超过3元，直通车就是赚钱的。
3、一个隐含公式：直通车排名=出价质量得分
淘宝直通车排名按照出价和质量得分相乘最终得出来的数值，按照从大到小排序。出价和质量得分的分数越高，排序越靠前。
参考资料来源：百度百科-PPC （PayPerClick的缩写）
0条评论