如何精确统计页面停留时长

1.背景 页面停留时间(Time on Page)简称 Tp,是网站分析中很常见的一个指标,用于反映用户在某些页面上停留时间的长短,传统的Tp统计方法会存在一定的统计盲区,比如无法监控单页应用,没有考虑用户切换Tab、最小化窗口等操作场景。 基于上述背景,重新调研和实现了精确统计页面停留时长的方案...

展开...

英文标签的精准翻译

本文主要讲解了自己在工作中,对图库里面的英文标签翻译成中文标签,所遇到的一些问题和解决方案。 一. 问题的背景及来源 业务背景 东方IC(现在是头条的子公司)是一家图片版权售卖网站,致力于保护与传播第三方或者个人优质的图片资源,快速展示并推荐给需求方,促进图片资源在网络上快速生产、传播与使用。东方I...

展开...

基于图像搜索引擎的图文无关识别方法

一、摘要 目前互联网知识问答社区正在蓬勃发展,例如国外的quora,国内的悟空问答、知乎。一般来说,在这些知识问答社区,答案排序算法会预测用户对于不同答案的偏好进行排序,其排序模型往往会考虑答案在一段时间内的点击率、点赞率、分享率、用户平均阅读时间等进行排序。大部分情况下,这样的排序算法是比较有效的...

展开...

Node 错误处理之挖坑系列

前段时间要在项目中加上日志的上报,顺势了解了下怎么在node中完善错误信息的收集。 01 Error  JS 中的 Error 对象,包含了错误的具体信息,包括 name、message、错误堆栈 stack 等。可以以 new Error 方式创建实例抛出,或调用 Error.captureSta...

展开...

cephfs内核客户端性能追踪

问题描述 测试cephfs内核客户端的吞吐性能,direct写时单个客户端性能有上限,只能接近150 mb/s: 查看网卡流量,并没有打满: 查看集群负载也很低,osd磁盘很空闲,验证多台机器同时并发测试,总吞吐可以上去,怀疑单个客户端的上限有瓶颈。 源码分析 集群没有打满,网络也不是瓶颈,那么只能...

展开...

node中Session持久化与Redis缓存

IC图片目前的管理系统(搜索质量评估、电销、云平台、性能监控、账号体系、图片爬虫)都是基于node前后端全栈开发,数据存储也用到mongodb、mysql、redis,本文简单描述一下HTTP协议、cookie、session、以及node项目中如何引入redis做session持久化。 HTTP协...

展开...

NODEJS--HTTP实现分析

1.前言 目前,HTTP协议是互联网上应用最为广泛的一种网络协议,也是前端er接触最多的一种协议。通过阅读http模块在nodejs中的实现,能够更深入的了解HTTP协议。HTTP协议是基于TCP协议之上的应用层协议,它的实现离不开TCP/IP协议族。而具体到代码实现,http模块依赖于net模块。...

展开...

Android自定义ClassLoader耗时问题追查

最近在优化西瓜视频客户端冷启动速度时,发现在关闭插件 ClassLoader 注入的情况下,启动速度提升了300ms左右,但是西瓜在启动阶段并没有使用到插件,那么这么大的耗时是怎么来的呢? 猜原因 首先看下西瓜目前使用的插件 ClassLoader 是怎么注入的,大致代码如下: 代码大致意思是在 P...

展开...

基于NSURLCache的缓存实现

概览 缓存设计应该是每个客户端程序开发所必须考虑的问题,如果同一个功能需要多次访问,而每次访问都重新请求的话势必降低用户体验。但是如何处理客户端缓存貌似并没有统一的解决方案,多数开发者选择自行创建数据库直接将服务器端请求的JSON(或Model)缓存起来,下次请求则查询数据库检查缓存是否存在。事实上...

展开...

从生成对抗网络到更自动化的人工智能

本文转自「中国计算机学会」(订阅号:ccfvoice),经平台同意授权转载。 恭喜今日头条AI Lab论文《从生成对抗网络到更自动化的人工智能》在《中国计算机学会通讯》2017年第9期专栏上发表! 特此转载,与热爱技术的你一起分享~ “What I cannot create, I do not u...

展开...

iPhone X 刘海儿打理指南

前言 北京时间今天凌晨1点,苹果再一次让全世界沸腾。iPhone X 带给我们的最大改变:全屏 Super Retina显示屏。它提供了更多的内容显示空间,同时也营造了更加深入的沉浸感。作为 iOS 开发者,在为强大的 Face ID 和全面屏欣喜的同时,我更担忧“齐刘海”的适配! 下面结合官方的人...

展开...

域名劫持资源重加载方案

痛点: 在部分用户的网络环境中,页面CDN域名被劫持,导致前端资源无法正常加载,而页面主域名正常,导致页面可以访问,但是功能不正常。 背景: 通常来说,主域名一般都是众所周知的域名,运营商一般不会劫持(本文特指劫持后导致无法加载,注入这些不在本文考虑范围内),主域名被劫持的可能性小。因为被劫持后,用...

展开...

H5播放器源码解读 (video.js)

写在前面 现在视频业务越来越流行了,播放器也比较多,作为前端工程师如何打造一个属于自己的播放器呢?最快最有效的方式是基于开源播放器深度定制,至于选择哪个开源播放器仁者见仁智者见智,可以参考开源播放器列表选择适合自己业务的播放器。 我们的播放器选择了排名第一的video.js播放器,截至目前该播放器在...

展开...

iPhone安装包的优化

这是一次安装包大小优化的实践。 随着业务的增加,工程中引入越来越多的业务代码和第三方库, 整个安装包越来越大。以今日头条5.7.5为例 最近几个版本的ipa大小如下: 5.7 -> 72.2M (+0.8M) 正常业务增量 5.6 -> 71.4M (+14M) 主要原因:接入某SDK后安装包的增...

展开...

线上问题深度追查:信号处理函数中的死锁

一、背景 svc是deamon-tools工具集中用户守护进程的服务,头条目前在线上使用它来保证服务的存活(目前正在切换到更可靠的systemd)。当进程挂掉时,svc能自动重启挂掉的进程,当被监控的进程有代码更新时,我们可以通过svc发送命令让进程进行重启,以加载新上线的代码。  最近,我们发现部...

展开...

【前端技术】头条PC站基于RIOT的组件化开发实践

一、背景 1、头条PC站业务前端重构 * 旧站架构强依赖后端模板,维护和扩展非常不灵活 * 资源文件存在依赖,无法做到最简压缩合并 * 代码组织混乱,虽有基本的模块化开发方式,但整体维护和扩展非常麻烦 2、为什么选择Riot? * Angularjs学习成本相对比较高、大而全(比较重),后期升级维护...

展开...

【性能优化】今日头条iOS客户端启动速度优化

应用启动时间,直接影响用户对一款应用的判断和使用体验。头条主app本身就包含非常多并且复杂度高的业务模块(如新闻、视频等),也接入了很多第三方的插件,这势必会拖慢应用的启动时间,本着精益求精的态度和对用户体验的追求,我们希望在业务扩张的同时最大程度的优化启动时间。 一、技术调研 先说结论,t(App...

展开...

【性能优化】webpack前端构建性能优化策略小结

背景 回顾2016的前端技术的发展真的可以用百(gui)花(quan)争(zhen)鸣(luan)来形容,无论是技术栈的演进,技术框架的推新,还是各种模式,反模式的最佳实践都在不断地涌现,网上的一篇文章《在2016年学JavaScript是一种什么样的体验?》更是把这一现状做了很好总结。当然,吐槽归...

展开...

【问题追查】mc集群写入恍惚问题排查

1.现象 业务方反馈在向memcache集群写入数据时,出现不稳定。表现为向mc写入一个creative和ad对象的list,有的时候能写进去并读出来,有的时候写成功但是读不出来。 2.问题排查 2.1 复现问题 a.有的key没有问题,能够一直写+读。 b.有的key一直都是写ok,读None。...

展开...

机器内存爆满问题排查

1 背景 两周前广告开屏服务突然503报警不断,先查看了各种业务监控没发现流量等有什么大变化,因为不久之前出过一次机器出问题的情况,马上去查看了机器是不是正常,果然内存几乎涨满了。大概十来分钟内存就会达到90%多,然后进程就重启了,但是从日志来看并没有什么异常情况,好在并没有将机器拖死。当时第一件事...

展开...

iOS音视频同步探讨

音视频同步是我们观看视频的一个基本体验,尤其对于视频画面中能看到声源动作(如:嘴型)的场景,音视频同步问题非常影响体验。 在短视频与直播APP中,采集端作为音视频的生产者,如果采集端产生的音视频源本身就无法保证同步,那么后面不管经过什么处理,都很难再让用户看到音视频同步的画面了,因此,在采集端保证音...

展开...

Hive:percentile_approx 原理与实现

背景 不久前,我们处理了一个用户工单,该工单对应的 HQL 如下所示: 这个 HQL 看上去并不复杂,其目的不过是计算 column0 这个字段的几个近似分位点(percentile_approx),就一个 stage,应该会比较顺利地完成计算才对。不巧的是,其 MapReduce 任务在 redu...

展开...

Web安全之XSS

什么是XSS 跨站脚本攻击(Cross Site Scripting),为不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆,故将跨站脚本攻击缩写为XSS。恶意攻击者往Web页面里插入恶意Script代码,当用户浏览该页之时,嵌入其中Web里面的Script代码会...

展开...

从前端到全端:JavaScript逆袭之路

近年来,前端技术日新月异,前端已经不仅仅是网页,更多的开始由狭义向广义发展。 先后涌现出了具备后端能力的node,具备移动开发能力的react native,具备游戏渲染能力的cocos2d-js,以及iOS上的热修复技术JSPatch等等新技术。 咋一看,几乎各个端都被JavaScript攻陷,大...

展开...

Redis migrate slots丢key排查

1.问题 redis slots迁移的时候,在迁移之后key数量会变少. 2.排查 2.1思考 redis 3.x也是比较成熟的产品了,为什么会丢key?别人有没有遇到同样的问题? 假设丢key了,如果key是因为expire丢失,那应该是正常,如果没有expire丢失,就是问题了,首先复现问题。...

展开...

头条APK瘦身之路

随着版本迭代,功能增加安装包体积也会慢慢增大。 今日头条576版本APK达到了25M,通过一系列的优化,到目前的607版本为12M。本文主要是介绍头条APK瘦身中用到的一些方法。 APK分析 既然是要优化APK的大小,那首先就得看下APK文件的构成。 Android Studio在2.2版本添加 A...

展开...

给前端工程师讲设计终篇

一.工程师对设计偏见的起源 迅速想象一副世界地图,它是什么样子的? 这样? 还是这样? 如果仔细观察上面两幅图,可以看出其中的差异: 以英文为关键词搜索,大部分世界地图的中心是美洲欧洲;但如果以中文为关键词搜索,搜索结果中地图的中心则是亚洲。 为什么是这样? 因为我们总是以自己的经验为中心建构世界,...

展开...

iOS端一次视频全屏需求的实现

对于一个带有视频播放功能的app产品来说,视频全屏是一个基本且重要的需求。虽然这个需求看起来很简单,但是在实现上,我们前后迭代了三套技术方案。这篇文章将介绍这三种实现方案中的利弊和坑点,以及实现过程中积累的经验。 需求要点: 在屏幕旋转的动画中,需要保持播放器之外的界面布局(比如“First Vie...

展开...

光流概念基础

真实的三维空间中,描述物体运动状态的物理概念是运动场。三维空间中的每一个点,经过某段时间的运动之后会到达一个新的位置,而这个位移过程可以用运动场来描述。 而在计算机视觉的空间中,计算机所接收到的信号往往是二维图片信息。由于缺少了一个维度的信息,所以其不再适用以运动场描述。光流场(optical fl...

展开...