加入收藏 | 设为首页 | 会员中心 | 我要投稿 威海站长网 (https://www.0631zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 动态 > 正文

1行代码实现Python数据分析

发布时间:2021-02-20 13:19:56 所属栏目:动态 来源:互联网
导读:自研内核、算法、网络库和服务端架构助力QUIC在快手实践落地 下图为服务端方案整体架构,从Nginx内核集成QUIC协议栈,实现多协议同层接入,到Linux内核优化UDP报文管理,实现性能提升。下面详细描述整个项目的主要优化思路: 自研升级Nginx内核,支持多协议

自研内核、算法、网络库和服务端架构助力QUIC在快手实践落地

下图为服务端方案整体架构,从Nginx内核集成QUIC协议栈,实现多协议同层接入,到Linux内核优化UDP报文管理,实现性能提升。下面详细描述整个项目的主要优化思路:

自研升级Nginx内核,支持多协议接入:目前,业界普遍大规模使用了Nginx作为7层的接入服务器,但Nginx尚不支持QUIC协议。快手自研升级Nginx内核,在Nginx内核里嵌入了QUIC协议栈,完成了Nginx和QUIC的有机融合,不管是HTTP/HTTPS还是QUIC,都能使用Nginx原生的所有处理逻辑,保留全部业务逻辑处理功能的同时可以灵活升级Nginx和chromium版本,并进行了一系列的针对性优化,性能提升了50%。

无损的配置热更新:Nginx的配置热更新机制不能支持udp业务的配置无损更新,为此调研了改造应用层和改造内核两种实现路径,最终实现了基于内核session映射表的配置无损热更新机制。相比在应用层改造Nginx的方案而言,既不需要改造Nginx的udp收发机制,又充分保留了在udp socket上使用sendmmsg和gso的能力,可以减少发送udp报文的开销,提升性能。


 

近日,快手自研高性能服务器kQUIC已全面上线,集群峰值QPS突破千万。kQUIC是快手结合自身业务特点,自研打造的支持QUIC/HTTP/HTTPS多协议同层接入的高性能服务器,在短视频场景下针对行业痛点做了针对性优化。

kQUIC是快手结合自身业务特点,自研打造的支持QUIC/HTTP/HTTPS多协议同层接入的高性能服务器,近日已经全量部署上线,峰值QPS突破千万,由此成为国内优先将QUIC应用于全量业务并取得稳定收益的互联网企业。据悉,kQUIC自19年上半年开始研发,年底灰度上线,20年6月峰值QPS突破千万,历时一年有余。kQUIC针对性地对数据压缩、网络传输拥塞控制等进行了优化,传输耗时平均降低10%以上,服务端处理性能提升了50%。

新一代互联网传输协议QUIC(Quick UDP Internet Connections)自Google制定发布后受到众多互联网大厂的关注和使用,QUIC是基于UDP的互联网传输协议,下一代HTTP/3协议标准也是从QUIC演进而来。

相比HTTP(s) 有几大优势:首先,QUIC在应用层实现了基于UDP的可靠传输,能够在使用多路复用机制的同时避免TCP的队首阻塞问题;其次,QUIC改进了握手机制,大部分场景下可以0-RTT建立安全链接进行数据加密发送;QUIC还同时设计了连接迁移的新特性,可以保证在用户的网络地址发生变化时,比如WIFI和4G切换,业务请求依然能够被继续处理,不需要重新发起请求;此外,QUIC的传输控制机制是在应用层处理的,相比TCP在内核中处理的方式更加灵活、更方便贴近业务场景做自定义优化,比如可以应用更先进的算法进行双端加速。

基于QUIC协议的突出优势,国内外企业纷纷试水相关研究,很多同行贡献了多种开源解决方案,但都不能完全满足快手短视频+直播业务的诸多特殊需求。因此,我们优化了用户体验,对QUIC协议栈进行了大量适配改造,首先采用了多项创新自研技术,成为了国内大规模全量使用QUIC协议的先行者。


 

3、加快推进人脸识别技术的安全系列标准研制  

人脸识别技术逐渐走向成熟,应用人脸识别技术的 App 越来越多,人脸识别技术的各类安全标准,包括保护个人生物信息的相关标准应尽快出台。建议围绕人脸识别技术的自身安全性、在 App 应用中的个人生物识别信息保护等方面的问题,加快研制人脸识别技术的安全技术要求和管理要求、个人生物信息保护要求、安全应用规范等一系列标准,指导行业依据标准规范人脸识别技术在 App 中的使用行为,提升人脸识别技术的自身安全保护水平,降低 App 应  用人脸识别技术的安全风险,从而保障用户个人生物信息的安全性。

4、鼓励行业协会或社会组织开展行业自律  

当今,以人脸识别技术为代表的人工智能技术发展日新月异。但是,由于人脸识别技术较为复杂,存在保障人脸数据安全难的问题。因此,建立人脸识别技术企业联盟类组织,鼓励相关行业协会  或社会组织主动发挥行业自律平台作用,推动各利益相关方共同制定收集使用人脸数据的行为准则,推广宣传相关最佳实践,带动提升个人生物信息保护整体水平,有利于人脸识别行业良性发展。

除此之外,App 运营者应自觉规范人脸识别技术在 App 中的应用,定期进行自评估或第三方评估。在采集人脸数据前须告知用途和可能风险,以保障用户知情权与选择权。同时,当用户不想再继续授权使用其人脸数据时,App 运营者必须提供“退出”或“删除”渠道,以确保用户的删除权。

我们可以换手机,也可以在身份证、驾照上作假,但以目前的医疗技术,我们还没法“换脸”。人脸识别技术有广阔的前景,也潜藏着安全隐患。这项技术会是一场全新人机交互革命的开端,还是一场个人隐私的沦陷?我们拭目以待。


(编辑:威海站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读