-
Java 多线程爬虫及分布式爬虫架构探索
所属栏目:[优化] 日期:2019-10-24 热度:109
这是 Java 爬虫系列博文的第五篇,在上一篇 Java 爬虫服务器被屏蔽,不要慌,咱们换一台服务器 中,我们简单的聊反爬虫策略和反反爬虫方法,主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬[详细]
-
九个对Web开发者最有用的Python包,掌握这些,工资至少能涨涨
所属栏目:[优化] 日期:2019-10-24 热度:162
1、Matplotlib Matplotlib,正如其名称所暗示的那样,是一个用来绘制数学函数和模型的库;扩展了Numpy的作用,Matplotlib可以只用几行代码来创建图,条形图,散点图等诸多视觉表现。 2、BeautifulSoup4 BeautifulSoup4是go-to包,如果你为某些元素去解析HTM[详细]
-
这篇文章,让你了解 JavaScript 中的原型(基础篇-图文)
所属栏目:[优化] 日期:2019-10-22 热度:135
JavaScript是一门动态语言, 你可以在任何时候向对象上添加属性,如下 functionStudent(){ this.name='LeBronJames'; this.gender='Male'; } varstudObj1=newStudent(); studObj1.age=15; alert(studObj1.age);//15 varstudObj2=newStudent(); alert(studObj[详细]
-
如何设置非安全的Docker镜像仓库?
所属栏目:[优化] 日期:2019-10-22 热度:136
在docker的配置文件中,有一个的配置项insecure-registries,表示配置一个非安全的镜像仓库。这是不安全的做法,容易受到攻击,一般不建议这么做。此解决方案,仅用于隔离的测试或者完全可控的环境,比如公司内部测试环境。 一、修改daemon.json 文件 Linu[详细]
-
详解Java锁机制:看完你就明白的锁系列之锁的状态
所属栏目:[优化] 日期:2019-10-22 热度:102
看完你就会知道,线程如果锁住了某个资源,致使其他线程无法访问的这种锁被称为悲观锁,相反,线程不锁住资源的锁被称为乐观锁,而自旋锁是基于 CAS 机制实现的,CAS又是乐观锁的一种实现,那么对于锁来说,多个线程同步访问某个资源的流程细节是否一样呢?[详细]
-
揭秘Kafka的高性能吞吐
所属栏目:[优化] 日期:2019-10-22 热度:118
Kafka作为时下开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了读写性能。 本文将针对Kafka性能方面进行简单分析,首先简单介绍一下Kafka的[详细]
-
要不要赶个时髦,去建设一个「 中台 」?
所属栏目:[优化] 日期:2019-10-22 热度:177
很多技术人总是抱怨 新技术/新框架/新概念 太多了,总是学不完,抱怨实在是学不动了。哈哈,这不,最近「 中台 」这么火热,要不要停止抱怨,再咬咬牙学一波? 很多人都担心被技术新潮流所抛弃,所以当遇见不断涌现的新技术时,总是慌忙的去学习。可是其中[详细]
-
如何使Pandas来加速你的代码?
所属栏目:[优化] 日期:2019-10-21 热度:173
Pandas对数据科学界来说是一份天赐的礼物。问任何一个数据科学家,他们喜欢如何使用Python处理他们的数据集,他们无疑会谈到Pandas。 Pandas是一个伟大的编程库的缩影:简单、直观、功能广泛。 然而,对数据科学家的一项常规任务,使用Pandas进行数千甚至[详细]
-
Go语言的中的For循环之大坑
所属栏目:[优化] 日期:2019-10-21 热度:91
For循环在我们日常编码中可能用的很多。在很多业务场景中我们都需要用for循环处理。但golang中的for循环有一个大大大的坑,大家可否遇到。直接上代码: 我们写一个测试类,定义一个切片数组,然后循环迭代每个元素,将元素的值放到另一个切片。循环finalAr[详细]
-
代码写成这样,老夫无可奈何!
所属栏目:[优化] 日期:2019-10-21 热度:68
你见过最无可奈何的代码是什么?今天,栈长就来总结一下我遇到过的一些神逻辑代码,不一定很全,但我真心写不出,真心让我自叹不如啊! 1、耍猴的好手段 还记得 XX 手机的抢购活动么,抢购按钮的代码类似是这样的: ahref=javasript:alert('抢购结束!')立即[详细]
-
18个Python脚本可加速你的编码速度
所属栏目:[优化] 日期:2019-10-21 热度:129
在本文中,我们向您介绍一些提示和技巧,以帮助您更快地编写代码 Python的可读性和设计简单性是其广受欢迎的两个主要原因。 一些常见的Python技巧可以帮助你提高编码速度。在您的日常编码练习中,以下技巧将非常有用。 1.在字符串中查找唯一元素 以下代码[详细]
-
大型项目该如何分层架构,该和MVC说再见了
所属栏目:[优化] 日期:2019-10-20 热度:185
最近用laravel做自己的个人博客,过程中也思考了一些问题,如何把自己的代码写的更优雅呢,为什么laravel没有models目录呢,逻辑代码,数据库查询代码要怎样放置呢? 我们一直以来都被灌输的设计思想,即M-V-C,模型(Model)、视图(view)、控制器(Controller[详细]
-
新手也能看懂的 SpringBoot 异步编程指南
所属栏目:[优化] 日期:2019-10-20 热度:54
通过本文你可以了解到下面这些知识点: Future 模式介绍以及核心思想 核心线程数、最大线程数的区别,队列容量代表什么; ThreadPoolTaskExecutor 饱和策略; SpringBoot 异步编程实战,搞懂代码的执行逻辑。 Future 模式 异步编程在处理耗时操作以及多任务[详细]
-
精选14条 PyCharm 实用技巧
所属栏目:[优化] 日期:2019-10-20 热度:161
今天主要跟大家介绍PyCharm的高效使用技巧! 以下代码演示是在 Mac 环境下,Windows 也类似,Command 键 相当于 Windows 上的 Control 键。 1. 代码排版,自动PEP8 pep8 是Python 语言的一个代码编写规范。如若你是新手,目前只想快速掌握基础,而不想过多[详细]
-
30秒内便能学会的30个超实用Python代码片段
所属栏目:[优化] 日期:2019-10-20 热度:82
许多人在数据科学、机器学习、web开发、脚本编写和自动化等领域中都会使用Python,它是一种十分流行的语言。 Python流行的部分原因在于简单易学。 本文将简要介绍30个简短的、且能在30秒内掌握的代码片段。 1. 唯一性 以下方法可以检查给定列表是否有重复[详细]
-
详解大数据处理中的Lambda架构和Kappa架构
所属栏目:[优化] 日期:2019-10-20 热度:155
典型互联网大数据平台架构 首先我们来看一个典型的互联网大数据平台的架构,如下图所示: 在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据[详细]
-
Java中常用的缓存框架
所属栏目:[优化] 日期:2019-10-20 热度:187
0x01:Ehcache Ehcache是一个Java实现的开源分布式缓存框架,EhCache可以有效地减轻数据库的负载,可以让数据保存在不同服务器的内存中,在需要数据的时候可以快速存[详细]
-
用Python进行相关性分析,5行代码就够了
所属栏目:[优化] 日期:2019-10-20 热度:170
1.相关和因果是一回事吗 相关性不等于因果。用x1和x2作为两个变量进行解释,相关意味着x1和x2是逻辑上的并列相关关系,而因果联系可以解释为因为x1所以x2(或因为x2所以x1)的逻辑关系,二者是完全不同的。 用一个运营示例来说明二者的关系:做商品促销活动[详细]
-
消灭 Java 代码的“坏味道”
所属栏目:[优化] 日期:2019-10-20 热度:161
代码中的坏味道,如私欲如灰尘,每天都在增加,一日不去清除,便会越累越多。如果用功去清除这些坏味道,不仅能提高自己的编码水平,也能使代码变得精白无一毫不彻。这里,一直从事Java研发相关工作的阿里高级地图技术工程师王超,整理了日常工作中的一些[详细]
-
透过现象看本质: 常见的前端架构风格和案例
所属栏目:[优化] 日期:2019-10-20 热度:95
所谓软件架构风格,是指描述某个特定应用领域中系统组织方式的惯用模式。架构风格定义一个词汇表和一组约束,词汇表中包含一些组件及连接器,约束则指出系统如何将构建和连接器组合起来。软件架构风格反映了领域中众多系统所共有的结构和语义特性,并指导[详细]
-
MySQL数据误删除怎么办?MySQL闪回工具来帮你
所属栏目:[优化] 日期:2019-10-20 热度:142
概述 Binlog2sql是一个Python开发开源的MySQL Binlog解析工具,能够将Binlog解析为原始的SQL,也支持将Binlog解析为回滚的SQL,去除主键的INSERT SQL,是DBA和运维人员数据恢复好帮手。 一、安装配置 1.1 用途 数据快速回滚(闪回) 主从切换后新master丢数[详细]
-
Java的神秘世界:为何说ClassLoader 是 Java最神秘的技术之一
所属栏目:[优化] 日期:2019-10-17 热度:152
ClassLoader 是 Java 届最为神秘的技术之一,无数人被它伤透了脑筋,摸不清门道究竟在哪里。网上的文章也是一篇又一篇,经过本人的亲自鉴定,绝大部分内容都是在误导别人。本文我带读者彻底吃透 ClassLoader,以后其它的相关文章你们可以不必再细看了。 Cl[详细]
-
Web架构之路:MongoDB集群及高可用实践
所属栏目:[优化] 日期:2019-10-17 热度:93
MongoDB集群有副本集及主从复制两种模式,不过主从模式在MongoDB 3.6已经彻底废弃,今天主要探讨副本集的搭建和使用,以及分片。 副本集介绍 副本集(Replica Set)即副本的集合,在MongoDB中通过先定义一个副本集合,然后将多个节点(副本)加入到这个集合中[详细]
-
将Java进程转移到“解剖台”之前,法医都干了什么?
所属栏目:[优化] 日期:2019-10-16 热度:117
作为法医,不怕高度腐烂的尸体,也不怕错综复杂的案情。最怕的,是没留下任何东西。空无一物,任何高超的技术,丰富的经验,都无从下手。 生产环境错综复杂,几分钟前活蹦乱跳的进程,此刻就奄奄一息的躺在那里,苟延残喘。作为第一时间发现的目击者,一定[详细]
-
使用 Golang 构建整洁架构
所属栏目:[优化] 日期:2019-10-16 热度:192
什么是整洁架构? 在《Clean Architecture: A Craftsmans Guide to Software Structure and Design》一书中,著名作家 Robert Uncle Bob Martin 提出了一种具有一些重要特性的体系结构,如框架、数据库和接口的可测试性和独立性。 整洁架构的约束条件是: 独[详细]
