命令行编译打包运行自己的MapReduce程序
Hadoop 2.8.2 java version “1.8.0_151″ 编译、打包 Hadoop MapReduce 程序 将hadoop的classpath…
Read more理解OAuth 2.0
OAuth是一个关于授权（authorization）的开放网络标准，在全世界得到广泛应用，目前的版本是2.0版。 本文对OAuth 2.0的设计思路和运行流程，做一个简明通俗的解释，主要参考材料为R…
Read moreRESTful API 设计指南
REST，即Representational State Transfer的缩写。我对这个词组的翻译是”表现层状态转化”。如果一个架构符合REST原则，就称它为RESTful架…
Read moreFlume架构以及应用介绍(转)
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出…
Read moreELK日志分析系统(转)
大纲： 一、简介 二、Logstash 三、Redis 四、Elasticsearch 五、Kinaba 一、简介 1、核心组成 ELK由Elasticsearch、Log…
Read moreMySQL调优三步曲(慢查询、explain profile)(转)
在做性能测试中经常会遇到一些sql的问题，其实做性能测试这几年遇到问题最多还是数据库这块，要么就是IO高要么就是cpu高，所以对数据的优化在性能测试过程中占据着很重要的地方，下面我就介绍一些msyql…
Read more使用Vagrant打造跨平台开发环境(转)
Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它 使用Oracle的开源VirtualBox虚拟化系统，使用 Chef创建自动化虚拟环境 我们可以通过 Vagrant 封装一个…
Read moremysql中show profiles使用分析sql性能
一、首先查看是否开启profiling功能 Show profiles是5.0.37之后添加的，要想使用此功能，要确保版本在5.0.37之后。 查看一下我的数据库版本 mysql> select…
Read moreMySQL表的四种分区类型(转)
一、什么是表分区 通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。 如：某用户表的记录超过了600万条，那么就可以根据入库日期将表分区，也可以根据所在地将表分…
Read more十五分钟介绍 Redis数据结构(转)
Redis是一种面向“键/值”对类型数据的分布式NoSQL数据库系统，特点是高性能，持久存储，适应高并发的应用场景。它起步较晚，发展迅速，目前已被许多大型机构采用，比如Github，看看谁在用它。 本…
Read more