Linux主流架构运维工作简单剖析

随着IT运维的不断发展,尤其的Linux的飞速发展,越来越多的企业开始使用Linux操作系统平台,例如CentOS、RedHat、Ubuntu、Fedora等等,成千上亿个网站涌现在当今互联网,互联网已经成为必不可少的工具,那今天我们跟大家一起来分享讨论目前用的最多的Linux下主流网站架构:LVS+KEEPALIVED(heartbeat)+Squid+Nginx/Apache+JAVA/PHP
阅读本文

redis五种数据结构

1、redis 通常被称为数据结构服务器,遵守BSD协议,是一个高性能的key-value数据库。值可以是 字符串(String)、哈希(hash)、列表(list)、集合(set)、有序集合(sorted sets)等类型。2、Redis与其他key-value缓存产品有以下三个特点:  Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候还可以再次加载使用。  Redis不仅
阅读本文

Java Web应用开发中的一些概念

最近在学习Java Web,发现Java Web的概念很多,而且各个概念之间的关系也挺复杂,本篇博客把这些关系总结于此,主要参考的博客附在文章末尾。概念服务器服务器,硬件角度上说就是一台高性能的计算机。我们通常指的服务器其实应该是装有能够处理具体请求事务的服务器软件的计算机。比如最常见的www服务器、mail服务器、计费服务器、ftp服务器等等。很多时候人们常把诸如Tomcat、IIS、Weblo
阅读本文

Tornado 安装与了解

Tornado解析  Tornado是使用Python编写的一个强大的、可扩展的Web服务器。它在处理严峻的网络流量时表现得足够强健,但却在创建和编写时有着足够的轻量级,并能够被用在大量的应用和工具中。  我们现在所知道的Tornado是基于Bret Taylor和其他人员为FriendFeed所开发的网络服务框架,当FriendFeed被Facebook收购后得以开源。不同于那些最多只能达到10
阅读本文

caffe源码简单解析——Layer层

前言 老实说,caffe中的layer层代码比较多,各种抽象看起来比较绕。官方关于Layer的教程写的很清楚,我根据这个文档,简单画了个图,再理解起来就方便了一些。 layer.hpp 和layer相关的头文件有:common_layers.hpp data_layers.hpp layer.hpp loss_layers.hpp neuron_layers.hpp vision_la
阅读本文

NOSQL之MongoDB简介

1.MongoDB简介  1.1.MongoDB的概念    1.MongoDB是用C++语言编写的非关系型数据库。特点是高性能、易部署、易使用,存储数据十分方便    2.主要特性有:面向集合存储,易于存储对象类型的数据,模式自由,支持动态查询,支持完全索引,包含内部对象,支持复制和故障恢复,使用高效的二进制数据存储,包括大型对象文件存储格式为BSON(一种JSON的扩展)  1.2Mongo
阅读本文

MongoDB学习

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写,旨在为WEB提供可扩展的高性能数据存储解决方案。MongoDB的奇特在于:它是一个介于关系和非关系数据库之间的产品,而在非关系数据库中,它却是最像关系数据库的,也是功能最丰富的。
阅读本文

分布式消息队列(一)

本次分享大纲消息队列概述消息队列应用场景消息中间件示例一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。二、消息队列应用场景以下介绍消息队列
阅读本文

redis整体简介

1、Redis 简介 1.1、Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作高性能的key-value数据库、缓存和消息中间件。 1.2、Redis 与其他 key - value 缓存产品有以下几个特点:   1)Redis性能极高能读的速度是110000次/s,写的速度是81000次/s   2)Redis支持多种类型的数据结构,如字符串(strings
阅读本文

Redis数据库总结

Num01–>Redis定义 1、Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持 2、Redis是一个开源(BSD许可)的、内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件 3、redis是一个高性能的key-value存储系统。和
阅读本文

[Linux性能调优] 磁盘I/O队列调度策略

这两天的一个小任务是MongoDB服务器的调优,恰好这段时间对Linux的各种性能诊断、调优感兴趣,就顺着这个任务多翻了些书和文章。新学到的一个东西是 Linux磁盘的I/O队列调度策略,至少MySQL和PostgreSQL都推荐调整这个:http://www.mysqlperformanceblog.com/2009/01/30/linux-schedulers-in-tpcc-like-ben
阅读本文

web服务器负载均衡与集群基本概念一

Web集群是由多个同时运行同一个web应用的服务器组成,在外界看来就像一个服务器一样,这多台服务器共同来为客户提供更高性能的服务。集群更标准的定义是:一组相互独立的服务器在网络中表现为单一的系统,并以单一系统的模式加以管理,此单一系统为客户工作站提供高可靠性的服务。    而负载均衡的任务就是负责多个服务器之间(集群内)实现合理的任务分配,使这些服务器(集群)不会出现因某一台超负荷、而其他的服务器
阅读本文

机器学习资源大全

机器学习资源大全本列表选编了一些机器学习领域牛B的框架、库以及软件(按编程语言排序)。C++计算机视觉通用机器学习Closure通用机器学习 Closure Toolbox—Clojure语言库与工具的分类目录 Go自然语言处理 go-porterstemmer—一个Porter词干提取算法的原生Go语言净室实现 paicehusk—Paice/Husk词干提取算法的Go语言实现 s
阅读本文

solr 的安装和配置

Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。  特点Solr是一个高性能,采用Java5开发,基于Lucene的全文搜索服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可
阅读本文

MaxCompute_MapReduce

阿里云E-Mapreduce动态云HBase支持超过300g的容量,请提工单申请云HBase支持phoenix,phoenix支持海量数据的实时分析资讯 云计算大会召开-阿里巴巴技术专家宋军带来关于Spark的分享 云计算技术大会在北京召开,阿里巴巴技术专家宋军分享了题为《SparkSQL在ETL中的应用》的演讲。宋军表示,ETL主要有三个步骤:抽取、转换、加载。首先读取数据源,做清洗加工,整合
阅读本文

开源大数据周刊-第53期

阿里云E-Mapreduce动态 云HBase支持超过300g的容量,请提工单申请 云HBase支持phoenix,phoenix支持海量数据的实时分析 资讯 云计算大会召开-阿里巴巴技术专家宋军带来关于Spark的分享 云计算技术大会在北京召开,阿里巴巴技术专家宋军分享了题为《SparkSQL在ETL中的应用》的演讲。宋军表示,ETL主要有三个步骤:抽取、转换、加载。首先读取数据源,做清洗加
阅读本文

谈谈MySQL优化原理

说起MySQL的查询优化,相信大家收藏了一堆奇淫技巧:不能使用SELECT *MySQL逻辑架构如果能在头脑中构建一幅MySQL各组件之间如何协同工作的架构图,有助于深入理解MySQL服务器。下图展示了MySQL的逻辑架构图。MySQL逻辑架构,来自:高性能MySQLMySQL逻辑架构整体分为三层,最上层为客户端层,并非MySQL所独有,诸如:连接处理、授权认证、安全等功能均在这一层处理。MySQ
阅读本文

支持自动水平拆分的高性能分布式数据库TDSQL

随着互联网应用的广泛普及,海量数据的存储和访问成为系统设计的瓶颈问题。对于大型的互联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载。给系统的稳定性和扩展性造成了极大的问题。通过数据的切分来提高系统整体性能,扩充系统整体容量,横向扩展数据层已经成为架构研发人员首选的方式。2004年,腾讯开始逐步上线互联网增值服务,业务量开始第一次爆炸。计费成为所有业务都需要的一个公共服务,不再是某个服务的专
阅读本文

消息队列简介

消息队列中间件是分布式系统中重要的组件,主要解决异步消息、应用耦合、流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。   目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。 应用场景 异步消息   场景说明:用户注册后,需要发注册邮件和注册短信。传统的做法有两种1、串
阅读本文