struts2 jar

struts2 核心包 struts2-core-2.1.8.1 struts2的核心jar包,不可缺少的 xwork-core-2.1.6 xwork的核心包,由于Struts2是由xwork的延伸 有些类依然关联着 xwork的类 aopalliance-1.0 这个包为AOP提供了最普通和通用的接口 commons-fileupload-1.2.1.jar , commons-io
阅读本文

网站架构发展

综合性知识:一步步构建大型网站架构第一阶段首先托管网站的服务器,cpu,磁盘,内存压力越来越大;网站响应速度越来越慢。处理方法:将网站和数据库分别部署在不同的服务器上。第二阶段响应速度再次变慢,访问量又变大了,检查发现数据库操作太多,数据库连接竞争激烈。决定用缓存机制来减少数据库连接资源的竞争和对数据库读的压力。处理方法:增加页面缓存。第三阶段随着访问量的增加,发现系统又开始变的有些慢了。增加页面
阅读本文

Linux集群监控工具简介:Ganglia和Nagios

11年时候,曾经对 Ganglia 和 Nagios有一定接触,这是两个用于监视数据中心的工具。这两个工具被大量用于高性能计算(HPC)环境中,但是它们对于其他环境也具有很大的吸引力(例如云、呈现集群和托管中心)。此外,两者对监视的定义也采取了不同的侧重点。Ganglia 更多地与收集度量数据并随时跟踪这些数据有关,而 Nagios 一直致力于成为一种报警机制。 真么多年过去了,这两个工具还是挺有
阅读本文

CDH使用Solr实现HBase二级索引

一、为什么要使用Solr做二级索引二、实时查询方案三、部署流程3.1 安装HBase、Solr3.2 增加HBase复制功能3.3创建相应的 SolrCloud 集合3.4 创建 Lily HBase Indexer 配置3.5创建 Morphline 配置文件3.6 注册 Lily HBase Indexer Configuration 和 Lily HBase Indexer Service
阅读本文

2016年七大顶级JavaScript框架

JavaScript正在以惊人的速度前进,并且添加新的技能到你的存储库变得有不断的压力。为了做到这一点,知道和了解更多的顶级JavaScript框架在现在看来是必要的。在ValueCoders进行了彻底的研究后,我们入围了其中七个顶级框架,它们是:1.AngularJS 2.0&1.x在最受期待的AngularJS 2.0正式发布之后,框架的普及已经达到了一个新的水平。然而,如果你不确定的话,跳到
阅读本文

Redis常见使用说明

1 概述Remote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。2 下载安装2.1 下载地址下载地址:https://redis.io/; 2.2 安装启动下
阅读本文

Python爬虫基础

前言Python非常适合用来开发网页爬虫,理由如下: 1、抓取网页本身的接口 相比与其他静态编程语言,如java,c#,c++,python抓取网页文档的接口更简洁;相比其他动态脚本语言,如perl,shell,python的urllib2包提供了较为完整的访问网页文档的API。(当然ruby也是很好的选择) 此外,抓取网页有时候需要模拟浏览器的行为,很多网站对于生硬的爬虫抓取都是封杀的。这是我们
阅读本文

大型网站技术架构-入门梳理

罗列了大型网站架构涉及到的概念,附上了简单说明前言全文主要围绕“性能,可用性,伸缩性,扩展性,安全”这五个要素性能,可用性,伸缩性这几个要素基本都涉及到应用服务器,缓存服务器,存储服务器这几个方面概述三个纬度:演化、模式、要素五个要素: 性能,可用性,伸缩性,扩展性,安全演化历程图例可参考 大型网站架构演化历程:初始阶段的网站架构:一台服务器,上面同时拥有应用程序,数据库,文件,等所有资源。例如
阅读本文

RDD之七:Spark容错机制

引入一般来说,分布式数据集的容错性有两种方式:数据检查点和记录数据的更新。 面向大规模数据分析,数据检查点操作成本很高,需要通过数据中心的网络连接在机器之间复制庞大的数据集,而网络带宽往往比内存带宽低得多,同时还需要消耗更多的存储资源。 因此,Spark选择记录更新的方式。但是,如果更新粒度太细太多,那么记录更新成本也不低。因此,RDD只支持粗粒度转换,即只记录单个块上执行的单个操作,然后将创建R
阅读本文

Atitit nodejs5 nodejs6  nodejs 7.2.1  新特性attialx总结

Atitit nodejs5 nodejs6  nodejs 7.2.1  新特性attialx总结 1.1. Node.js 4.0.0 已经发布了 。这是和 io.js 合并之后的首个稳定版本,它带来了一系列的新特性,支持 ES 6的大部分特性11.2. 10月29日发布了Node.js 5.0,至此Node.js 4.0进入了长期服务支持阶段(LTS),5.0成为稳定版本。Node.
阅读本文

[hadoop读书笔记]译者序

一、并行数据库系统 新一代高性能的数据库系统,是在MPP和集群并行计算环境的基础上建立的数据库系统。MPP:大规模并行处理计算机:Massive Parallel Processor。指的是一种处理机技术。由大量通用微处理器构成的多处理机系统,适合多指令流多数据流处理。这样的系统是由许多松耦合处理单元组成的,要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源,如总线、内
阅读本文

Redis缓存以及Redis集群的简单使用

Redis简介Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:字符串类型(String)哈希类型(hash)列表类型(list)集合类型(set)有序集合类型(zset)(sorted set)。作用:1、可以减轻数据库服务器压力。2、提高性能 1、应用场景:缓存(数据查询
阅读本文

寒假生活1

开发MISS系统需要的技术:1、用到的软件有Eclipse,Tomcat,SQLserver等。Eclipse是一个开放源代码的基于Java的可扩展开发平台,附带了一个标准的插件集,包括Java开发工具(JDK和Java Development Kit)但只是一个框架和一组服务,用于通过插件组件构建开发环境。Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中
阅读本文

备份与恢复概述,冷备,热备

对于DBA来说,最基本的工作就是数据库的备份与恢复,在意外情况下(如服务器宕机、磁盘损坏等)要保证数据不丢失,或者是最小程度地丢失。每个DBA应该每时每刻都关心自己所负责的数据库的备份情况。MySQL数据库提供的大多数工具(如mysqldump、ibbackup、replication)都能很好地完成备份的工作,当然也可以通过第三方的一些工具来完成,如xtrabackup、LVM快照备份等。DBA
阅读本文

InnoDB索引概述,二分查找法,平衡二叉树

索引是应用程序设计和开发的一个重要方面。如果索引太多,应用的性能可能会受到影响;如果索引太少,对查询性能又会产生影响。要找到一个合适的平衡点,这对应用的性能至关重要。如果知道数据的使用,从一开始就应该在需要处添加索引。开发人员对于数据库的工作往往停留在应用的层面,比如编写SQL语句、存储过程之类,他们甚至可能不知道索引的存在,或者认为事后让相关DBA加上即可。而DBA往往不了解业务的数据流,添加索
阅读本文

ActiveMQ持久化消息

ActiveMQ的另一个问题就是只要是软件就有可能挂掉,挂掉不可怕,怕的是挂掉之后把信息给丢了,所以本节分析一下几种持久化方式:一、持久化为文件ActiveMQ默认就支持这种方式,只要在发消息时设置消息为持久化就可以了。打开安装目录下的配置文件:D:ActiveMQapache-activemqconfactivemq.xml在越80行会发现默认的配置项:
阅读本文

为Hadoop集群选择合适的硬件配置

随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件,为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。(比如,IO密集型工作负载的用户将会为每个核心主轴投资更多)。在这个博客帖子中,你将会学到一些工作负载评估的
阅读本文

PE

淘宝应用运维团队,即PE团队。 PE是英文production engineer。又译:产品运维工程师。 美国yahoo也有类似的岗位,要求非常高,基本上是架构师转行过去。 国内应用运维团队要求门槛比较低,基本上是: 懂linux系统、会写脚本语言(shell、perl、python等)即可。淘宝PE职业目标能扮演各种角色:服务第一响应者、性能分析师、系统/数据库管理员、容量规划员、工具开发者、监
阅读本文

如何在CentOS 6使用yum安装nginx

nginx是一个高性能的web服务器软件。它是一个比apache更灵活和轻量级的程序。 建立 本教程中的步骤要求用户具有root权限。你可以看到如何设置了在CentOS的初始服务器设置教程第3步和4。 第一步 - 安装EPEL EPEL代表企业Linux的额外包。因为yum作为软件包管理器不在其默认存储库中包括nginx的最新版本,安装EPEL将确保CentOS上的nginx保持最新。
阅读本文

Python—redis

一、redis  redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各
阅读本文