Spark容错机制

容错方式容错 指的是一个系统在部分模块出现故障时还能否持续的对外提供服务,一个高可用的系统应该具有很高的容错性;对于一个大的集群系统来说,机器故障、网络异常等都是很常见的,Spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性。 一般来说,分布式数据集的容错性有两种方式:数据检查点和记录数据的更新。 面向大规模数据分析,数据检查点操作成本很高,需要通过数据中心的网络连接在
阅读本文

3.3-全栈Java笔记:Java控制语句(下)其他篇

语句块语句块(有时叫做复合语句),是用花括号扩起的任意数量的简单Java语句。块确定了局部变量的作用域。块中的程序代码,作为一个整体,是要被一起执行的。块可以被嵌套在另一个块呢。不能在两个嵌套的块内声明同名的变量。语句块可以使用外部的变量!语句块中定义的变量作用域只限于语句块。【示例1】语句块public static void main(String[] args) {int n;  int
阅读本文

FastDHT配合FastDFS进行文件上传去重

为什么写这个 关于FastDHT FastDHT is a high-performance distributed hash system (DHT) which based key value pairs. It can store mass key value pairs such as filename mapping, session data and user related d
阅读本文

Redis事件

一、Redis特点特性:速度快、基于键值对的数据结构服务器、功能丰富、简单稳定、客户端语言多、持久化、主从复制、支持高可用和分布式单线程架构:redis使用单线程架构和I/O多路复用模型来实现高性能的内存数据库服务。一条命令从客户端到服务端不会立刻被执行,所有命令都会进入一个队列中,然后逐个被执行。(执行顺序不确定的)。单线程如何满足线上运行速度? 纯内存访问:所有数据放在内存中,响应时长大约10
阅读本文

高性能索引

什么是索引索引是存储引擎用于快速找到记录的一种数据结构。索引工作流程如果想在一本书中找到某个特定主体,一般会先看书的“索引”,然后找到对应的页码。在MYSQL中,存储引擎用类似的方法使用索引,先在索引中找到对应值,然后根据匹配的索引记录找到对应的数据行。例如:要查找user_id = 2 的 用户信息,其中在user_id上建有索引: SELECT name,age FROM user WHERE
阅读本文

老男孩教育100道面试题

1.1 请解释关系型数据库概念及主要特点?概念:采用了关系型模型来组织数据的数据库。1)关系型数据库在存储数据时实际就是采用的一张二维表2)市场占有量较大的是MySQL和oracle数据库,而互联网场景最常用的是MySQL数据库。3)它通过SQL结构化查询语言来存取、管理关系型数据库的数据。4)关系型数据库在保持数据安全和数据一致性方面很强,遵循ACID理论 &  关系:可以理解为一张二维表,每个
阅读本文

HBase笔记-1.基本介绍

HBase简介  HBase-Hadoop Database,是一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用zookeeper作为其分布式协同服务。 主要用来存储结构化和半结构化的数据(列存NOSQL数据库) HBase数据模型  ROWKEY  决定一行数据
阅读本文

利用数据库存储订单、通知和任务,构建高性能队列

利用数据库存储订单、通知和任务,构建高性能队列引言 到处都有队列。很多Web网站,经常可以看到使用队列来异步发送通知,比如email和SMS。电子商务网站常常使用队列来存储订单、处理订单以及实现订单的分发。工厂生产线的自动化系统也经常使用队列并行处理任务。队列是一种广泛使用的数据结构,有时它必须创建到数据库里,而不是使用专门的队列技术(比如MSMQ)。使用数据库技术来运行一个高性能且高可扩
阅读本文

mysql innodb: b+树 的优点

我们知道B-树和B+树最重要的区别有以下两点: 1. B+树中只有叶子节点会带有指向记录的指针(ROWID),而B树则所有节点都带有,在内部节点出现的索引项不会再出现在叶子节点中。2. B+树中所有叶子节点都是通过指针连接在一起,而B树不会。 B+树的优点:1. 非叶子节点不会带上ROWID,这样,一个块中可以容纳更多的索引项,一是可以降低树的高度。二是一个内部节点可以定位更多的叶子节点。2. 叶
阅读本文

Hbase你需要知道的事

HBASE 基本知识1 HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建大规模结构化的存储集群。HBase的目标是存储并处理大型数据,具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 与MapReduce的离线批处理计算框架(可以看看 我的文章 hive 与Hbase的区别)不同,
阅读本文

亿级流量电商详情页系统的大型高并发与高可用缓存架构实战

对于高并发的场景来说,比如电商类,o2o,门户,等等互联网类的项目,缓存技术是Java项目中最常见的一种应用技术。然而,行业里很多朋友对缓存技术的了解与掌握,仅仅停留在掌握redis/memcached等缓存技术的基础使用,最多了解一些集群相关的知识,大部分人都可以对缓存技术掌握到这个程度。然而,仅仅对缓存相关的技术掌握到这种程度,无论是对于开发复杂的高并发系统,或者是在往Java高级工程师、J
阅读本文

[转]Apache commons 工具包应用

Apache Commons 是一个非常有用的工具包,解决各种实际的通用问题,你会发现它们正是你冥思苦想所需要的东西。它们不是绝世武功,但确是个随手可用的擒手,Commons一出,问题手到擒来。常用的有:commons-langcommons-collectionscommons-iocommons-beanutils,下面是一个全面的简述表:  组件 说明 BeanUtils Com
阅读本文

消息队列https://zhidao.baidu.com/question/1822088046009192748.html

一、消息队列概述  消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。  目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。  二、消息队列应用场景  以下介绍消息队列在实际应用中常用的使用场景。异步处理,
阅读本文

memcache与redis区别及memcache与redis区别

ehcache 是一个纯Java的进程内缓存框架,hibernate使用其做二级缓存。同时,ehcache可以通过多播的方式实现集群。本人主要用于本地的缓存,数据库上层的缓存。它可以将数据存在内存和磁盘中,存在磁盘中不是很专业,策略和redis不一样。 memcache是一套分布式的高速缓存系统,提供key-value这样简单的数据储存,可充分利用CPU多核,无持久化功能。本人在做web集群
阅读本文

redis学习之路(NoSQL概述)

一、何为NoSQL NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”, 泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决
阅读本文

hbase数据库介绍,HBASE的特点,表结构逻辑视图,Row Key,列族,时间戳,Cell

HBASE数据库 1. Hbase基础 1.1 hbase数据库介绍 1、简介nosql hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系+ 统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
阅读本文

redis&mongodb&memcach

Memcached Memcached的优点:  Memcached可以利用多核优势,单实例吞吐量极高,可以达到几十万QPS(取决于key、value的字节大小以及服务器硬件性能,日常环境中QPS高峰大约在4-6w左右)。适用于最大程度扛量。  支持直接配置为session handle。 Memcached的局限性:  只支持简单的key/value数据结构,不像Redis可以
阅读本文

Redis(一)-简介

Redis 简介Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点:Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。Redis支持数
阅读本文

【大数据处理】高效能,大数据量存储方案SqlBulkCopy

前些日子,公司要求做一个数据导入程序,要求将Excel数据,大批量的导入到数据库中,尽量少的访问数据库,高性能的对数据库进行存储。于是在网上进行查找,发现了一个比较好的解决方案,就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效,就像这个方法的名字一样,可以将内存中的数据表直接的一次性的存储到数据库中,而不需要一次一次的向数据库Insert数据。初次实验
阅读本文

关于并发你真的了解吗?(三)

总体说明:1.有一些童鞋喜欢在网上扒一些插件,自定义控件等使用。并且一般都不会查看插件,控件源码。现在的插件,控件很垃圾,不但占服务器资源,而且会使网站运行变慢。去掉垃圾的插件,用标准版!或者自己定义高性能控件。2.页面嵌套,在一个页面中显示另一个页面的内容。用户的一次访问对服务器来说却是两次或以上。尽量不要采用框架的形式制作页面!3.页面静态化- 用户可以直接获取页面,不用走那么多流程,比较适用
阅读本文