大数据之mongodb --> (2)java集成 MongoDB 3.2

Java集成MongoDB有很多方式,可以直接用mongodb的java驱动程序来发送语句到mongodb服务器,也可以用第三方的工具包来做。(1) 选择版本今天我选择的就是springdata集成的mongodb(spring-data-mongodb)1.1 spring-data-mongodb版本gradle坐标:org.springframework.data:spring-data-m
阅读本文

谷歌公司推出Cloud Spanner云计算数据库服务

近日,谷歌公司推出了Cloud Spanner,这是一个完全托管的全新的数据库,可以提供传统数据库的数据一致性,以及NoSQL数据库的可扩展性和性能。这是谷歌公司基于其内部运行的Spanner数据库相同的系统。 通常,企业必须选择传统的数据库或NoSQL数据库,并且每个数据库都有特定的权衡。传统数据库可以提供更好的数据一致性,但是难以扩展。而NoSQL数据库在扩展方面更好,但在事务一致性方面
阅读本文

程序员的心理疾病

说实话,虽然似乎为之奋斗了十多年,在真正进入软件行业的短短一年之后,我已经对它感到相当的厌倦了。这并不是说这个行业没有前景,而是在这个行业工作,其实很难得到心理上的快乐。人们说女怕嫁错郎,男怕入错行。我并不认为自己入错了行,我仍然很喜欢设计程序和语言,而且我显然是这个领域的王牌之一。然而我却看到了这个行业里的无限混沌,让我觉得喘不过气来。几十年的垃圾设计堆积在那里,却没有人试图把它们清理掉,权威主
阅读本文

Memcache线上常见问题(缓存雪崩、缓存无底洞、永久数据被踢)

缓存雪崩现象一般是由于某个节点失效,导致其它节点的缓存命中率下降,缓存中缺失的数据直接去数据库查询,短时间内造成数据库服务器崩溃。或者是由于缓存周期性失效,比如设置每隔6个小时失效一次,那么每6个小时将会有一个请求峰值,严重的话,也会导致数据库崩溃。重启DB后,短期内又被压垮,但缓存又会恢复一点,DB反复重启多次,直至缓存重建完毕,才能恢复稳定。如果小网站,平时访问量不大的情况下,数据缓存的时间不
阅读本文

关系与非关系数据库的比较

1. 关系型数据库 关系型数据库,是指采用了关系模型来组织数据的数据库。 关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出的,在之后的几十年中,关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型。 简单来说,关系模型指的就是二维表格模型,而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。 关系模型中常用的概念: 关系:可以理解为一张二维表,
阅读本文

mongodb查询

MongoDB 查询文档 语法 MongoDB 查询数据的语法格式如下:>db.COLLECTION_NAME.find() find() 方法以非结构化的方式来显示所有文档。 如果你需要以易读的方式来读取数据,可以使用 pretty() 方法,语法格式如下:>db.col.find().pretty() pretty() 方法以格式化的方式来显示所有文档。 实例 以下实例我们查
阅读本文

Elasticsearch之基本操作

elasticsearch是一个是开源的(Apache2协议),分布式的,RESTful的,构建在Apache Lucene之上的的搜索引擎。 它有很多特点例如Schema Free,Document Oriented。它是#nosql的,基于JSON,同时支持多种API,包括HTTP, thrift, memcached。支持HTTP,是比较爽的一点,因为基本上所有的应用都可以用ES了,
阅读本文

大数据学习笔记之三十五 NoSQL相关知识

传统关系型数据的特点   优点       容易理解,二维结构      使用方便,SQL语言是的操作方便      高性能,出色的索引,高效的查询      事务一致性,要个的强一致性支持      易于维护,丰富的完整性降低了数据冗余和数据不一致的概率 缺点      维护一致性会使系统的读写性能比较差      由于固定的表结构,扩展性比较差 2)NoSQL:Not
阅读本文

分布式数据库 HBase

HBase是 Hadoop 的正式子项目,它是一个面向列的分布式数据库。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主
阅读本文

如何在Linux下快速安装MongoDB

一、安装配置mongodbStep 1: 设置系统环境及确保缺省端口27107可用###当前环境# cat /etc/issueRed Hat Enterprise Linux Server release 6.5 (Santiago)# vi /etc/selinux/configSELINUX=disabledStep 2: 下载安装文件下载地址: https://www.mongodb.or
阅读本文

学习笔记2:《大型网站技术架构 核心原理与案例分析》之 大型网站架构演化

1. 初始阶段的网站 小型网站没有多少人访问,一个机器即可:应用服务,文件服务,数据库服务。三个服务全部在一起。   2. 应用服务与数据服务分离 随着用户量的增加,一个服务器已不能满足需求。这个时候将服务拆分,分别安装在三个服务器上:应用服务器,文件服务器,数据库服务器。 应用服务器需要对业务逻辑进行处理,对CPU的性能要求较高。数据库服务器对数据快速检索、保存等操作要求高,因而对硬盘和内存
阅读本文

NodeJS 框架一览

Express当你使用Node.js构建web应用程序时, Express通常被视为事实上的Web服务器。它的哲学(一个可以使用中间件包扩展的简约核心)是大多数Node.js开发者所熟悉的。KoaKoa的哲学接近Express, 但它是使用ES6生成器,以避免有时被称为回调地狱的问题。FeathersFeathers是一个非常灵活的解决方案,创建一个面向服务的架构,是一个很好地适合创建Node.j
阅读本文

HBase介绍

欢迎和大家交流技术相关问题:邮箱: jiangxinnju@163.com博客园地址: http://www.cnblogs.com/jiangxinnjuGitHub地址: https://github.com/jiangxincode知乎地址: https://www.zhihu.com/people/jiangxinnju http://jiajun.iteye.com/blog/89963
阅读本文

京东的交易系统 之 高并发架构分享

大家好!我是来自京东商城交易平台的杨超,今天特别高兴能够来给大家做这个分享。我是 2011 年加入京东,5 年中我经历了不少技术架构的演进,也看到了不少变化。这次分享首先介绍京东商城的服务、京东交易结构,然后介绍针对618备战,我们做的一些事情,以及从2011年到现在,京东交易平台经历的变化。商城服务  如图所示是京东交易平台的一张大的渔网图。从主页面网站开始,到后面提交订单、购物车、结算页、订单
阅读本文

redis基本介绍--从菜鸟到熟悉

基本使用代码 package com.eversec.test.redistest; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Set; import redis.clients.jedis.Jedis; public class RedisStructureTes
阅读本文

高性能大型网站性能优化基础

简介网站性能在不同角度有不同的解释,在用户角度来说,网站性能就是网站的快慢,即打开页面或者获取回复的快慢。从开发角度来说,网站性能指的是应用程序本身的性能,包括相应延迟,系统吞吐量,并发处理能力,系统稳定性等量化指标。性能指标响应时间并发数吞吐量性能计数器性能测试方法性能测试负载测试压力测试稳定性测试前端优化服务器端优化(架构层面)分布式缓存异步操作使用集群代码优化数据库读写分离NoSQL(搜索引
阅读本文

订单功能模块设计与实现

在商城项目中,之前我们介绍了购物车功能模块的实现,商品加入到购物车之后,就是到购物车结算,然后显示购物车的商品列表,点击去结算,然后到了未提交前的订单列表,点击提交订单后,生成此订单,返回订单的订单号,付款金额,订单预计到达时间。订单系统是一个非常重要的系统,我们的移动端、PC端都需要订单系统,所以这里我们将订单系统单独作为一个服务来,留出接口供客户单来调用 今天我们来看下这个订单系统到底是如何实
阅读本文

C#Redis 事务操作

一、理论还是抄前辈的理论知识。  和众多其它数据库一样,Redis作为NoSQL数据库也同样提供了事务机制。在Redis中,MULTI/EXEC/DISCARD/WATCH这四个命令是我们实现事务的基石。相信对有关系型数据库开发经验的开发者而言这一概念并不陌生,即便如此,我们还是会简要的列出Redis中事务的实现特征:      1). 在事务中的所有命令都将会被串行化的顺序执行,事务执行期间,R
阅读本文

mongodb与关系型数据库优缺点比较

1、与关系型数据库相比,MongoDB的优点:①弱一致性(最终一致),更能保证用户的访问速度②文档结构的存储方式,能够更便捷的获取数据③内置GridFS,支持大容量的存储。④内置Sharding。⑤第三方支持丰富。(这是与其他的NoSQL相比,MongoDB也具有的优势)⑥性能优越2、与关系型数据库相比,MongoDB的缺点:①mongodb不支持事务操作。②mongodb占用空间过大。③Mong
阅读本文