cassandra简单介绍与基本操作

项目中用到了cassandra,用来存储海量数据,且要有高效的查询;本博客就进行简单的介绍和进行一些基本的操作一、使用场景:  是一款分布式的结构化数据存储方案(NoSql数据库),存储结构比Key-Value数据库(像Redis)更丰富,但是比Document数据库(如Mongodb)支持度有限;适合做数据分析或数据仓库这类需要迅速查找且数据量大的应用  相关概念:        keysp
阅读本文

推荐!国外程序员整理的系统管理员资源大全

伯乐在线 - cucr 翻译  英文出处:kahun。欢迎加入翻译组。转http://blog.jobbole.com/83212/另外推荐一篇文章:《10本适合于系统管理员的最佳书籍》https://github.com/jobbole/awesome-sysadmin-cn备份备份软件Amanda -客户端-服务器模型备份工具Bacula – 另一个客户端-服务器模型备份工具Backupnin
阅读本文

MySQL 5.6的72个新特性

一,安全提高 1.提供保存加密认证信息的方法,使用.mylogin.cnf文件。使用mysql_config_editor可以创建此文件。这个文件可以进行连接数据库的访问授权。mysql_config_editor会进行加密而不是明文存储。客户端只会在内存中进行解密。这样密码以非明文方式存储,不会在命令行或者环境变量中暴露。更多信息,访问 Section 4.6.6, “mysql
阅读本文

.NET平台开源项目速览(7)关于NoSQL数据库LiteDB的分页查询解决过程

1.关于数据库排序与分页    在实际的项目中,对于关系型数据库,数据查询与排序都应该好办,升序或者降序呗,但是对数据库的分页应该不是直接的函数支持,也需要自己的应用程序中进行处理,然后使用top或者limite之类的来查询一定范围内的数据,作为一页,给前台。例如下面的SQL语句: Select top PageSize * from TableA where Primary_Key not in
阅读本文

非关系型数据库中的「关系」实现

Knowledge Dependence:阅读文本前,你需要了解基本的关系型数据库与非关系型(NoSQL)数据库的概念和区别,以及 MongoDB(Mongoose)的简单实践。​这两三年来,伴随着大数据(Big Data)的空前火热,无论是在工程界还是科研界,非关系型数据库(NoSQL)都已经成为了一个热门话题。相比于传统的关系型数据库,非关系型数据库天生从理念上就给数据存储提供了一种新的思路。
阅读本文

NoSQL初探之人人都爱Redis:(1)Redis简介与简单安装

一、NoSQL的风生水起 1.1 后Web2.0时代的发展要求  随着互联网Web2.0网站的兴起,传统的关系数据库在应付Web2.0网站,特别是超大规模和高并发的SNS类型的Web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题:  (1)对数据库高并发读写的需求  网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高
阅读本文

NoSQL精粹(NoSQL Distilled)——序言

之前说到博客长草的问题,想了想除了很忙特别忙非常忙各种瞎忙忙你妹啊外,主要还是不知道写什么好——到这家公司的两年中从JS到领域驱动到缓存服务器从前端到后端各种折腾,有些东西虽然有所心得,不过既然前人已多有总结,我也懒得多说了;还有些东西神功未成,不敢献丑人前。索性还是尝试着翻译试试吧。本书(NoSQL Distilled)厚度适中,上下两部分统共500来页,而且以基本的知识点为主——更重要的是貌似
阅读本文

SSDB —— 开源NoSQL数据库 Redis之外的选择

SSDB是一个快速的用来存储十亿级别列表数据的开源 NoSQL 数据库。特性替代 Redis 数据库, Redis 的 100 倍容量LevelDB 网络支持, 使用 C/C++ 开发Redis API 兼容, 支持 Redis 客户端适合存储集合数据, 如 list, hash, zset...客户端 API 支持的语言包括: C++、PHP、Python、Cpy、Java、NodeJS、Rub
阅读本文

缓存技术PK:选择Memcached还是Redis?

要Memcached还是要Redis?在构建一款现代且由数据库驱动的Web应用程序并希望使其拥有更为出色的性能表现时,这个问题总会时不时出现、并给每一位开发人员带来困扰。在考虑对应用程序的性能表现进行提升时,缓存机制往往是解决问题的重要起点,而Memcached与Redis则经常被作为初步方案来加以比较。  这两套声名显赫的缓存引擎拥有着诸多相似之处,但它们同样也具备大量显著差异。作为二者当中更年
阅读本文

Solr vs. Elasticsearch谁是开源搜索引擎王者

当前是云计算和数据快速增长的时代,今天的应用程序正以PB级和ZB级的速度生产数据,但人们依然在不停的追求更高更快的性能需求。随着数据的堆积,如何快速有效的搜索这些数据,成为对后端服务的挑战。Solr和ElasticSearch。两者都建立在Apache Lucene开源平台之上,它们的主要功能非常相似,但是在部署的易用性,可扩展性和其他功能方面也存在巨大差异。关于Apache Solr Apach
阅读本文

mongo数据库存图片,邮件

个人在项目中遇到需要往mongo里保存图片和文件,整体做下来写个随笔,也算是个总结。      MongoDB是一种非关系型数据库(NoSql),很好的实现了面向对象的思想(OO思想),在Mongo DB中 每一条记录都是一个Document对象。Mongo DB最大的优势在于所有的数据持久操作都无需开发人员手动编写SQL语句,直接调用方法就可以轻松的实现CRUD操作。      一般
阅读本文

关于NoSQL数据库你应该知道的10件事

关系数据库模型已经流行了几十年了,但是一种新类型的数据库——被称为NoSQL,正在引起企业的注意。下面是关于它的优势和劣势的一个概述。二十多年以来,对数据库管理来说,关系数据库(RDBMS)模型一直是一个占统治地位的数据库模型。AD:51CTO学院:IT精品课程在线看!
阅读本文

Memcached与Redis区别

传统MySQL+ Memcached架构遇到的问题   实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:   1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。   2.Memcac
阅读本文

MongoDB 安装及启动

一 配置及安装 1、下载  地址:https://www.mongodb.com/download-center 2、解压并配置    mongod没有参数的情况下会使用默认数据目录/data/db(Windows为C:datadb),若目录不存在或者不  可写,服务会启动失败。  MongoDB默认端口为27017 二 启动 1、前台启动  1)linux   运行mongod命令启动
阅读本文

日均数据量千万级,MySQL、TiDB两种存储方案的落地对比

背景介绍  盖娅广告匹配系统(GaeaAD)用于支撑盖娅互娱全平台实时广告投放系统,需要将广告数据和游戏 SDK 上报的信息进行近实时匹配,本质上来说需要实时的根据各个渠道的广告投放与相应渠道带来的游戏玩家数据进行计算,实现广告转化效果分钟级别的展现及优化。初期的MysQL存储  在系统设计之初,基于对数据量的预估以及简化实现方案考虑,我们选用了高可用的 MySQL RDS 存储方案,当时的匹
阅读本文

Hadoop大数据-cap与Hadoop各组件

一.cap起源       CAP原本是一个猜想,2000年PODC大会的时候大牛Brewer提出的,他认为在设计一个大规模可扩放的网络服务时候会遇到三个特性:一致性(consistency)、可用性(Availability)、分区容错(partition-tolerance)都需要的情景,然而这是不可能都实现的。之后在2003年的时候,Mit的Gilbert和Lynch就正式的证明了这三个特征
阅读本文

一个小时学会MySQL数据库

随着移动互联网的结束与人工智能的到来大数据变成越来越重要,下一个成功者应该是拥有海量数据的,数据与数据库你应该知道。一、数据库概要数据库(Database)是存储与管理数据的软件系统,就像一个存入数据的物流仓库。在商业领域,信息就意味着商机,取得信息的一个非常重要的途径就是对数据进行分析处理,这就催生了各种专业的数据管理软件,数据库就是其中的一种。当然,数据库管理系统也不是一下子就建立起来,它也是
阅读本文

关系型数据库和NOSQL数据库对比

详见:http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt328关系型数据库,是建立在关系模型基础上的数据库,其借助于集合代数等数学概念和方法来处理数据库中的数据。主流的 oracle、DB2、MS SQL Server和mysql都属于这类传统数据库。NoSQL数据库,全称为Not Only SQL,意思就是适用关系型数据库的时候就
阅读本文

开发者如何更好的选择和适应NoSQL的5个阶段

相信很多开发者都有个疑问,如果以一种简单、灵活的方法来存储程序数据,应该选择NoSQL还是SQL呢?     NoSQL数据库提供了非常完美的体验:一个安装包,启动数据库,使用JSON API进行数据读写操作。此外,NoSQL支持快速迭代。     SQL方案需要更多的预先投资:配置服务器,插入数据,设定数据表,以对象关系映射系统来进行数据获取。     两者对比权衡,创业公司更青睐NoS
阅读本文

后端程序员之路 8、一种内存kv数据库的实现

键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。kv数据库有leveldb、redis、rocksdb等一大堆应用广泛又很可靠的开源实现,然而这里还是有一份自己的超简单实现。1、对外接口,基本跟redi
阅读本文