智能工厂-机联网

随着德国提出的工业4.0战略,中国也推出了自己的智能制造2025;在此大环境下智能工厂,智能制造,仿如雨后春笋般跳入大众视野,传统制造业的转型,真如大家想的那样迫在眉睫麽,智能工厂所面临的问题,等等一系列的问题都需要人们去解决;  机联网,也是目前喊的最亮的口号,目前设备联网所面临的问题,不是一点两点,而是很多需要去解决的,现在机联网所面临的问题如:设备厂家不一,型号各异,通讯方式更是五花八门
阅读本文

十一.安装Redis

redis是一个NOSql数据库,在java web中,经常用来存储session等,官网是https://redis.io/当前官网指出的稳定版本为3.2.6,下载地址为http://download.redis.io/releases/redis-3.2.6.tar.gz1.下载redis[root@iZ25ufmpy4sZ local]# wget http://download.redis
阅读本文

缓存遇到的数据过滤与分页问题

遇到的问题1、最初阶段系统中做了一个监控功能,用于记录所有的请求数据,数据插入频繁,量非常大,比如一天1000万条。考虑到数据插入的效率,就使用内存KV缓存来保存。写入过程是在接收到请求后放入到线程池中,然后线程池异步处理后写入。到这问题基本上没什么事情。2、新的需求后面数据保存了,就需要在运维系统中可以查询到,所以这个缓存还必须是分布式的。于是就换成了redis,这样系统都可以连接到。但是数据量
阅读本文

微信 openId

摘要       关于微信开发的话题,例子确实已经有不少,但大部分都是人云亦云,很多小细节或者需要注意的地方却大多没有讲清楚,这令很多刚开始开发的人感觉大很迷茫。而我今天要说的话题,主要着眼于两个方面。一:如何存储获取用户信息及调用第三方接口所需要的token.二 : 第三方页面授权,如何减少从微信服务器获取用户openid的次数以及减少获取用户信息的次数,加速第三方页面的加载速速。(注:演示所使
阅读本文

为什么要使用redis数据库?

1、 redis简介 redis是Nosql数据库中使用较为广泛的非关系型内存数据库,redis内部是一个key-value存储系统。它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型,类似于Java中的map)。Redis基于内存运行并支持持久化的NoSQL数据库,是当前最热门的N
阅读本文

Meteor学习路程(三)之数据库的例子(1)【查询】

接下来会用Meteor的几种方式展示出数据:第一步:命令行新建工程meteor create dbTest ....... cd dbTest ....... meteor npm install ....... meteor第二步: 第一种方式:模拟数据在client文件夹下新建template文件夹并且建立一个模板和helper文件:users.html、users.js(1)创建用户列表模
阅读本文

微信--高效解决token及授权用户openid的持久化处理办法

摘要       关于微信开发的话题,例子确实已经有不少,但大部分都是人云亦云,很多小细节或者需要注意的地方却大多没有讲清楚,这令很多刚开始开发的人感觉大很迷茫。而我今天要说的话题,主要着眼于两个方面。一:如何存储获取用户信息及调用第三方接口所需要的token.二 : 第三方页面授权,如何减少从微信服务器获取用户openid的次数以及减少获取用户信息的次数,加速第三方页面的加载速速。(注:演示所使
阅读本文

架构是什么?

IT生涯将近10年,一直对于软件架构还是将懂非懂,因为每一个团队的经历不一样,所以达到的高度也不一样,所以经历决定一个架构师的水平能力(腾讯的架构也不一定适用中小型,做ERP的不一定适合互联网),也由于行业的特性,所以架构也随环境,行业特性,团队水平性而产生裂变,所以说团队的技术水平决定架构的层次,再加上架构也是具有一定的发展性(从最初的三层架构,MVC,SAAS,DDD,微服务),所以一
阅读本文

NoSql数据库初探-mongoDB环境搭建

NoSQL数据库一改关系型数据库的缺点,更容易的集成、分布式、无模式、故障恢复等特点,正在一步步餐食关系型数据库的市场,作为一个与时俱进的码农了解一下新技术是必须的,尤其是在读了《NoSql精粹》之后,更是想体验一下NoSql数据库的威力。  MongoDB是一种文档数据库,也就是说对于领域模型中的每一个聚合来讲,都会作为一个文档来存储。  MongoDB有如下优点:  面向文档存储、全索引
阅读本文

NoSQL数据库笔谈 转载

NoSQL数据库笔谈NoSQL数据库笔谈appdir , ssv , paper颜开 , v0.2 , 2010.2 序 思想篇 CAP 最终一致性 变体 BASE 其他 I/O的五分钟法则 不要删除数据 RAM是硬盘,硬盘是磁带
阅读本文

关系数据库&&NoSQL数据库

当我们在讨论是否要使用NoSQL的时候,你还需要理解NoSQL也是分很多种类的,在NoSQL百花齐放的今天,NoSQL的正确选择比选择关系数据库还具有挑战性。虽然NoSQL的使用很简单,但是选择却是个麻烦事,这也正是很多人在观望的一个原因。NoSQL的分类         NoSQL仅仅是一个概念,NoSQL数据库根据数据的存储模型和特点分为很多种类。 类型 部分代表 特点
阅读本文

NoSQL 35 个非主流数据库

几乎每个Web开发人员都有自己喜欢的数据库,或自己最熟悉的数据库,但最常见的无外乎以下几种:   MySQL   PostgreSQL   MSSQL   SQLite   MS Access   1、MongoDB 35个非主流开源数据库介绍   MongoDB是一款开源,高性能,可扩展,无模式,面向文档(与JSON类似的数据模式)的数据库,它为时下最流行的编程语言提供了驱动,如 PHP,Pyt
阅读本文

161104、NoSQL数据库:key/value型之levelDB介绍及java实现

简介:Leveldb是一个google实现的非常高效的kv数据库,能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计。特别是LSM算法。LevelDB 是单进程的服务,性能非常之高,在一台4核Q6600的CPU机器上,每秒钟写数据超过40w,而随机读的性能每秒钟超过10w。原理(可以查看相关原理图更容易理解,非常类似于hadoop的某些组件实现)1
阅读本文

NoSQL数据库:Redis适用场景及产品定位

传统MySQL+ Memcached架构遇到的问题  实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:  1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量开发时间。  2.Memcached与MySQL
阅读本文

NoSQL数据库的分布式算法

Distributed Algorithms in NoSQL Databases系统的可扩展性是推动NoSQL运动发展的的主要理由,包含了分布式系统协调,故障转移,资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐,什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革,但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。正是通过这些尝试逐渐总结出了一些行
阅读本文

NoSql数据库简介及Redis学习

NO-Sql数据库:Not Only不仅仅是SQL定义:非关系型数据库;NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万亿比特的数据)。这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。需要进一步数据挖掘和分析。RDBMS VS NOSQL RDBMS NoSQL 高度组织化结构化数据  代表着不仅仅是SQL 结构化查询语言(SQL) (
阅读本文

MongoDB、Cassandra 和 HBase 三种 NoSQL 数据库比较

Hadoop获得了许多大数据应用的信誉,但实际情况是,NoSQL数据库是一直处于更加广泛部署和更广泛的发展中的技术。尽管选择Hadoop作为应用存储,相对来说更直接简单。但是,具体采用什么样的NoSQL数据库是个值得思考的问题,毕竟,还有超过100种的NoSQL数据库。我们应该选择哪一种?选择倾向“任何像样规模的企业都会使用各种不同类型的数据存储技术,为应对各种不同类型的数据。”Martin Fo
阅读本文

图形数据库、NOSQL和Neo4j

在众多不同的数据模型里,关系数据模型自80年代就处于统治地位,而且有不少实现,如Oracle、MySQL和MSSQL,它们也被称为关系数据库管理系统(RDBMS)。然而,最近随着关系数据库使用案例的不断增加,一些问题也暴露了出来,这主要是因为两个原因:数据建模中的一些缺陷和问题,以及在大数据量和多服务器之上进行水平伸缩的限制。两个趋势让这些问题引起了全球软件社区的重视:用户、系统和传感器产生的数据
阅读本文

NoSQL数据库探讨 -- 非关系型数据库

随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域, 非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不 从心,暴露了很多难以克服的问题,例如: 1、High performance - 对数据库高并发读写的需求 web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态
阅读本文