聊聊数据库~开篇

1.前言总是聊并发的话题,聊到大家都免疫了,所以这次串讲下个话题——数据库(欢迎纠正补充)看完问自己一个问题来自我检测:NoSQL我到底该怎么选?1.1.分类主要有这么三大类:[再老的数据库就不说了]1.传统数据库(SQL):关系数据库:SQLite、MySQL、SQLServer...2.高并发产物(NoSQL):键值数据库:Redis、MemCached...文档数据库:MongoDB、Cou
阅读本文

你不得不了解的前后端分离原理!

前后端分离已成为互联网项目开发的业界标准使用方式,通过nginx+tomcat的方式(也可以中间加一个nodejs)有效的进行解耦,并且前后端分离会为以后的大型分布式架构、弹性计算架构、微服务架构、多端化服务(多种客户端,例如:浏览器,车载终端,安卓,IOS等等)打下坚实的基础。这个步骤是系统架构从猿进化成人的必经之路。   核心思想是前端html页面通过ajax调用后端的restuful ap
阅读本文

MongoDB的安装和可视化工具

上节我们安装了Python,用来从网上爬取数据,那么爬取的数据存放在哪里呢?由于大部分爬取的数据都不规则,在关系型数据库中是没有办法存放的,那么我们就需要一个菲关系学数据库,就是今天需要安装的mongoDB,那么什么是MOngoDB呢?  MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非
阅读本文

学习大数据需要哪些基础知识

1、思维模式转变的催化剂是大量新技术的诞生,它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区,Hadoop已经是目前大数据平台中应用率最高的技术,特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。 2、除分布式文件系统之外,伴随Hadoop一同出现的还有进行大数据集处理MapReduce架构。根据权威报告显示,许多企业都开始使用或者评估Hadoop技术来作为其大数据平台的标准。 3
阅读本文

docker技术入门(1)

1Docker技术介绍DOCKER是一个基于LXC技术之上构建的container容器引擎,通过内核虚拟化技术(namespace及cgroups)来提供容器的资源隔离与安全保障,KVM是通过硬件实现的虚拟化技术,它是通过系统来实现资源隔离与安全保障,占用系统资源比较小官方网站:https://www.docker.com/Docker组成:  客户端与服务端Docker组件:  镜像  容器
阅读本文

Java分布式架构的演进过程

一.分布式架构的发展历史1946年,世界上第一台电子计算机在美国的宾夕法尼亚大学诞生,它的名字是:ENICAC ,这台计算机的体重比较大,计算速度也不快,但是而代表了计算机时代的到来,再以后的互联网的发展中也有基础性的意义。计算机的组成是有五部分完成的,分别是:输入设备,输出设备,存储器,存储器里面由运算器和控制器,有一个冯诺依曼的模型非常形象的对象计算机的组成进行了描述,不过计算机也是有数据流,
阅读本文

飞天技术汇“2018云栖大会·上海峰会”专场,等你加入

智能制造是中国传统企业面临的重大课题,如何正确处理企业智能转型过程中出现的各种问题,如何顺利完成传统制造业的数字化革命,云计算的智能化解决方案将为观众提供全新的思路。在飞天技术汇“2018云栖大会·上海峰会”专场上,阿里云专家将重点针对金融、信息和制造等行业,从弹性计算、存储、网络、数据库、CDN产品的技术角度,为观众深入剖析云上智能如何推动中国企业数字化转型。2018云栖大会·上海峰会,等你加入
阅读本文

什么?云数据库也能C位出道?

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~是的,你没有看错。腾讯智造,新一代云数据库CynosDB,“C”位出道了!CynosDB是腾讯云自研的新一代高性能高可用的企业级分布式云数据库。融合了传统数据库、云计算与新硬件的优势,100%兼容开源数据库,百万级QPS的高吞吐,不限存储,价格仅为商用数据库的1/10。面向通用硬件的极致优化,打破安迪-比尔定律,释放硬件红利!Cynos源于
阅读本文

分布式之数据库和缓存双写一致性方案解析

为什么写这篇文章?首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。但是在更新缓存方面,对于更新完数据库,是更新缓存呢,还是删除缓存。又或者是先删除缓存,再更新数据库,其实大家存在很大的争议。目前没有一篇全面的博客,对这几种方案进行解析。于是博主战战兢兢,顶着被大家喷的风险,写了这篇文章。正文先做一个说明,从理论上来说,给
阅读本文

python之redis模块

一、redis简介  redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支
阅读本文

爬虫高性能相关

1、多线程 #IO密集型程序应该用多线程 import requests from threading import Thread,current_thread def parse_page(res): print(‘%s 解析 %s‘ %(current_thread().getName(),len(res))) def get_page(url,callback=parse_page)
阅读本文

java实现高性能的数据同步

最近在做一个银行的生产数据脱敏系统,今天写代码时遇到了一个“瓶颈”,脱敏系统需要将生产环境上Infoxmix里的数据原封不动的Copy到另一台 Oracle数据库服务器上,然后对Copy后的数据作些漂白处理。为了将人为干预的因素降到最低,在系统设计时采用Java代码对数据作Copy,思路    首 先在代码与生产库间建立一个Connection,将读取到的数据放在ResultSet对象,然后再与开
阅读本文

数据结构之二叉树扩展AVL,B-,B+,红黑树

1、AVL 1.基本概念  AVL是平衡二叉查找树,它或者是一颗空树,或者是具有下列性质的二叉树:它的左子树和右子树都是平衡二叉树,且左子树和右子树的深度之差的绝对值不超过1。  若将二叉树结点上的平衡因子BF(Balance Factor)定义为该结点的左子树的深度减去它的右子树的深度,则平衡二叉树上所有结点的平衡因子只能是-1,0,1。  2.插入删除操作   平衡二叉查找树,在添加或者删除的
阅读本文

Python Mongodb接口

Python Mongodb接口MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。同时,MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是NoSQL的优秀实现。工具类实现from pymongo import MongoClient mongodb_name = ‘dev_map‘ client = Mon
阅读本文

MQ(消息队列)常见的应用场景解析

前言提高系统性能首先考虑的是数据库的优化,之前一篇文章《数据库的使用你可能忽略了这些》中有提到过开发中,针对数据库需要注意的事项。但是数据库因为历史原因,横向扩展是一件非常复杂的工程,所有我们一般会尽量把流量都挡在数据库之前。 不管是无限的横向扩展服务器,还是纵向阻隔到达数据库的流量,都是这个思路。阻隔直达数据库的流量,缓存组件和消息组件是两大杀器。之前文章《Redis常见的应用场景解析》已经描述
阅读本文

ASP.Net MVC4+Memcached+CodeFirst实现分布式缓存

ASP.Net MVC4+Memcached+CodeFirst实现分布式缓存       ASP.Net MVC4+Memcached+CodeFirst实现分布式缓存part 1:给我点时间,允许我感慨一下2016年  正好有时间,总结一下最近使用的一些技术,也算是为2016年画上一个完美的句号,回顾2016年,感受颇多,感恩那些帮助我的人。展望2017年,我相信一定会遇到一个更好的自己。附上
阅读本文

Virtualisation 虚拟化(一)

---恢复内容开始---何为虚拟化?借助虚拟化技术,用户可以单个物理硬件系统为基础创建多个模拟环境或专用资源。被称为“虚拟机监控程序”的软件可直接连接到硬件,从而将一个系统划分为不同的、单独安全环境,即虚拟机 (VM)。虚拟机监控程序能够将计算机资源与硬件分离并适当分配资源,而虚拟机则依赖这些功能运行。换言之,如果使用得当,虚拟化可以帮助您充分利用以前所做的投资。配备了虚拟机监控程序的原始物理机被
阅读本文

RAID技术

定义 RAID(Redundant Array of Independent Disks,独立磁盘冗余阵列),它的基本思想就是把多个相对便宜的硬盘组合起来,成为一个硬盘阵列组,使得性能达到甚至超过一个价格昂贵、容量巨大的硬盘。 RAID通常被用在服务器上,使用完全相同的硬盘组成一个逻辑扇区,因此操作系统只会把它当做一个硬盘。 RAID分为不同的等级,各个不同的等级均在数据可靠性及读写性能上做了
阅读本文

Asky极简教程:零基础1小时学编程(已更新前8节)

Asky极简架构开源Asky极简架构、超轻量级、高并发、水平扩展、微服务架构《Asky极简教程:零基础1小时学编程》开源教程零基础入门,从零开始全程演示,如何开发一个大型互联网系统,开源教程 + 开源代码 + 开源解决方案零基础1小时学完前3节后,可学会基本编程思路,后面的教程是在这基础上的逐步深入每节教程学习时间30分钟左右,由浅入深,循序渐进,从 完全不懂编程 到 逐渐掌握编程技能 到 开发大
阅读本文

高性能Server---Reactor模型【转载】

无处不在的C/S架构在这个充斥着云的时代,我们使用的软件可以说99%都是C/S架构的!你发邮件用的Outlook,Foxmail等你看视频用的优酷,土豆等你写文档用的Office365,googleDoc,Evernote等你浏览网页用的IE,Chrome等(B/S是特殊的C/S)……C/S架构的软件带来的一个明显的好处就是:只要有网络,你可以在任何地方干同一件事。C/S架构可以抽象为如下模型:C
阅读本文