【Python3爬虫】Scrapy+MongoDB+MySQL

分享一下两个小爬虫,都是用Scrapy写的,一个用MongoDB保存,另一个用MySQL保存。 一、Scrapy+MongoDB主要代码:  在settings.py中添加如下代码:MONGODB_HOST = “127.0.0.1“ # 本机ip地址MONGODB_PORT = 27017 # 端口号MONGODB_DB = “DouBan“ # 数据库名MONGODB_COL = “D
阅读本文

数据库系列之mysql 自定义函数function,函数和存储过程的区别

mysql 自定义函数function,函数和存储过程的区别 DROP FUNCTION IF EXISTS test.formatDate $$1.MySQL自定义函数简介  在MySQL中使用自定义函数也需要相应的要求,语法如下,  创建新函数:    Create function function_name(参数列表)    returns返回值类型    函数体内容  相关说明,函数名:
阅读本文

Django中的app及mysql数据库篇(ORM操作)

Django常见命令在Django的使用过程中需要使用命令让Django进行一些操作,例如创建Django项目、启动Django程序、创建新的APP、数据库迁移等。创建Django项目一把我们都新建一个文件夹来存放项目文件,切换到这个目录下,启动命令行工具。创建一个名为mysite的Django项目:django-admin startproject mysite创建好项目之后,可以查看当前目录下
阅读本文

【MySQL】数据库 --MySQL的安装

本篇教程主要讲解在CentOS 6.5下编译安装MySQL 5.6.14!1、卸载旧版本:使用下面的命令检测是否安装有MySQL server [sql] view plain copy   <span style=“font-family:‘Microsoft YaHei‘;font-size:16px;“>[root@localhost ~]# rpm -qa | grep mysql
阅读本文

JDBC操作之连接和关闭mysql数据库

首先导入jdbc所用的jar包然后分别调用getCon()和closeCon方法import java.sql.DriverManager; import java.sql.SQLException; import com.mysql.jdbc.Connection; public class DbUtil { private String dbUrl=“jdbc:mysql://localhos
阅读本文

mysql管理--数据库管理

创建与删除数据库创建数据库 create database nt character set utf8 collate utf8_bin;删除数据库 drop database nt;创建和删除数据表创建表 CREATE TABLE table_name (column_name column_type); CREATE TABLE IF NOT EXISTS `runoob_tbl`(
阅读本文

ruby新建web项目步骤,使用mysql数据库

1.创建一个项目 指定数据库rails new demo02 -d mysql 2.修改 config/database.yml 修改数据库密码default: &default adapter: mysql2 encoding: utf8 pool: <%= ENV.fetch(“RAILS_MAX_THREADS“) { 5 } %> username: root pass
阅读本文

Mysql数据库的读写分离

Mysql数据库的读写分离读写分离应用 在大量的数据请求下,单台数据库将无法承担所有读写操作。 解决方法是配置多台数据库服务器以实现主从复制+读写分离。读写分离的优点 增加冗余 增加了机器的处理能力 对于读操作为主的应用,使用读写分离是最好的场景,因为可以确保写的服务器压力更小,而读又可以接受点时间上的延迟。读写分离提高性能的原因 物理服务器增加,负荷增加
阅读本文

MySQL数据库的权限问题操作及基本增删改查操作

前面我们讲了mysql的基本内容,现在我们详细的了解一下mysql中的具体操作。what‘s the SQl  SQL(Structured Query Language 即结构化查询语言)  SQL语言主要用于存储数据、更新数据和管理关系数据系统,由IBM开发。SQL语句分为三种:DDL语句   数据库定义语言:数据库、表、视图、索引、存储过程,例如create、alterDML语句   数
阅读本文

mysql进阶(十八)完全卸载mysql数据库图文教程

完全卸载mysql数据库图文教程      有时候MySQL不能完全卸载,这时候必须通过一些途径删除掉注册表和一些残余的文件,然后才能重新安装才可以成功!方法/步骤      1.控制面板——》所有控制面板项——》程序和功能,卸载mysql server!       2.然后删除mysql文件夹下的my.ini文件及所有文件      3.运行“regedit”文件,删除       HKEY_
阅读本文

MySQL删除数据库

drop命令用于删除数据库。 drop命令格式:drop database <数据库名>; 例如,删除名为 xhkdb的数据库: mysql> drop database xhkdb; [例子1] 删除一个已经确定存在的数据库:    mysql> drop database drop_database;    Query OK, 0 rows affected (0.00 sec) [例
阅读本文

互联网产品mysql数据库设计总结

mysql数据库性能不比oracle数据库,所以设计上,和oracle有一些不同。下面总结一些互联网产品的数据库设计。1.主键主键可以使用bigint(20) unsigned也可以使用varchar,使用bigint,可以设置为自增主键auto_increment。使用varchar,要生成主键。2.gmt_create、gmt_modified在TB所有表中都添加gmt_create、gmt_
阅读本文

RobotFramework连接MySql数据库

RobotFrame连接MySql数据库这类的教程网上并不多,就算有,也是很多坑。小编今天为大家提供一个靠谱的教程,但是具体的包需要大家自己下载。废话不多说,看疗效~~~1.pip install pyodbc报错安装VCForPython27.msi安装包解决 2.然后安装连接pyodbc的驱动mysql-connector-odbc-5.3.9-winx64.msi,安装完成后打开 3.打开数
阅读本文

java链接mysql 中文乱码

{转!} 背景:由于最近在开发一个APP的后台程序,需要Java连接远程的MySQL数据库进行数据的更新和查询操作,并且插入的数据里有中文,在插入到数据库后发现中文都是乱码。网上查了很多教程,最后都没有解决,所以在这里记录下我解决的步骤,希望能够给以后遇到相同问题朋友一个参考,同时也起到记笔记的作用。 1.数据库插入中文乱码首先需要排除的问题是,MySQL的默认字符集和对应database的字符
阅读本文

MySQL数据库的基本配置

MySQL基础MySQL由瑞典MySQL AB公司开发,目前属于Oracie公司MySQL是一个开源的关系型数据库管理系统MySQL分为社区版和企业版--------------------配置默认字符编码打开MySQL安装目录下的my.ini (配置文件)[client ]下:[mysql] default-character-set=utf8 //客户端显示编码方式[ mysqld ] 下(服
阅读本文

写在2017年的总结

每到年末的最后一个月,都是大家在做各种各样总结的时候。有的是调侃,有的是复盘,但不论怎样,年终做一个整体的回顾还是非常有必要的。 2017年关于工作的收获,就是坚持每个月都能写几篇博文,把在工作遇到的问题或一些想法都整理成博文,作为一种知识点备查和分享。 在3月份的时候竟然一篇笔记都没有,应该是封闭开发的那个时候,在2018年必须保证每个月至少有5篇高质量的博文。 写博文的技能还需要进一步提升,这
阅读本文

MySQL-表连接

MySQL别名SELECT CONCAT_WS(‘, ‘, lastName, firstname) AS `Full name`      #CONCAT_WS函数用于字符串的拼接 FROM employees;MySQL-INNER JOIN运算功能介绍:将一个表中的行与其他表中的行进行匹配,并允许从两个表中查询包含列的行记录。INNER JOIN语句之前,必须指定以下条件:第一,在From语
阅读本文

MySQL误删数据救命指南

预防误操作导致文件/数据丢失的建议:1.欲删除文件时,将rm命令改成mv,可在系统层面将rm命令做个alias(或参考Windows / Mac OSX做法,删除文件时先进回收站)。2.删除数据库、表时,不要用drop命令,而是rename到一个专用归档库里;3.删除表中数据时,不要直接用delete或truncate命令,尤其是truncate命令,目前不支持事务,无法回滚。4.用delete命
阅读本文

python 使用mysql示例

安装MySQL驱动由于MySQL服务器以独立的进程运行,并通过网络对外服务,所以,需要支持Python的MySQL驱动来连接到MySQL服务器。MySQL官方提供了mysql-connector-python驱动,但是安装的时候需要给pip命令加上参数--allow-external: pip install mysql-connector-python --allow-external mysq
阅读本文