Python爬虫进阶二之PySpider框架安装配置

关于首先,在此附上项目的地址,以及官方文档PySpider 官方文档安装1. pip首先确保你已经安装了pip,若没有安装,请参照pip安装2. phantomjsPhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 Phantom
阅读本文

机器学习教程 十四-利用tensorflow做手写数字识别

模式识别领域应用机器学习的场景非常多,手写识别就是其中一种,最简单的数字识别是一个多类分类问题,我们借这个多类分类问题来介绍一下google最新开源的tensorflow框架,后面深度学习的内容都会基于tensorflow来介绍和演示什么是tensorflowtensor意思是张量,flow是流。张量原本是力学里的术语,表示弹性介质中各点应力状态。在数学中,张量表示的是一种广义的“数量”,0阶
阅读本文

Spark学习(一) -- Spark安装及简介

标签(空格分隔): Spark学习中的知识点:函数式编程、泛型编程、面向对象、并行编程。任何工具的产生都会涉及这几个问题:现实问题是什么?理论模型的提出。工程实现。思考: 数据规模达到一台机器无法处理的时候,如何在有限的时间内对整个数据集进行遍历及分析?Google针对大数据问题提出的一些解决方案:MapReduce: 计算框架;GFS:数据存储BigTable:NoSQL始祖。Hadoop是根据
阅读本文

Git的使用

使用git将代码上传至github1、在github中创建一个Repository2、在setting的deploy中粘贴本地生成的id_rsa.pub3、测试ssh远程连接是否成功:ssh -T git@github.com提示:‘You’ve successfully authenticated, but GitHub does not provide shell access‘ 说明连接成功
阅读本文

CoreCRM 开发实录——Travis-CI 实现 .NET Core 程度在 macOS 上的构建和测试 [无水干货]

上一篇文章我提到:为了使用“国货”,我把 Linux 上的构建和测试委托给了 DaoCloud,而 Travis-CI 不能放着不用啊。还好,这货支持 macOS 系统。所以就把 CoreCRM 在 macOS 上的构建和测试任务交给它了。我想国内已经有很多写怎么用 Travis-CI 的博客文章了,我就不需要在这里多费话了。当然,最好的文章其实就是 Travis-CI 的文档;最好的帮助都在 S
阅读本文

mac 多php版本安装

mac上自带又apache和php。自带的php缺少一些扩展(freeType),安装起来因为mac本身有一些sudo su都不可触及的权限,所以决定不动系统本身php,再装一个新的php不同版本。先安装brewhome。brew安装就不说了,其他博客中有,百度一大堆。然后安装php55brew install php55 --with-apache //一定要带上后面apache 不然就不会有
阅读本文

环信ReactNative Demo运行

V0.1.0 2016-12-23那么问题来了,ReactNative新手如何运行demo源码呢?首先阅读下集成的官方文档:http://docs.easemob.com/im/react-native/ios-app;下载demo源码。如果之前没有安装过ReactNative环境的,执行npm run newclear 命令肯定会报错,这里介绍下如何从0开始运行ReactNative demo
阅读本文

PHP 7.1安装pthreads拓展(.m4文件)-Mac系统

简介: pthreads 是一组允许用户在 PHP 中使用多线程技术的面向对象的 API。 它提供了创建多线程应用所需的全套工具,无论是 Web 应用还是控制台应用。 通过使用 Thread, Worker 以及 Threaded 对象,PHP 应用可以创建、读取、写入以及执行多线程应用,并可以在多个线程之间进行同步控制。 安装说明 由于homebrew/php71 里面没有pthreads拓
阅读本文

React Native 环境搭建

1,安装 HomeBrew/usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)“2, 安装 nvmbrew install nvm安装以后可能会提示按照上面的提示,终端执行以下代码:mkdir ~/.nvmvi ~/.zshrc进入 ~/.zshrc  以后
阅读本文

在macOS Sierria 10.12.2上升级默认的vim

在macOS安装软件,首选工具当然是HomeBrew,怎么安装请自行百度。vim在macOS Sierra(10.12.2)上的默认版本是7.4,但是我希望尽可能升级到最新的vim版本,并且尽量具有最多的功能和对更多编程语言的支持。而这一切使用HomeBrew安装vim可以轻松搞定。下面是我实践之后总结出来的结果,以作备忘。1.更改系统默认的vim为我们将要安装的vim系统默认的vim安装路径在/
阅读本文

在 MAC OS X 安装 ADB (Android调试桥)

什么是 ADB?Android调试桥( adb )是一个开发工具,帮助安卓设备和个人计算机之间的通信。 这种通信大多是在USB电缆下进行,但是也支持Wi-Fi连接。 adb 还可被用来与电脑上运行的安卓模拟器交流通信。 adb 对于安卓开发来说就像一把“瑞士军刀”。通过 Homebrew 安装brew install android-platform-tools测试是否正常安装adb device
阅读本文

为终端设置Shadowsocks代理

做开发的同学,应该都会经常接触终端,有些时候我们在终端会做一些网络操作,比如下载gradle包等,由于一些你懂我也懂的原因,某些网络操作不是那么理想,这时候我们就需要设置代理来自由地访问网络。 Shadowsocks是我们常用的代理工具,它使用socks5协议,而终端很多工具目前只支持http和https等协议,对socks5协议支持不够好,所以我们为终端设置shadowsocks的思路就是
阅读本文

mac下利用ffmpeg+nginx搭建直播服务器的总结

最近自己一直在研究直播相关的技术,前一阵子用了腾讯云简单的实现了直播,腾讯云实现起来很方便,而且SDK对一些关键问题的处理也做得很好,开发者直接在腾讯云平台上申请认证后便可进行腾讯云直播的测试开发了.除了像腾讯云,七牛云这些三方平台外,开发者也可以搭建rtmp+nginx本地环境,通过HLS协议进行直播测试.这里记录今天的整个研究过程以及那些被坑了的地方,希望能对大家有所帮助.一.nginx的配置
阅读本文

Mac OS 使用 Vagrant 管理虚拟机(VirtualBox)

Vagrant(官网、github)是一款构建虚拟开发环境的工具,支持 Window,Linux,Mac OS,Vagrant 中的 Boxes 概念类似于 Docker(实质是不同的),你可以把它看作是一个箱子,里面装了一些东西,Vagrant 创建虚拟机的时候,需要用到 Box ,它里面包含了虚拟机配置、虚拟机硬盘镜像和 Vagrant 配置的压缩包,有了 Box,你不需要再重新下载 ISO
阅读本文

Mac OS、Ubuntu 安装及使用 Consul

Consul 概念(摘录):Consul 是 HashiCorp 公司推出的开源工具,用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案,比如 Airbnb 的 SmartStack 等相比,Consul 的方案更“一站式”,内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value 存储、多数据中心方案,不再需要依赖其他工具(比如 ZooKeeper 等)。使
阅读本文

python 下载链接

目前,Python有两个版本,一个是2.x版,一个是3.x版,这两个版本是不兼容的。由于3.x版越来越普及,将以最新的Python 3.5版本为基础。 在Mac上安装Python 如果你正在使用Mac,系统是OS X 10.8~10.10,那么系统自带的Python版本是2.7。要安装最新的Python 3.5,有两个方法: 方法一:从Python官网下载Python 3.5的安装程序,双击运
阅读本文

Mac下 ImportError: No module named cv2 问题的解决

使用brew安装了opencv后,在使用import cv2后发生了这个错误我的简单的做法是启动python使用import site site.getsitepackages()能够得到当前程序使用包的路径,然后到brew默认的opencv路径下,我这边是 /usr/local/Cellar/opencv/2.4.13.2/lib/python2.7/site-packages/ 里面找到c
阅读本文

macOS安装和使用brew

brew的官方网站 http://brew.sh/  在官方网站上对brew的用法进行了详细的介绍。我们这里说一下在macOS下的安装和使用。 (1)安装brew 安装方法:在Mac的终端中输入以下指令: /usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/inst
阅读本文