.net core + headless chrome实现动态网页爬虫

一般的http请求库只能够抓取到网页的静态内容,如果想抓取通过js动态生成的内容可以使用没有gui的browser库,之前许多人会使用phantomjs作为headless browser,不过现在phantomjs团队已经宣布停止更新工作,需要一款替代库,于是这里就采用了headless chrome来进行动态网页内容抓取。爬虫实现如下:1.在.net core项目中引用如下nuget包Sele
阅读本文

cloud-init 工作原理 - 每天5分钟玩转 OpenStack(171)

cloud-init 是 linux 的一个工具,当系统启动时,cloud-init 可从 nova metadata 服务或者 config drive 中获取 metadata,完成包括但不限于下面的定制化工作: 设置 default locale 设置 hostname 添加 ssh keys到 .ssh/authorized_keys 设置用户密码 配置网络 安装软件包 为了实现
阅读本文

SAP的这三款CRM解决方案,您能区分清楚么

我的一位同事, John Burton, 在2017年12月底写过一篇博文:Explaining SAP’s portfolio of “CRM Service” related products, 简要介绍了SAP针对CRM Service这一领域发布的一系列解决方案。https://blogs.sap.com/2017/12/27/explaining-saps-portfolio-of-cr
阅读本文

spring cloud的学习过程(二)

使用 spring cloud 实现分布式配置管理创建配置管理服务器及实现分布式配置管理应用。 开源项目:http://git.oschina.net/zhou666/spring-cloud-7simple cloud-config-repo:配置文件存放的文件夹      cloud-simple-service:一个使用 mybatis 的数据库应用  分布式配置管理应该是分布式系统
阅读本文

spring cloud 的学习过程 (一)

什么是spring cloud这里是spring cloud的中文官方文档            按照官方的话说:Spring Cloud 为开发者提供了在分布式系统(如配置管理、服务发现、断路 器、智能路由、微代理、控制总线、一次性 Token、全局锁、决策竞选、分布式会话和集群状态) 操作的开发工具。最关键的是它足够简单,一般的开发人员只需要几天时间就可以学会它的基本用 法。 使用spring
阅读本文

springcloud config

规则:一.获取文件属性/{label}/{application}-{profile}.properties/ymlhttp://localhost:8080/master/case-dev.properties=> profile: dev1.0二。获取JSON格式配置属性/{application}/{profile}[/{label}]/{application}-{profile}[/{l
阅读本文

APP核心能力之用户数据挖掘

网站也好,APP也好我们想要做的更好,缺少不了数据的支持。而用户数据则是我们APP中的核心数据,淘宝、京东之所以做的这么好,离不开用户数据的支持,尤其是猜你喜欢,可以根据用户的浏览习惯为用户提供相似的产品,大大提高了用户体验和转化率,今天我们也来聊聊用户数据。  2017年绝对是对数据重视的一年,国家也要大力发展大数据,进而用户价值再次被提到金字塔顶端,用户数据挖掘也将成为APP核心能力之一。现在
阅读本文

关于APICloud读取不到虚拟机及数据库的问题

虚拟机:夜神虚拟机(nox_setup_v6.0.1.0_full)版本数据库:Oracle 11G以为夜神虚拟机版本太高,进程adb.exe读取不出虚拟机和数据库,换一个虚拟机或者使用低版本一些的就可以了,我在此是用夜神(nox_setup_v3.8.1.3_full)版本,2017年偏上半年这样的
阅读本文

spring cloud:Edgware.RELEASE版本hystrix超时新坑

升级到Edgware.RELEASE发现,zuul中不管如何设置hystrix的超时时间均不起作用,仍然是默认的1000ms.  降回低版本后正常,但是低版本的fallback方法中,又拿不到详细异常信息,最终暂时在Edgware.RELEASE中,将hystrix的超时关掉,参考以下配置:ribbon: ReadTimeout: 5000 ConnectTimeout: 5000
阅读本文

十大免费SSL证书:网站免费添加HTTPS加密

SSL证书,用于加密HTTP协议,也就是HTTPS。随着淘宝、百度等网站纷纷实现全站Https加密访问,搜索引擎对于Https更加友好,加上互联网上越来越多的人重视隐私安全,站长们给网站添加SSL证书似乎成为了一种趋势。给自己的网站添加SSL证书其实并不复杂,但是关键一点就是首先要拥有一个SSL证书。由于SSL证书价格不菲,很多个人站长会选择放弃使用Https。但是,自从开源、免费的Let‘s E
阅读本文

Spring Cloud微服务系统下的数据一致性探讨

我想这个问题需要根据自己的系统具体架构来分别讨论,这边拿一个车联网的系统举例。拆除GPS这个功能接口需要分几个步骤实现(不涉及数据更新的步骤略去了):①更改GPS设备状态(设备管理服务)②更改工单状态(工单管理服务)假设调用拆除GPS这个接口的时候,由于各种原因②不能工作了。架构1:普通的微服务架构工单管理服务要调用设备管理服务的功能,用的是spring cloud的自己的restTemplate
阅读本文

TensorFlow学习笔记1

1.daocloud 拉取 docker镜像 docker pull daocloud.io/daocloud/tensorflow:latest 镜像位置: /Users/{YourUserName}/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/Docker.qcow22.挂载方式启动镜像 doc
阅读本文

mui入门教程

资源索引 Dcloud官网:http://dcloud.io/ Dcloud问答社区:http://ask.dcloud.net.cn/ Dcloud文档汇总地址:http://ask.dcloud.net.cn/docs/ Hello mui线上演示地址:http://www.dcloud.io/hellomui...    官方入门文档(强烈推荐阅读): DCloud产品概述 A
阅读本文

Spring Cloud云服务架构 - HongHu云架构代码结构构建

本篇我们根据架构图进行代码的构建。根据微服务化设计思想,结合spring cloud一些优秀的项目,如服务发现、治理、配置化管理、路由负载、安全控制等优秀解决方案,使用Maven技术将框架进行模块化、服务化、原子化封装并构建,也为后期的灰度发布、持续集成提前做好准备工作。另外在搭建环境之前,大家需要熟练掌握maven的使用及相关问题的处理(这里不再重复介绍)。HongHu云架构使用maven来构建
阅读本文

Spring Cloud分布式云服务架构

Spring Cloud是一系列框架的有序集合。利用Spring Boot的开发模式简化了分布式系统基础设施的开发,如服务发现、注册、配置中心、消息总线、负载均衡、断路器、数据监控等(这里只简单的列了一部分),都可以用Spring Boot的开发风格做到一键启动和部署。Spring Cloud将目前比较成熟、经得起实际考验的服务框架组合起来,通过Spring Boot风格进行再封装,屏蔽掉了复杂的
阅读本文

WordCloud词云包的安装

1,下载https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud2,安装    (window环境安装)找的下载文件的路径   安装  pip install wordcloud-1.3.2-cp36-cp36m-win_amd64.whl    3,验证是否安装成功添加英文数据的文件,比如我的是testfile.txt文件内容为英文,比如Devo
阅读本文

spring cloud-给Eureka Server加上安全的用户认证

前言在前面的一篇文章中我们启动了Eureka Server,然后在浏览器中输入http://localhost:8761/后,直接回车,就进入了spring cloud的服务治理页面,这么做在生产环境是极不安全的,下面,我们就给Eureka Server加上安全的用户认证.一、添加spring-security支持  <dependency>       <groupId>org.springfr
阅读本文

centos 7.2部署cloudstack4.9 ceph0.94

版本:系统:centos 7.2ceph : 0.94cloudstack : 4.92mysql :5.72 6台机器:192.168.1.212 :cloudstack-management  ,monitor192.168.1.165 :storage192.168.1.183 :cloudstack-agent,monitor,osd192.168.1.127 :cloudstack-ag
阅读本文