分类：编程语言

2020
11-19

详解Scrapy Redis入门实战

简介scrapy-redis是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取，其运行原理如下图所示。Scrapy-Redis特性分布式爬取你可以启动多个共享同一redis队列的爬虫实例，多个爬虫实例将各自提取到或者已请求的Requests在队列中统一进行登记，使得Scheduler在请求调度时能够对重复Requests进行过滤，即保证已经由某一个爬虫实例请求过的Request将不会再被其他的爬虫实例重复请求。分布式数据处理将scrapy爬... 继续阅读 >
2020
11-19

如何在scrapy中集成selenium爬取网页的方法

1.背景我们在爬取网页时一般会使用到三个爬虫库：requests，scrapy，selenium。requests一般用于小型爬虫，scrapy用于构建大的爬虫项目，而selenium主要用来应付负责的页面（复杂js渲染的页面，请求非常难构造，或者构造方式经常变化）。在我们面对大型爬虫项目时，肯定会优选scrapy框架来开发，但是在解析复杂JS渲染的页面时，又很麻烦。尽管使用selenium浏览器渲染来抓取这样的页面很方便，这种方式下，我们不需要关心页面... 继续阅读 >
2020
11-19

在Vue中使用Echarts可视化库的完整步骤记录

前言由于最近项目需要做可视化数据展示，也就是用图表展示数据，他还有一个很高端的名字：“大数据可视化”（参考图一），首先考虑选择什么图表库来作为基础开发，目前被普遍认可的是Hcharts、Echarts、AntV。介绍：Hcharts：国外的一款图表库，是图表库的领头羊Echarts：百度开发的数据可视化库，国内图表库的“领军人物”AntV：是蚂蚁金服开发的数据可视化库总结出以下几个优略点区别Echarts、Hcharts哪个比较合适：1、学习容易... 继续阅读 >
2020
11-19

Mybatisplus主键生成策略算法解析

mybatisplus支持多种主键生成策略，默认采用认ID_WORKER即雪花算法雪花算法snowflflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号（意味着每个节点在每毫秒可以产生4096个ID），最后还有一个符号位，永远是0。可以保证几乎全球唯一！mybatisplus默认主键生成策略有可能会和我们的数据库产... 继续阅读 >
2020
11-19

微信小程序实现日历小功能

本文实例为大家分享了微信小程序实现日历功能的具体代码，供大家参考，具体内容如下代码<!--日历--><viewclass="gradient"><viewclass="box"><viewclass="spaceAroundCenterflex_align_justify_b"><viewclass="flex-item"><viewclass="item-contentflex_align_justify_c"bindtap="doDay"data-key='left'><viewclass="glyphiconglyphicon-triangle-left"><van-iconname="arrow-left"class="flex_... 继续阅读 >
2020
11-19

docker容器无法访问宿主机端口的解决

最近在工作时遇到一个问题，docker容器无法访问宿主机的redis，telent6379端口不通。经排查发现，该服务器启用了防火墙，防火墙把6379的端口的访问授权给docker0网卡访问即可。操作如下：firewall-cmd--permanent--zone=trusted--change-interface=docker0firewall-cmd--reload补充知识：docker启动mysql容器出错Portsarenotavailable:listentcp0.0.0.0:3306错误截图如下该错误是由于本地3306端口被占用，很可能是本地... 继续阅读 >
2020
11-19

微信小程序实现底部弹出模态框

本文实例为大家分享了微信小程序实现底部弹出模态框的具体代码，供大家参考，具体内容如下代码：<viewclass="modalsmodals-bottom-dialog"hidden="{{hideModal}}"style="width:100%;height:{{widheight}}px"><viewclass="modals-cancel"bindtap="hideModal"></view><viewclass="bottom-dialog-bodybottom-pos"animation="{{animationData}}"><viewclass="comment_top"><view></view><viewclass="comment_num">{{... 继续阅读 >
2020
11-19

Python 实现键盘鼠标按键模拟

有时候我们需要使用python执行一些脚本，可能需要让程序自动按键或自动点击鼠标，下面的代码实现了对键盘的模拟按键，需要安装pypiwin32，当然也可以直接用ctypes来实现。pipinstallpypiwin32安装pypiwin32。键盘模拟#coding=utf-8importwin32conimportwin32apiimporttimekey_map={    "0":49,"1":50,"2":51,"3":52,"4":53,"5":54,"6":55,"7":56,"8":57,"9":58,   ... 继续阅读 >
2020
11-19

详解prometheus监控golang服务实践记录

一、prometheus基本原理介绍prometheus是基于metric采样的监控，可以自定义监控指标，如：服务每秒请求数、请求失败数、请求执行时间等，每经过一个时间间隔，数据都会从运行的服务中流出，存储到一个时间序列数据库中，之后可通过PromQL语法查询。主要特点：多维数据模型，时间序列数据通过metric名以key、value的形式标识；使用PromQL语法灵活地查询数据；不需要依赖分布式存储，各服务器节点是独立自治的；时间序列的收集，通过... 继续阅读 >
2020
11-19

在宿主机上执行docker容器内部的shell或程序方式

为了避免反复进入docker容器内部操作，可以将一系列容器内部的指令由宿主机来操作完成。在宿主机（作者主机为windows7）上执行centos容器（name为centos-1）中/usr目录下的“printer”可执行程序，该程序输出为打印“123”。C:\Users\Administrator>dockerexec-itcentos-1/bin/bash-c"cdusr&&./printer"123成功。补充知识：利用Docker容器的不安全部署获取宿主机权限前言滥用容器（container）及逃逸的方法有多种，本文... 继续阅读 >
2020
11-19

如何向scrapy中的spider传递参数的几种方法

有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：scrapycrawlmyspider-acategory=electronics然后在spider里这样写：importscrapyclassMySpider(scrapy.Spider):name='myspider'def__init__(self,category=None,*args,**... 继续阅读 >
2020
11-19

微信小程序实现左滑删除效果

微信小程序实现左滑删除效果的具体代码，供大家参考，具体内容如下.wxml<scroll-viewscroll-y="{{isScroll}}"style='width:{{windowWidth}}px;height:{{windowHeight}}px'><blockwx:key="item"wx:for="{{data}}"><viewdata-index='{{index}}'class="custom_item"bindtouchstart="drawStart"bindtouchmove="drawMove"bindtouchend="drawEnd"style="right:{{item.right}}rpx"><viewclass="content">{{item.content}}... 继续阅读 >
2020
11-19

Mybatisplus自动填充实现方式及代码示例

数据库表的创建时间、修改时间，这些个操作一遍都是自动化完成的，我们不希望手动更新。这时候自动填充便可以发挥作用了。1、方式一数据库级别（注意：不建议此方式，因为工作中不允许你修改数据库）步骤在表中新增字段create_time,update_time，给字段赋予默认值，在需要更新的字段（update_time）选择更新在实体类增加对应属性2、方式二代码级别，建议使用步骤在实体类需要自动填充的属性上加注解packagecom.yl.bean;importco... 继续阅读 >
2020
11-19

python更新数据库中某个字段的数据(方法详解)

连接数据库基本操作，我把每一步的操作是为什么给大家注释一下，老手自行快进。请注意这是连接数据库操作，还不是更新。importpymysql#导包#连接数据库db=pymysql.connect(host='localhost',user='用户名',password='数据库密码',port=3306,db='你的数据库名字')#定义游标cursor=db.cursor()#sql语句sql='select*fromstudents;'cursor.execute(sql)#关闭游标cursor.close()#数据回滚db.rollback()#关闭数据库db.cl... 继续阅读 >
2020
11-19

在docker容器中调用和执行宿主机的docker操作

首先这个帖子，献给docker新手。当然如果你是一个老手，文中分割线后的操作方法也是一种思路。首先说一下，如何在docker中执行宿主机的docker操作，我们管它叫dockerindocker。至于为什么要在docker中操作宿主机的docker，优点不言而喻，你既可以将你的具体需求容器化部署，又不用直接在宿主机上安装（假设我们没有办法在docker中操作宿主机的docker，那么我们只能将这样的软件程序直接安装到宿主机上，这样显然是不利于管理和维... 继续阅读 >
2020
11-19

Spring activiti如何实现指定任务处理者

指定委托那些办理者处理任务节点，也就是只有此办理者才有操作此节点的操作权限1、直接指定流程图配置实现：在流程图属性栏设置Assignee属性值为任务的处理者流程图xml文件配置实现：在流程图对应的xml文件指定activiti:assignee属性值为任务的处理者<userTaskactiviti:assignee="yl01"activiti:exclusive="true"id="_3"name="部长"/>activiti插件不支持idea2020版本，所以2020版idea可能看不到流程图属性栏，可以采用第二种直... 继续阅读 >
2020
11-19

详解vue实现坐标拾取器功能示例

需求1、搜索具体地址，自动填写经纬度，并在地图上标记2、点击地图上一点，可重新填写经纬度并且标记代码在dom新建div渲染地图<el-form-itemlabel="店铺地址"prop="address"><el-inputv-model="fristForm.address"></el-input><el-inputclass="long-lat"v-model="fristForm.longitude"placeholder="经度"></el-input><el-inputclass="long-lat"v-model="fristForm.latitude"placeholder="纬度"></el-input><el-butt... 继续阅读 >
2020
11-19

在docker容器中使用非root用户执行脚本操作

应用容器化之后，在docker容器启动时，默认使用的是root用户执行命令，因此容器中的应用默认都是使用root用户来运行的，存在很高的安全风险，那么如何能够使用非root的业务用户来运行应用呢，下面我将举一个简单的例子来说明。该例子是在容器中使用自建的用户来运行一个简单的shell脚本，并将脚本输出日志持久到容器外部。接下来让我们来看从制作镜像到容器运行的全过程吧。1、构建镜像：我将会使用dockerfile的方式来构建镜像，基... 继续阅读 >
2020
11-19

spring boot实现超轻量级网关(反向代理、转发)

在我们的rest服务中，需要暴露一个中间件的接口给用户，但是需要经过rest服务的认证，这是典型的网关使用场景。可以引入网关组件来搞定，但是引入zuul等中间件会增加系统复杂性，这里实现一个超轻量级的网关，只实现请求转发，认证等由rest服务的springsecurity来搞定。如何进行请求转发呢？熟悉网络请求的同学应该很清楚，请求无非就是请求方式、HTTPheader，以及请求body，我们将这些信息取出来，透传给转发的url即可。举例：... 继续阅读 >
2020
11-19

JQuery+drag.js上传图片并且实现图片拖曳

外层的容器的id属性应为'container'容器中有多个队列，这些队列之间可以随意拖动，class属性应为'queue'队列中有多个拖动块，class属性应为'dragger'把拖动块拖到队列的尾部空白处会使这个拖动块加到队列尾部1.html部分：<tr><td><spanclass="colorred">*</span>商品展示图片：</td><tdstyle="padding:20px20px20px0"><divid="container11"style="padding:20px0;border:1p... 继续阅读 >
2020
11-19

docker容器中切换用户,提示权限不足的解决

docker容器中切换用户，提示权限不足：解决办法：启动容器是使用特权启动：dockerrun-i-t--privileged-v/home/dora:/home/doracentos_ora/bin/bash补充知识：linux下docker使用普通权限运行linux下安装docker默认会安装为名为docker的用户才能运行的权限，使用时需要切换用户，很不方便为了直接使用命令，需要将当前用户加入docker组sudousermod-aGdockeryour_username重启生效！以上这篇docker容器中切换用户,提示权... 继续阅读 >
2020
11-19

Python下载的11种姿势(小结)

1、使用requests你可以使用requests模块从一个URL下载文件。考虑以下代码:你只需使用requests模块的get方法获取URL，并将结果存储到一个名为“myfile”的变量中。然后，将这个变量的内容写入文件。2、使用wget你还可以使用Python的wget模块从一个URL下载文件。你可以使用pip按以下命令安装wget模块:考虑以下代码，我们将使用它下载Python的logo图像。在这段代码中，URL和路径(图像将存储在其中)被传递给wget模块的download方法。3... 继续阅读 >
2020
11-19

spring boot实现超轻量级网关（反向代理、转发）的示例

作者：JadePeng出处：https://www.cnblogs.com/xiaoqi/p/spring-boot-route.html在我们的rest服务中，需要暴露一个中间件的接口给用户，但是需要经过rest服务的认证，这是典型的网关使用场景。可以引入网关组件来搞定，但是引入zuul等中间件会增加系统复杂性，这里实现一个超轻量级的网关，只实现请求转发，认证等由rest服务的springsecurity来搞定。如何进行请求转发呢？熟悉网络请求的同学应该很清楚，请求无非就是请求方式、... 继续阅读 >