分类：编程语言

2020
10-08

Pandas缺失值2种处理方式代码实例

处理方式：存在缺失值nan,并且是np.nan:删除存在缺失值的:dropna(axis='rows')替换缺失值:fillna(df[].mean(),inplace=True)不是缺失值nan，有默认标记的1、存在缺失值nan,并且是np.nan#判断数据是否为NaN#pd.isnull(df),pd.notnull(df),pd.isna(df)#读取数据movie=pd.read_csv("./date/IMDB-Movie-Data.csv")##第一种删除#pandas删除缺失值，使用dropna的前提是，缺失值的类型必须是np.nan#删除缺失值为np.nan的所在行mo... 继续阅读 >
2020
10-08

Python Django中间件使用原理及流程分析

一、什么是Django中间件Django中间件是用来处理Django的请求request和响应response的框架级别的钩子，它是一个轻量，低级别的插件系统，用于全局范围内改变Django的输入，输出。每个中间件组件都负责做一些特定的功能。说的直白一点是中间件就是帮我们程序员在视图函数执行之前和执行之后都可以一些额外的操作，它是一个自定义的类，类中定义了几个方法，Django框架会在请求的特定时间去执行这些方法。二、Django中间件的定义... 继续阅读 >
2020
10-08

Django QuerySet查询集原理及代码实例

一概念Django的ORM中存在查询集的概念。查询集，也称查询结果集、QuerySet，表示从数据库中获取的对象集合。当调用如下过滤器方法时，Django会返回查询集（而不是简单的列表）：all()：返回所有数据。filter()：返回满足条件的数据。exclude()：返回满足条件之外的数据。order_by()：对结果进行排序。对查询集可以再次调用过滤器进行过滤，也就意味着查询集可以含有零个、一个或多个过滤器。过滤器基于所给的参数限制查... 继续阅读 >
2020
10-08

Java类加载机制实现流程及原理详解

前言我们知道，Java项目编译后会生成许许多多的class文件，class文件保存着类的描述信息。虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转化解析和初始化，最终形成可以被虚拟机直接使用的Java类型，这就是虚拟机的类加载机制。类的生命周期类从被加载到虚拟机内存中开始，到卸载出内存位置，他的整个生命周期包括：加载验证准备解析初始化使用卸载这七个阶段。画个图就是下面这样：其中，类加... 继续阅读 >
2020
10-08

Java Reactor反应器模式使用方法详解

Reactor反应器模式到目前为止，高性能网络编程都绕不开反应器模式。很多著名的服务器软件或者中间件都是基于反应器模式实现的，如Nginx、Redis、Netty。反应器模式是高性能网络编程的必知、必会的模式。Reactor简介反应器模式由Reactor反应器线程、Handlers处理器两大角色组成：（1）Reactor反应器线程的职责：负责响应IO事件，并且分发到Handlers处理器。（2）Handlers处理器的职责：非阻塞的执行业务处理逻辑。从上面的反应... 继续阅读 >
2020
10-08

简单了解Spring Web相关模块运行原理

Spring的Web层中有4个模块，分别为spring-web,spring-webmvc,spring-websocket和spring-webmvc-portlet。spring-webspring-web提供了核心的Web相关功能的集成，比如IoC容器的初始化、Web应用上下文（context）的初始化、多部（multipart）文件上传功能、HTTP客户端、Servlet过滤器、远程调用、用于集成其它web框架及技术（如Hessian，Burlap）的基础结构。spring-webmvcspring-webmvc也即Web-Servlet模块，它是Spring... 继续阅读 >
2020
10-08

Python celery原理及运行流程解析

celery简介celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。它的执行单元为任务（task），利用多线程，如Eventlet，gevent等，它们能被并发地执行在单个或多个职程服务器（workerservers）上。任务能异步执行（后台运行）或同步执行（等待任务完成）。在生产系统中，celery能够一天处理上百万的任务。它的完整架构图如下：组件介绍：Producer：调用了Celery提供的API、函数或者装饰器而... 继续阅读 >
2020
10-08

基于Flyway实现简化Spring Boot项目部署

1.什么是Flyway我们在公司做开发时，由于项目需求的变化，或者前期设计缺陷，导致在后期需要修改数据库，这应该是一个比较常见的事情，如果项目还没上线，你可能把表删除了重新创建，但是如果项目已经上线了，就不能这样简单粗暴了，我们需要通过SQL脚本在已有数据表的基础上进行升级。目前Java这块，想要对数据库的版本进行管理主要有两个工具：FlywayLiquibase两个工具各有千秋，但是核心功能都是数据库的版本管理，这里主... 继续阅读 >
2020
10-08

SpringBoot如何实现分离资源文件并打包

SpringBoot项目默认的会打包成单一的jar文件，但是有时候我们并不想让配置文件、依赖包都跟可执行文件打包到一起。这时候可以在pom.xml文件中进行配置，从而使资源文件、依赖包和可执行文件分离。这样子更新代码的时候我们的jar包很少改变有利于维护pom.xml如下<build><plugins><plugin><!--打包时去除第三方依赖--><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin... 继续阅读 >
2020
10-08

Springboot启动报错时实现异常定位

首先大家了解什么是SpringBoot？SpringBoot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。用我的话来理解，就是springboot其实不是什么新的框架，它默认配置了很多框架的使用方式，就像maven整合了所有的jar包，springboot整合了所有的框架。SpringBoot作为SpringMVC的升级版，但是却没有太多的联系... 继续阅读 >
2020
10-08

Springboot如何基于assembly服务化实现打包

（1）首先我们编辑assembly.xml配置文件，在前文的基础上新增第三方依赖设置（高亮部分），实现将第三方的jar包添加到压缩包里的lib目录：<?xmlversion="1.0"encoding="UTF-8"?><assembly><!--必须写，否则打包时会有assemblyIDmustbepresentandnon-empty错误这个名字最终会追加到打包的名字的末尾，如项目的名字为hangge-test-0.0.1-SNAPSHOT,则最终生成的包名为hangge-test-0.0.1-SNAPS... 继续阅读 >
2020
10-08

Java程序去调用并执行shell脚本及问题总结(推荐)

摘要：该文章来自阿里巴巴技术协会（ATA）精选集背景我们在开发过程中，大部分是java开发，而在文本处理过程中，主要就是脚本进行开发。java开发的特点就是我们可以很早地进行TDDL，METAQ等等地对接；而脚本开发的特点就是在进行批处理的时候非常方便。背景我们在开发过程中，大部分是java开发，而在文本处理过程中，主要就是脚本进行开发。java开发的特点就是我们可以很早地进行TDDL，METAQ等等地对接；而脚本开发的... 继续阅读 >
2020
10-08

Spring Boot调用 Shell 脚本实现看门狗功能

需要实现看门狗功能，定时检测另外一个程序是否在运行，使用crontab仅可以实现检测程序是否正在运行，无法做到扩展，如：手动重启、程序升级(如果只需要实现自动升级功能可以使用inotify)等功能；最后决定使用SpringBoot调用Shell脚本来实现一、脚本1.1启动脚本#!/bin/bashps-ef|grep"demo-app-0.0.1-SNAPSHOT.jar"|grep-v"grep"if["$?"-eq0]then#sleepecho$(date"+%Y-%m-%d%H:%M:%S")"processalr... 继续阅读 >
2020
10-08

基于Python实现视频的人脸融合功能

​图片提取为了方便技术展示，我们选取素材为演员杨紫的一段演讲视频，用例仅为技术交流演示使用，不针对任何指定人。为达到我们AI换脸的目的，我们首先需要将这段视频逐帧提取成照片defvedio_2_pic(self,file,save_path):"""逐帧取照片file:视频的位置save_path:保存路径"""#读取视频video=cv2.VideoCapture(file)#获取视频帧率fps=video.get(cv2.CAP_PROP_FPS)#获取画面大小width=int(video.get(cv2.... 继续阅读 >
2020
10-08

vs2019+win10配置boost库的详细教程

boost介绍boost是一个准标准库，相当于STL的延续和扩充，它的设计理念和STL比较接近，都是利用泛型让复用达到最大化。不过对比STL，boost更加实用。 STL集中在算法部分，而boost包含了不少工具类，可以完成比较具体的工作。Boost库是为C++语言标准库提供扩展的一些C++程序库的总称。Boost库由Boost社区组织开发、维护。其目的是为C++程序员提供免费、同行审查的、可移植的程序库。Boost库可以与C++标准库完美共同工作，并且... 继续阅读 >
2020
10-08

使用Keras实现简单线性回归模型操作

神经网络可以用来模拟回归问题(regression)，实质上是单输入单输出神经网络模型，例如给下面一组数据，用一条线来对数据进行拟合，并可以预测新输入x的输出值。一、详细解读我们通过这个简单的例子来熟悉Keras构建神经网络的步骤：1.导入模块并生成数据首先导入本例子需要的模块，numpy、Matplotlib、和keras.models、keras.layers模块。Sequential是多个网络层的线性堆叠，可以通过向Sequential模型传递一个layer的list来构造... 继续阅读 >
2020
10-08

Python实现Keras搭建神经网络训练分类模型教程

我就废话不多说了，大家还是直接看代码吧~注释讲解版：#Classifierexampleimportnumpyasnp#forreproducibilitynp.random.seed(1337)#fromkeras.datasetsimportmnistfromkeras.utilsimportnp_utilsfromkeras.modelsimportSequentialfromkeras.layersimportDense,Activationfromkeras.optimizersimportRMSprop#程序中用到的数据是经典的手写体识别mnist数据集#downloadthemnisttothepathifitisth... 继续阅读 >
2020
10-08

简单了解Python变量作用域正确使用方法

在写代码的时候，免不了要使用变量。但程序中的一个变量并不一定是在哪里都可以被使用，根据情况不同，会有不同的“有效范围”。看这样一段代码：deffunc(x):print('Xinthebeginningoffunc(x):',x)x=2print('Xintheendoffunc(x):',x)x=50func(x)print('Xaftercallingfunc(x):',x)输出：Xinthebeginningoffunc(x):50Xintheendoffunc(x):2Xaftercallingfunc(x):50变量x在函数内... 继续阅读 >
2020
10-08

keras 读取多标签图像数据方式

我所接触的多标签数据，主要包括两类：1、一张图片属于多个标签，比如，data:一件蓝色的上衣图片.jpg，label:蓝色，上衣。其中label包括两类标签，label1第一类：上衣，裤子，外套。label2第二类，蓝色，黑色，红色。这样两个输出label1，label2都是是分类，我们可以直接把label1和label2整合为一个label，直接编码，比如[蓝色，上衣]编码为[011011]。这样模型的输出也只需要一个输出。实现了多分类。2、一张图片属于多个标签，但... 继续阅读 >
2020
10-08

Python数据可视化图实现过程详解

python画分布图代码示例：#encoding=utf-8importmatplotlib.pyplotaspltfrompylabimport*#支持中文mpl.rcParams['font.sans-serif']=['SimHei']#'mentioned0cluster',names=['mentioned1cluster','mentioned2cluster','mentioned3cluster','mentioned4cluster','mentioned5cluster','mentioned6cluster','mentioned7cluster','mentioned8cluster','mentioned9cluster','mentioned10cluster']x=range(len(... 继续阅读 >
2020
10-08

浅谈cv2.imread()和keras.preprocessing中的image.load_img()区别

1、image.load_img()fromkeras.preprocessingimportimageimg_keras=image.load_img('./original/dog/880.jpg')print(img_keras)img_keras=image.img_to_array(img_keras)print(img_keras[:,1,1])效果如下：<PIL.JpegImagePlugin.JpegImageFileimagemode=RGBsize=256x384at0x2E6999D37B8>#image.load_img()只是加载了一个文件，没有形成numpy数组，#下面的numpy数组是通过image.img_to_array()的函数形成的[108.108.1... 继续阅读 >
2020
10-08

SpringBoot定时任务参数运行代码实例解析

@Scheduled注解各参数详解 cron该参数接收一个cron表达式，cron表达式是一个字符串，字符串以5或6个空格隔开，分开共6或7个域，每一个域代表一个含义。cron表达式语法[秒][分][小时][日][月][周][年]注：[年]不是必须的域，可以省略[年]，则一共6个域序号说明必填允许填写的值允许的通配符1秒是0-59,-*/2分... 继续阅读 >
2020
10-08

升级keras解决load_weights()中的未定义skip_mismatch关键字问题

1、问题描述在用yolov3训练自己的数据集时，尝试加载预训练的权重，在冻结前154层的基础上，利用自己的数据集finetune。出现如下错误：load_weights(),gotanunexpectedkeywordargumentskip_mismatch2、解决方法因为keras旧版本没有这一定义，在新的版本中有这一关键字的定义，因此，更新keras版本至2.1.5即可解决。sourceactivateenvpipuninstallkeraspipinstallkeras==2.1.5此问题解决后，运行训练代码，出现如下错误... 继续阅读 >