分类：全部列表

2021
07-12

使用IDEA搭建MyBatis环境详细过程

创建一个项目这里根据需求自己选择在pom.xml中导入mybatis的核心jar包Mybatis源码下载https://github.com/mybatis/mybatis-3/releases在resources下创建一个mybatis-config.xml文件写入mybatis框架的核心配置文件<?xmlversion="1.0"encoding="UTF-8"?><!DOCTYPEconfigurationPUBLIC"-//mybatis.org//DTDConfig3.0//EN""http://mybatis.org/dtd/mybatis-3-config.dtd"><configuration><environmentsdefault="deve... 继续阅读 >
2021
07-12

pandas取dataframe特定行列的实现方法

1.按列取、按索引/行取、按特定行列取importnumpyasnpfrompandasimportDataFrameimportpandasaspddf=DataFrame(np.arange(12).reshape((3,4)),index=['one','two','thr'],columns=list('abcd'))df['a']#取a列df[['a','b']]#取a、b列#ix可以用数字索引，也可以用index和column索引df.ix[0]#取第0行df.ix[0:1]#取第0行df.ix['one':'two']#取one、two行df.ix[0:2,0]#取第0、1行，第0列df.ix[0:1,'a']#取第0行，a列df.ix[... 继续阅读 >
2021
07-12

pytorch 如何使用amp进行混合精度训练

简介AMP：Automaticmixedprecision，自动混合精度，可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。在Pytorch1.5版本及以前，通过NVIDIA提供的apex库可以实现amp功能。但是在使用过程中会伴随着一些版本兼容和奇怪的报错问题。从1.6版本开始，Pytorch原生支持自动混合精度训练，并已进入稳定阶段，AMP训练能在TensorCoreGPU上实现更高的性能并节省多达50％的... 继续阅读 >
2021
07-12

Spring Cloud调用Ribbon的步骤

目录一、简介1.是什么2.负载均衡2.1集中式LB2.2进程内LB二、实验1.RestTemplate1.1加入到IOC容器1.2RestTemplate远程调用1.3配置文件2.1修改负载均衡算法3.1IRule3.2AbstractLoadBalancerRule3.3RoundRobinRule2.LoadBalancer3.负载均衡算法源码一、简介1.是什么SpringCloudRibbon是基于NetflixRibbon实现的一套客户端负载均衡的工具。简单的说，Ribbon是Netflix发布的开源项目，主要功能是提供客户端... 继续阅读 >
2021
07-12

Spring Boot如何通过java -jar启动

目录Pre引导新建工程打包启动java-jar干啥的打包插件spring-boot-maven-plugin简介包结构Archive的概念JarFileJarLauncher工作流程小结Pre大家开发的基于SpringBoot的应用，jar形式，发布的时候，绝大部分都是使用java-jar启动。得益于SpringBoot的封装，再也不用操心搭建tomcat等相关web容器le,一切变得非常美好，那SpringBoot是怎么做到的呢？引导新建工程打包启动我们新创建一个SpringBoot的工程其中打包... 继续阅读 >
2021
07-09

只需要这一行代码就能让python计算速度提高十倍

目录一、前言二、Python的JIT编译器三、Numba快速学习四、关于使用五、实验提升一、前言Python语言近年来人气爆棚。它广泛应用于数据科学，人工智能，以及网络安全问题中，由于代码可读性较强，学习效率较高，吸引了许多非科班的同学进行学习。然而，使用Python一段时间以后，发现它在速度上完全没有优势可言，特别是计算密集型任务里，性能问题一直是Python的软肋。本文主要介绍了Python的JIT编译器Numba，能够在对代码侵入最少的... 继续阅读 >
2021
07-09

史上最好用的远程桌面工具(附源码)

目录RustDesk使用截图下载安装1、直接下载安装包2、安装sciter依赖3、运行程序GitHub链接大家都是用的哪一款远程控制工具呢？向日葵确实还可以，支持多平台、跨网络，但是必须要注册Oray账号才行。虽然与免费版，但是用过的都知道，还是得付费才管用！Teamviewer现在也不咋滴了，感觉还不如向日好使。还有一个大家肯定都知道，那就是QQ远程桌面，想起鬼哥我以前就经常用这个功能帮妹子电脑激活软件啥的，那时的我还是个懵懂不... 继续阅读 >
2021
07-09

SpringBoot @ConfigurationProperties注解的简单使用

目录源码使用源码@Target({ElementType.TYPE,ElementType.METHOD})@Retention(RetentionPolicy.RUNTIME)@Documentedpublic@interfaceConfigurationProperties{@AliasFor("prefix")Stringvalue()default"";@AliasFor("value")Stringprefix()default"";booleanignoreInvalidFields()defaultfalse;booleanignoreUnknownFields()defaulttrue;}使用向注解中传入配置文件中的前缀名，如果配置文... 继续阅读 >
2021
07-09

pytorch 如何使用float64训练

pytorch默认使用单精度float32训练模型，原因在于：使用float16训练模型，模型效果会有损失，而使用double(float64)会有2倍的内存压力，且不会带来太多的精度提升。本人，最近遇到需要使用double数据类型训练模型的情况，具体实现需要把模型的权重参数数据类型和输入数据类型全部设置为torch.float64即可。可使用torch的一个函数，轻松地把模型参数转化为float64torch.set_default_dtype(torch.float64)输入类型可使用tensor.type(... 继续阅读 >
2021
07-09

80行代码写一个Webpack插件并发布到npm

1.前言最近在学习Webpack相关的原理，以前只知道Webpack的配置方法，但并不知道其内部流程，经过一轮的学习，感觉获益良多，为了巩固学习的内容，我决定尝试自己动手写一个插件。这个插件实现的功能比较简单：默认清除js代码中的console.log的打印输出；可通过传入配置，实现移除console的其它方法，如console.warn、console.error等；2.Webpack的构建流程以及plugin的原理2.1Webpack构建流程Webpack... 继续阅读 >
2021
07-09

pytorch 使用半精度模型部署的操作

背景pytorch作为深度学习的计算框架正得到越来越多的应用.我们除了在模型训练阶段应用外，最近也把pytorch应用在了部署上.在部署时，为了减少计算量，可以考虑使用16位浮点模型，而训练时涉及到梯度计算，需要使用32位浮点，这种精度的不一致经过测试，模型性能下降有限，可以接受.但是推断时计算量可以降低一半，同等计算资源下，并发度可提升近一倍具体方法在pytorch中，一般模型定义都继承torch.nn.Moudle，torch.nn.Module基类... 继续阅读 >
2021
07-09

Java工具类之@RequestMapping注解

目录一、前言二、代码实现三、效果一、前言问题阐述：在某一场景下，我们的代码在Service实现相同，但却在Controller层访问时却希望不同的前缀可以访问。如下：/say/hello。我们这里希望在不借助任何外部服务的情况下通过/a/say/hello和/b/say/hello都可以访问到该接口，同时不想在Controller中写两个方法。@RestController@RequestMapping("say")publicclassSayController{@AutowiredprivateSayServices... 继续阅读 >
2021
07-09

详解前端安全之JavaScript防http劫持与XSS

目录HTTP劫持、DNS劫持与XSSHTTP劫持DNS劫持XSS跨站脚本页面被嵌入iframe中，重定向iframe使用白名单放行正常iframe嵌套更改URL参数绕过运营商标记内联事件及内联脚本拦截浏览器事件模型静态脚本拦截使用白名单对src进行匹配过滤动态脚本拦截MutationEvents与DOMNodeInserted重写setAttribute与document.write重写原生Element.prototype.setAttribute方法重写嵌套iframe内的Element.prototype.setAttribute重... 继续阅读 >
2021
07-09

CentOS 7下设置Docker代理(Linux下Systemd服务的环境变量配置)

Docker守护程序使用HTTP_PROXY，HTTPS_PROXY以及NO_PROXY环境变量在其启动环境来配置HTTP或HTTPS代理的行为。无法使用daemon.json文件配置这些环境变量。此示例将覆盖默认docker.service文件。在设置中，需要在Dockersystemd服务文件中添加此配置如果使用HTTP代理服务器时，将为docker服务创建systemd插件目录：mkdir-p/etc/systemd/system/docker.service.d创建一个名为的文件/etc/systemd/system/docker.service.d/http-proxy... 继续阅读 >
2021
07-09

SpringBoot配置ShedLock分布式定时任务

什么是ShedLockShedLock是一个在分布式环境中使用的定时任务框架，用于解决在分布式环境中的多个实例的相同定时任务在同一时间点重复执行的问题，解决思路是通过对公用的数据库中的某个表进行记录和加锁，使得同一时间点只有第一个执行定时任务并成功在数据库表中写入相应记录的节点能够成功执行而其他节点直接跳过该任务。当然不只是数据库，目前已经实现的支持数据存储类型除了经典的关系型数据库，还包括MongoDB，Zookeeper，Re... 继续阅读 >
2021
07-09

Java实战之多线程模拟站点售票

目录一、实验题目二、分析三、完整代码：一、实验题目二、分析哦吼，这次的实验题目是一道非常经典的多线程买票问题。题目要求我们创建5个线程来模拟卖票，当然这其中就包含多线程存在也就是我们要解决的问题，重复卖票和超额卖票。即多个窗口卖出同一张票以及窗口卖出非正数编号的票。不过这个问题可以先放一下，我们先来创建基础的线程模型，并在主方法中创建五个线程让他们跑起来；话不多说，上代码。publicclassTicket{pub... 继续阅读 >
2021
07-09

解决Pytorch半精度浮点型网络训练的问题

用Pytorch1.0进行半精度浮点型网络训练需要注意下问题：1、网络要在GPU上跑，模型和输入样本数据都要cuda().half()2、模型参数转换为half型，不必索引到每层，直接model.cuda().half()即可3、对于半精度模型，优化算法，Adam我在使用过程中，在某些参数的梯度为0的时候，更新权重后，梯度为零的权重变成了NAN，这非常奇怪，但是Adam算法对于全精度数据类型却没有这个问题。另外，SGD算法对于半精度和全精度计算均没有问题。还有一... 继续阅读 >
2021
07-09

基于Docker搭建ELK 日志系统的方法

背景需求：    业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志。ELK介绍：ELK是三个开源软件的缩写，分别为：Elasticsearch、Logstash以及Kibana,它们都是开源软件。目前由于原本的ELKStack成员中加入了Beats工具所以已改... 继续阅读 >
2021
07-09

Python办公自动化之Excel（中）

目录准备读取数据写入数据修改数据进阶用法最后准备首先，我们需要安装依赖包# 安装依赖包pip3 install openpyxl读取数据使用openpyxl中的 load_workbook(filepath) 加载本地一个Excel文件，返回结果是一个工作簿对象importopenpyxl#加载本地的Excel文件wb=openpyxl.load_workbook(file_path)利用工作簿对象，可以获取所有的Sheet名称及Sheet列表defget_all_sheet_names(wb):"""获... 继续阅读 >
2021
07-09

PyTorch梯度裁剪避免训练loss nan的操作

近来在训练检测网络的时候会出现loss为nan的情况，需要中断重新训练，会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程中的梯度范围进行限制，修改之后，不再出现loss为nan的情况。PyTorch中采用torch.nn.utils.clip_grad_norm_来实现梯度裁剪，链接如下：https://pytorch.org/docs/stable/_modules/torch/nn/utils/clip_grad.html训练代码使用示例如下：fromtorch.nn.utilsimportclip_grad_norm_outputs=mode... 继续阅读 >
2021
07-09

python3读取文件指定行的三种方法

目录行遍历实现linecache实现命令行sed获取总结概要行遍历实现在python中如果要将一个文件完全加载到内存中，通过file.readlines()即可，但是在文件占用较高时，我们是无法完整的将文件加载到内存中的，这时候就需要用到python的file.readline()进行迭代式的逐行读取：filename='hello.txt'withopen(filename,'r')asfile:line=file.readline()counts=1whileline:ifcounts>=50000000:... 继续阅读 >
2021
07-09

Java网络编程之基于TCP协议

目录一、单向通信二、双向通信三、对象流传送四、加入完整的处理异常方式五、多线程接收用户请求一、单向通信功能：客户端发送一句话到服务器：客户端：publicclassTestClient{//客户端//这是一个main方法，是程序的入口：publicstaticvoidmain(String[]args)throwsIOException{//1.创建套接字：指定服务器的ip和端口号：Sockets=newSocket("192.168.199.217",8888);//2.对于程序员... 继续阅读 >
2021
07-09

Node.js断点续传的实现

前言平常业务需求：上传图片、Excel等，毕竟几M的大小可以很快就上传到服务器。针对于上传视频等大文件几百M或者几G的大小，就需要等待比较长的时间。这就产生了对应的解决方法，对于大文件上传时的暂停、断网、网络较差的情况下， 使用切片+断点续传就能够很好的应对上述的情况方案分析切片就是对上传视频进行切分，具体操作为：File.slice(start,end)：返回新的blob对象拷贝blob的起始字节拷贝blob的结束字节断点... 继续阅读 >
2021
07-09

.Net Core导入千万级数据至Mysql的步骤

目录前期准备实现方法：1、单条数据插入2、合并数据插入3、MySqlBulkLoader插入性能测试对比最后前期准备订单测试表CREATETABLE`trade`(  `id`VARCHAR(50)NULLDEFAULTNULLCOLLATE'utf8_unicode_ci',  `trade_no`VARCHAR(50)NULLDEFAULTNULLCOLLATE'utf8_unicode_ci',  UNIQUEINDEX`id`(`id`),  INDEX`trade_no`(`trade_no`))COMMENT='订单'COLLATE='utf8_unicode_ci'... 继续阅读 >