AND
elasticsearch from + size must be less than or equal to: [10000] but was [100000]
说明:当分页查询时，默认最大总数是10000（from+size<=10000），当我现在业务需要查询最大100000条时，就报错了。 方案1：可以为某个es放开到指定的返回总数，也可以对整个es的索引做设置。但这样对内存消耗很大, 可能导致内存溢出，elasticsearch重启又会恢复默认100 ......
Python-保存request请求为各种文件
文件下载相关工具 ```python import json import requests class CustomFileTools(object): def download_json_file(self, json_url, save_path): """ 下载json文件并保存 """ j ......
Nginx-配置https证书
#### 一、说明 在有些项目中需要帮客户配置https证书， 如果你的服务使用Nginx作为静态服务器并且做为了端口转发， 那么可以直接在Nginx中配置https证书 证书有好几种格式， 不同的格式对应不同server的配置， 这里主要使用的是pem/key格式的证书， 即公钥私钥文件对（必须要 ......
Python-Flask配置https证书
# 零、问题 错误：SSL Version 2 and 3 Protocol Detection # 一、说明 1、通过使用flask 框架配置https证书进行HTTPs证书配置后会被扫描到漏洞， 漏洞描述如下： ```python 远程服务接受使用SSL2.0和/或SSL3.0加密的连接。这些版 ......
嵌入式开源库交叉编译整理
本文将不定期更新，主要是整理统计遇到的开源库，交叉编译的方法。 这里的交叉编译平台主要是 ARM32 的芯片平台。 首先在交叉编译目录上一层创建文件夹，方便后续开源库的依赖和链接 `mkdir ../rv1126` 这里我使用的是，rv1126 的平台，因此创建了一个 rv1126的目录 ### U ......
python中的 “__name__”属性
在python中，每个脚本文件都会有自己的__name__属性。在单独运行一个脚本时，name属性会被赋值为 __main__，这并不是说当前脚本名字叫main，这个值表示当前脚本是主函数。 如果现在有一个test1脚本和test2脚本。单独运行test1脚本时，这个属性就会被赋值为__main__ ......
Windows杀死指定端口进程
查看端口pid netstat -aon | findstr 端口 查看端口运行的进程 tasklist | findstr 端口 杀死pid taskkill /pid 31572 /f ......
java实现大文件上传解决方案
我们平时经常做的是上传文件，上传文件夹与上传文件类似，但也有一些不同之处，这次做了上传文件夹就记录下以备后用。 首先我们需要了解的是上传文件三要素： 1.表单提交方式:post (get方式提交有大小限制,post没有) 2.表单的enctype属性:必须设置为multipart/form-da ......
mysql执行顺序
#### mysql执行顺序 * 标准的查询语句  * SQL执行顺序 * 先执行from,join来确定表之 ......
Linux-安装包切割
### 安装包切割 在某些客户现场的场景中，因为我们是把安装包中镜像全部打包到本地带到客户现场进行上传，但因为客户本身的资源上传限制，无法一次性将10G、或者20G的安装包进行上传，同时也会因为安装包太大，并且客户上传限速导致超时无法上传。面对这样的问题需要我们将安装包中的镜像包进行切割，切割成客户 ......
MySQL-语句优化
## 一、取单条数据如何更快 为什么别人拿一条数据的时候会比你快？因为你没有使用limit。很多时候写语句的程序员知道某一个条件的搜索只有一条数据，但是他们并没有加上limit1所以从效率上来说不如加了limit1的语句高效。因为即使某个搜索条件搜索出来的结果只有1条数据，但是如果你不加上lim ......
Python-大文件上传requests-toolbelt
# 一、简介 requests.post发送文件的方式是把所有文件读取内存中，再构建请求发送出去。当发送大文件时候（好几个G）就会导致内存不足OOM 默认使用的requests.post较难做到分段文件发送（大概思路：先计算原文件md5，再切分文件发送，到接收端组合再计算md5，较麻烦不推荐，可参考 ......
springBoot 整合 poi 导出带有复杂表格（合并表格）的word文件
1.Maven依赖见上一篇文章 直接贴源码如下： package com.mingx.pms.web.system.file; import cn.hutool.core.date.DateUtil; import com.mingx.pms.constant.SystemInfo; import ......
oceanbase备库如何读取数据
备库读取数据提示如下报错：备库只支持弱读 根据上面的提示我们需要开启弱读的方式才可以读取数据，ob提供了两种方式来读取备库的只读数据 1.使用hint /*+read_consistency(weak)*/ 2.回话级别修改变量值 set session ob_read_consistency='W ......
关于异步注解@Async的使用跟好处
1、说明 对于我们平时正常开发业务来说，一般来说，都是严格按照步骤来，比如做饭的步骤，洗菜-》切菜-》炒菜-》上菜，一般都不能换，这就算是同步进行；但是对于有些场景来说，先后顺序并不是那么重要，还有对每个步骤的结果不会对主流程做出影响，比如，洗衣服跟做饭，都是可以各自执行，互不影响，这时候各事件就是 ......
B 树、B+ 树特点及使用场景
如果有海量的数据，要考虑的是，如何在磁盘中快速找到需要的数据。 今他们的使用场景是：查找磁盘中的大量数据。 B 树 B 树就是常说的“B 减树（B- 树）”，又名平衡多路（即不止两个子树）查找树，它和平衡二叉树的不同有这么几点： 平衡二叉树节点最多有两个子树，而 B 树每个节点可以有多个子树，M 阶 ......
windows使用nc命令基础下载安装---小白篇
# windows使用nc命令 ## 文章源起： 在使用该标题关键词搜索文章，内容多为**搬运**，且**历史悠久**。 且，对-l -p 参数**未讲解**，对小白不友好。 对配置环境变量的方式不理解，**误导小白**。 对文件解压内容未讲解（文件结构），误导小白以为全**文件都有用**。 **一 ......
seqToseq
Seq2Seq，就是指一般的序列到序列的转换任务，比如机器翻译、自动文摘等等，这种任务的特点是输入序列和输出序列是不对齐的，如果对齐的话，那么我们称之为序列标注，序列标注任务也可以理解为序列到序列的转换。 左边是输入的 encoder，它负责把输入（可能是变长的）编码为一个固定大小的向量，这个可选择 ......
hdfs常用命令
## 显示文件目录 hadoop fs -ls -R /user/hadoop hadoop fs -lsr /user/hadoop hadoop fs -ls /user/hadoop ## 创建目录 hadoop fs -mkdir -p /user/nima/nima hadoop fs - ......
【NestJS系列】核心概念：Module模块
theme: fancy highlight: atelier-dune-dark ## 前言 模块指的是使用`@Module`装饰器修饰的类，每个应用程序至少有一个模块，即**根模块**。根模块是`Nest`用于构建应用程序的起点，理论上`Nest`程序可能只有根模块，但在大多数情况下是存在多个模 ......
python eval函数应用
def calculator(): while True: try: expression = input("请输入表达式（输入'exit'退出）：") if expression.lower() == 'exit': break result = eval(expression) print("结 ......
python pandas多列筛选
# -*- coding: utf-8 -*- #from dao.updateMongo import * #from dao.insertMongo import * #from dao.selectMongo import * import pandas as pd #df = selectD ......
大型集团企业数据治理方案，以“应用驱动”的数据治理策略 | 行业方案
[数据治理](https://www.dtstack.com/?src=szsm)是推动大型集团企业转型升级、提升竞争优势、实现高质量发展的重要引擎。 通过搭建[大数据平台](https://www.dtstack.com/?src=szsm)，实现对业务系统数据的采集、清理、建模、整合，建立一个符 ......
对于用户名密码前端加密的爆破
前言 目前越来越多的网站系统在登录接口、数据请求接口中加入各式各样的加密算法，甚至有些网站在每次请求前都动态请求加密密钥等措施，对接口渗透工作造成较大障碍，简单对登录接口暴力破解时字段被加密，如何处理加密内容进行暴破来进行一个简单思路的分享。 常规思路 前端js逆向，通过对js里的加密算法进行破解， ......
【秘籍揭秘】如何高速下载游戏、Switch资源？省时省力一网打尽！
百度云盘SVIP合租啦亲爱的考研党和游戏玩家们，我今天要分享的是一份独家秘籍！💡🕹你是不是常常为下载游戏或Switch资源而烦恼？是不是经常遇到下载速度慢、限速等问题，让你等待无尽？别担心，我有一个绝密的方法，能帮助你高速下载10G、甚至100GB的文件，省去大量时间和精力！🔥💪那就是【[K ......
《流畅的python》— 列表推导与生成器表达式
列表推导是构建列表（list）的快捷方式，而生成器表达式则可以用来创建其他任何类型的序列。如果你的代码里并不经常使用它们，那么很可能你错过了许多写出可读性更好且更高效的代码的机会。 > 很多Python 程序员都把列表推导（list comprehension）简称为listcomps，生成器表达式 ......
docker-swarm的负载均衡（LB）策略-dnsrr与vip
在Docker Swarm中，DNSRR（DNS Round Robin）和VIP（Virtual IP）是两种常见的负载均衡策略，它们各自有不同的作用和特点。 1. DNSRR（DNS Round Robin）负载均衡策略： - 作用：DNSRR策略通过对域名解析返回多个后端服务的IP地址来实现负 ......
20230629 javax.sql.DataSource
## 介绍 - javax.sql.DataSource - public interface DataSource extends CommonDataSource, Wrapper ## API ### public - getConnection - `Connection` - setLog ......
20230629 javax.sql.rowset.CachedRowSet
## 介绍 - javax.sql.rowset.CachedRowSet - public interface CachedRowSet extends RowSet, Joinable ## API ### public - populate - 将指定的结果集中的数据填充到被缓存的行集中 - ......