Steven | java

Elasticsearch之Mapping和聚合查询

一、Mapping： 1、概念 mapping就是ES数据字段field的type元数据，ES在创建索引的时候，dynamic mapping会自动为不同的数据指定相应mapping，mapping中包含了字段的类型、搜索方式（exact value或者full text）、分词器等。 2、查看mapping 1GET /product/_mappings 3、Dynamic mapping......

Posted by Steven on 2021-08-26

Elasticsearch - 大数据架构+大数据进阶

Elasticsearch查询语法

一、查询语法 1、Searchtimeout： (1) 设置：默认没有timeout，如果设置了timeout，那么会执行timeout机制。 (2) Timeout机制：假设用户查询结果有1W条数据，但是需要10″才能查询完毕，但是用户设置了1″的timeout，那么不管当前一共查询到了多少数据，都会在1″后ES讲停止查询，并返回当前数据。 (3) 用法：GET /_search?t......

Posted by Steven on 2021-08-26

Elasticsearch - 大数据架构+大数据进阶

Python 安装MySQLdb出错问题排查

Python安装MySQL-python提示Error:Command errored out with exit status 1:...的问题排查

使用pip在安装第三方库时： 1pip install MySQL-Python 时，报错： google了好多原因，不乏于：需要安装mysql-connector-c、权限用户、安装其他的依赖等等，试了好多都不行，最终还是尝试再次读抛错的异常信息，发现自己刚才没有看到的一点信息 1xcrun: error: invalid active developer path (/Library......

Posted by Steven on 2021-07-18

Python

Golang基础 For Javaer

主要针对从Java转Go的人，比较适用（Javaer转Go有一点小的门槛） Go的中文api文档：https://studygolang.com/pkgdoc Go中文社区网站：https://studygolang.com/ 一、Go和Java的区别 1、关于Java Java的用途首先我们来回顾下Java的主要用途和应用场景：用途一：服务器后端系统开发(web后端、微服务后端支付......

Posted by Steven on 2021-07-06

架构+大数据进阶 Go

Mysql 索引详解

Mysql 索引磁盘预读（预读的长度一般为页（page）的整数倍）页是存储器的逻辑块，操作系统往往讲主存和磁盘存储分割为连续的大小相等的块，每个存储块称为一页在许多操作系统中，页大小通常为4k 主存和磁盘以页为单位进行数据交换不同的存储引擎，数据文件和索引文件存放的位置是不同的，因此有了分类聚簇索引：数据和索引文件存放在一起；-Innodb .frm：存放的是表结构 .......

Posted by Steven on 2021-06-15

架构+大数据进阶 Mysql

Spring面试专题

答题技巧：总：当前问题回答的是那些具体的点分：以1，2，3，4，5的方式分细节取描述相关的知识点，如果有哪些点不清楚，直接忽略过去突出一些技术名词（核心概念，接口，类，关键方法）避重就轻：没有重点一个问题能占用面试官多少时间？问的越多可能露馅越多当面试官问到一个你熟悉的点的时候，一定要尽量拖时间 1.谈谈Spring IOC的理解，原理与实现? 总：控制反转：理论思......

Posted by Steven on 2021-06-04

kafka初始、架构模型、角色功能梳理

引入 Kafka是一个消息队列，消息中间件，用于解藕、削峰、异步等特征：分布式、可靠的、可扩展的、高性能的分而治之AKF：联系在Redis中说的到AKF X轴：解决单点故障问题，高可用，对应在kafka上，就是做副本，可以有独写分离（容易出现一致性问题，因此只能在主上进行读写） Y轴：解决容量有限问题（按照业务划分），对应在Kafka上，就是topic，按照业务进行划分成不同的pa......

Posted by Steven on 2021-06-03

架构+大数据进阶 Kafka 中间件

mysql调优（一）

性能监控使用show profile 查询剖析工具使用 performance schema来更加容易的监控Mysql 0、performance_schema的介绍 *MySQL的performance schema 用于监控MySQL server在一个较低级别的运行过程中的资源消耗、资源等待等情况*。特点如下： 1、提供了一种在数......

Posted by Steven on 2021-06-01

架构+大数据进阶 Mysql

垃圾回收及JVM调优

GC相关

何为Garbage? 没有任何引用的对象就是垃圾找到垃圾的方式 1、引用计数不能解决循环引用（一团互相引用，但是这一团整体没有引用，是一团垃圾） 2、根可达算法线程栈变量、静态变量、常亮池、JNI指针（本地方法栈）垃圾回收算法（GC算法） Mark-Sweep(标记清除) 算法相对简单，适合存活对象比较多（需要清理的比较少）的时候效率较高劣势：需要两遍扫描（第一遍找到存活的标......

Posted by Steven on 2021-05-23

架构+大数据进阶 JVM JVM调优

内存与IO，磁盘IO，网络IO

一个操作系统中，有几个非常核心的东西，CPU、内存、输入输出设备（IO设备）程序的维度，有内核（一个程序） ...

Posted by Steven on 2021-05-21

石福鹏