1.学习编程都学些什么内容？
2.一文带你搞懂xxl-job（分布式任务调度平台）
3.七天杀上GitHub榜首！码安Java并发编程深度解析实战，码安JUC底层原理揭秘
4.美团动态线程池思路框架（DynamicTp）之动态调整Tomcat、码安Jetty、码安Undertow线程池参数篇
5.JUC架构-ReentrantLock的码安公平与非公平
6.硬核干货：4W字从源码上分析JUC线程池ThreadPoolExecutor的实现原理

学习编程都学些什么内容？

       编程看你学的是哪方面的编程了，是码安鬼影压力测试源码大数据相关的，还是码安java相关的，还是码安前端相关的，python的码安话属于ai方面找工作的话学历很看重。

如果是码安java的话：

       · Java入门语法· 线程机制

       · 流程控制结构· IO流

       · 面向对象核心· 网络编程

       · 异常体系· 设计模式

       · 集合与泛型· JDK8/9/新特性

       · 反射体系· 综合项目：客户管理系统

       /考试管理系统/银行管理系统

       · DB、DBMS、码安SQL的码安理解· 常见函数

       · 常见数据库关系系统的· 存储过程和视图

       对比和认识· 事务以及事务的隔离级别

       · DML、DQL、码安DCL、码安DDL· 触发器

       · 数据的码安增删改查· 索引和优化

       · DQL数据查询语言· 贯穿案例：Employees员工

       · 分组查询、子查询、  管理系统

       join查询、union查询等

       · HTML与CSS· XML与Tomcat

       · HTTP协议与Servlet· Thymeleaf

       · 会话控制· JavaScript

       · Vue.js· Ajax

       · 贯穿项目:尚硅谷书城· Filter

       · Listener：ServletContextListener

       · Spring· Linux

       · SpringMVC· Redis

       · MyBatis· SSM整合案例

       · SSM整合

       · GC算法· Git与GitHub

       · Mysql高级· Mycat

       · Nginx· Docker

       · ElasticSearch· RabbitMQ

       · SpringBoot· SpringCloud

       · 分布式事务· JVM

       · JUC· Zookeeper

       · Dubbo· 密码学

       · 在线预约挂号平台:尚医通

       · Spring全家桶项目：尚筹网

       · 大型金融项目：尚融宝

       · 分布式项目：美年旅游

       · 前后端分离项目：尚课吧

       · 微服务架构项目：尚品汇

       · 基础系列面试题· 并发编程专题

       · 开源框架源码解析专题· 微服务架构专题

       · 高性能架构专题· 大厂面试题真实题目详解

       · 性能优化专题

前端要学习：

       · HTML,CSS核心基础· CSS过渡

       · HTML5语义化标签· 线性渐变，径向渐变

       · HTML新增标签属性· CSS动画Animation

       · 表单项新增属性· 弹性盒模型

       · CSS选择器· 经典布局练习(双飞翼，

       · CSS3伪类  品字布局) + 案例

       · CSS伪元素· 响应式布局

       · JavaScript基础

       · JavaScript操作DOM

       · JavaScript面向对象(js高级)

       · PC项目

       · jQuery

       · jQuery项目

       · less

       · bootStrap

       · ES6/7/8· promise

       · npm常用命令· git基础（常用操作）

       · git高级· Node.js基础

       · git基础（常用操作）

       · http协议 & cookie & session

       · MongoDB· Express框架

       · ajax(原生，jQuery,axios,fetch)

       · ajax库基本封装使用 promise封装

       · 模块化

       · 构建工具gulp，webpack4.0基础

       · React基础语法

       · react-router

       · React Antd使用

       · Redux

       · React移动端项目

       · Vue基础

       · VueRouter

       · Vuex

       · Vue源码(v-model, 双向数据绑定)

       · VuePC项目-电商

       · Vue后台管理

       · 小程序

       · UniApp

       · TypeScript

       vue实战(移动端)

       · 小程序实战

       · 面试精讲

       · 就业指导

大数据要学会：

       1Linux系统的安装和操作

       2熟练掌握Shell脚本语法

       3Idea、Maven等开发工具的使用

       4Hadoop组成、安装、架构和源码深度解析，以及API的熟练使用

       5Hive的安装部署、内部架构、熟练使用其开发需求以及企业级调优

       6Zookeeper的内部原理、选举机制以及大数据生态体系下的应用

       7Flume的架构原理、组件自定义、监控搭建，熟练使用Flume开发

       实战需求

       8Azkaban的安装部署，熟练使用进行工作流的调度执行

       9Kafka的安装部署以及框架原理，重点掌握Kafka的分区分配策略、

       一致性保证等，载入窗口源码熟练掌握低级API、高级API的使用

       统筹Hadoop生态下的Hadoop、Flume 、Zookeeper、Kafka、Sqoop

       等诸多框架，搭建数据采集系统，熟练掌握框架结构和企业级调优手段

       

       

一文带你搞懂xxl-job（分布式任务调度平台）

       本篇文章主要记录项目中遇到的 xxl-job 的实战，希望能通过这篇文章告诉读者们什么是 xxl-job 以及怎么使用 xxl-job 并分享一个实战案例。

       xxl-job 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。设计思想是将调度行为抽象形成 调度中心 平台，平台本身不承担业务逻辑，而是负责发起 调度请求 后，由 执行器 接收调度请求并执行 任务，这里的 任务 抽象为 分散的 JobHandler。通过这种方式即可实现 调度 与 任务 相互解耦，从而提高系统整体的稳定性和拓展性。

       任务调度指的是系统在约定的指定时间自动去执行指定的任务的过程。在开发项目时大家可能遇到过类似的场景问题，如系统需要定时在每天0点进行数据备份、活动开始前几小时预热执行一些前置业务、定时对 MQ 消息表的发送装填等。这些场景问题都可以通过任务调度 来解决。

       单体系统 中有许多实现 任务调度 的方式，如多线程方式、Timer 类、Spring Tasks 等等。这里比较常用的是 Spring Tasks（通过 @EnableScheduling + @Scheduled 的注解可以自定义定时任务，有兴趣的可以去了解一下）。

       在分布式系统下，人脸控制源码每个服务都可以搭建为集群，这样的好处是可以将任务切片分给每一个服务从而实现并行执行，提高任务调度的处理效率。那么为什么分布式系统 不能使用 单体系统 的任务调度实现方式呢？在集群服务下，如果还是使用每台机器按照单体系统的任务调度实现方式实现的话，会出现下面这四个问题：怎么做到对任务的控制（如何避免任务重复执行）、如果某台机器宕机了，会不会存在任务丢失、如果要增加服务实例，怎么做到弹性扩容、如何做到对任务调度的执行情况统一监测。通过上面的问题可以了解到分布式系统下需要一个满足高可用、容错管理、负载均衡等功能的任务调度平台来实现任务调度。

       xxl-job 分布式任务调度系统是一个开源软件，可以在 github 或 gitee 上查看和下载 xxl-job 的源码。在 docker 下安装 xxl-job、创建映射容器的文件目录、在/mydata/xxl-job 的目录下创建 application.properties 文件、导入 tables_xxl-job.sql 文件到指定的数据库、配置参数如数据库位置、访问口令等。

       在 Spring Boot 项目中，导入 xxl-job 的 maven 依赖，配置application.yml 文件指定调度中心地址、访问口令、执行器名称和端口等属性，编写配置类配置自定义任务和执行器，完成 SpringBoot 集成 xxl-job 实现分布式任务调度的全过程。

       实战案例：当前项目需要对上传到分布式文件系统 minio 中的视频文件进行统一格式的视频转码操作。利用 xxl-job 的方式以任务调度的方式定时处理视频转码操作，以任务调度的方式，可以使得视频转码操作不会阻塞主线程，避免影响主要业务的antd 源码实现吞吐量；以集群服务分片接收任务的方式，可以将任务均分给每个机器使得任务调度可以并行执行，提高总任务处理时间以及降低单台机器 CPU 的开销。

       xxl-job 执行流程图：在集群部署时，配置路由策略中选择分片广播的方式，可以使一次任务调度会广播触发集群中所有的执行器执行一次任务，并且可以向系统传递分片参数。利用这一特性可以根据当前执行器的分片序号和分片总数来获取对应的任务记录。通过 Bean 模式（基于方法）获取分片序号和分片总数，编写 sql 获取任务记录，实现对集群服务均分任务的操作。

       确保任务不会被重复消费：通过幂等性实现，依靠任务的状态（未处理1；处理中2；处理失败3；处理成功4）通过比较和设置的方式只有在状态为未处理或处理失败时才能设置为处理中，避免多个执行器同时处理该任务。设置调度过期策略和阻塞处理策略保证真正的幂等性。

       编写完成所有任务：分片视频转码处理，通过分片广播拿到的参数以取模的方式获取当前执行器所属的任务记录集合，遍历集合并发执行任务，使用乐观锁抢占当前任务，执行任务过程包含分布式文件系统下载、视频转码、上传转码后的视频、更新任务状态（处理成功），使用 JUC 工具类 CountDownLatch 实现所有任务执行完后才退出方法，中间使用 xxl-job 的日志记录错误信息和执行结果。

       清理任务表中转码成功的任务的记录并将其插入任务历史表，视频补偿机制处理任务超时情况下的任务，做出补偿，处理失败次数大于3次的任务，做出补偿。测试并查看日志，准备好的任务表记录，启动三台媒资服务器，并开启任务，可以单独查看每个任务的get set源码日志，通过日志中的执行日志查看具体日志信息，可以看到直接为了测试改错的路径导致下载视频出错，查看数据库表的变化，核心的视频转码任务执行成功，并且逻辑正确，能够起到分布式任务调度的作用。

七天杀上GitHub榜首！Java并发编程深度解析实战，JUC底层原理揭秘

       在多核CPU和多线程技术普及的当今，我们面对的不再是多年前对于线程开启时机的问题。如今，无论是开发人员还是技术开发者，都需要深入了解多线程技术的方方面面。本文将从操作系统原理的角度，全面解析多线程技术，涵盖基础知识到高级进阶，分享作者多年的工作经验和踩坑后的教训。

       多线程编程技术已经成为现代软件开发不可或缺的部分。然而，对于很多开发者来说，尽管有各种库和运行环境对操作系统多线程接口的封装，他们仍然面对着复杂的多线程逻辑，甚至只是简单调用库的“业务”程序员。本文旨在从基础出发，深入浅出地讲解多线程技术的各个层面。

       本文分为章，从Java线程的实践及原理揭秘开始，逐步深入到synchronized实现原理、volatile解决可见性和有序性问题、J.U.C中的重入锁和读写锁、线程通信中的条件等待机制、J.U.C并发工具集实战、并发编程必备工具、阻塞队列设计原理及实现、并发安全集合原理及源码、线程池设计原理、以及Java并发编程中的异步编程特性。每一章节都基于作者的经验总结和踩坑后的教训，为读者提供全面而深入的指导。

       如果您对这份手册感兴趣并希望深入学习，欢迎您点赞并关注。获取完整内容的方式非常简单，只需点击下方链接即可。让我们一起探索多线程技术的奥秘，提升编程技能，迈向技术的高峰。

美团动态线程池思路框架（DynamicTp）之动态调整Tomcat、Jetty、Undertow线程池参数篇

       动态线程池框架（DynamicTp）的adapter模块，作为第三方组件线程池管理的适配器，旨在使如Tomcat、Jetty和Undertow等Web服务器内置的线程池具备动态参数调整、监控告警等增强功能。通过该模块，用户可利用Spring的事件机制监听并管理这些第三方组件的线程池，实现与核心模块的解耦。

       adapter模块已成功接入SpringBoot内置的三大WebServer，包括Tomcat、Jetty和Undertow的线程池管理。通过监听机制，动态Tp框架能够及时响应这些组件的线程池变化，提供实时监控和灵活调整策略。

       具体实现上，针对Tomcat、Jetty和Undertow的线程池管理，需要深入理解其内部处理流程。这些组件并未直接使用Java Util Concurrency（JUC）提供的线程池实现，而是自定义了线程池或扩展了JUC的实现，如Tomcat就采用了自定义的ThreadPoolExecutor类，通过继承或扩展JUC的抽象类来定制线程池行为。

       以Tomcat为例，其内部线程池的实现中，继承自JUC原生ThreadPoolExecutor或其抽象类AbstractExecutorService。在执行任务时，Tomcat首先调用父类方法处理，然后根据任务队列类型（如TaskQueue）和线程池当前状态（如线程数、提交任务数、队列状态）进行一系列复杂判断，以决定是否创建新线程、添加任务至队列或执行拒绝策略。这种设计使得Tomcat能够高效管理请求，同时优化资源利用，避免过度创建线程导致的性能下降。

       Jetty和Undertow的内部线程池实现原理与Tomcat类似，均基于JUC框架进行定制，以满足其特定的性能优化和扩展需求。通过分析这些组件的源码，可以深入了解其线程池管理策略，为后续性能调优提供宝贵信息。

       动态线程池框架（DynamicTp）的引入，为Web服务器性能调优提供了强大的工具，允许用户动态调整线程池参数，提升系统响应速度和资源利用率。使用DynamicTp框架，用户可以更灵活地管理第三方组件的线程池，实现业务与开源贡献的双赢。

       欢迎使用DynamicTp框架，探索更多性能优化的可能性。下期将分享在使用过程中遇到的Tomcat版本不一致导致的监控线程停滞问题，通过这一案例深入理解ScheduledExecutorService的运行机制。敬请期待。

       如需交流或合作，请联系我，期待与您一起成长：

       微信：yanhom

       公众号：CodeFox

JUC架构-ReentrantLock的公平与非公平

       ReentrantLock是Java中一种强大的可重入锁，提供了与synchronized不同的线程同步机制。它的重要特性包括：

       1. 可重入性：允许线程多次获取同一锁，但需要精确管理锁的获取和释放，以防止死锁。

       2. 公平与非公平选择：ReentrantLock有两种模式：公平锁和非公平锁。公平锁按申请顺序分配锁，确保每个线程按等待时间获取，可能增加性能开销；非公平锁则优先给当前持有锁的线程，提高效率，但可能导致线程饥饿。

       3. 显式控制：与synchronized不同，ReentrantLock需要显式调用lock()获取锁和unlock()释放锁，适合更精细的同步控制。

       4. 条件变量：ReentrantLock支持Condition接口，实现复杂的线程协作和等待通知机制。

       5. 可中断的获取：lockInterruptibly()方法允许在获取锁时响应中断，避免阻塞过久。

       6. 保证可见性：与synchronized一样，ReentrantLock确保线程可见性，避免数据同步问题。

       在选择ReentrantLock时，需注意平衡公平性、效率和线程饥饿的风险。默认情况下，它采用非公平模式，但可以为特定场景调整为公平锁。深入了解其公平与非公平的实现细节，可以参考AQS源码和Condition的讲解。

硬核干货：4W字从源码上分析JUC线程池ThreadPoolExecutor的实现原理

       深入剖析JUC线程池ThreadPoolExecutor的执行核心

       早有计划详尽解读ThreadPoolExecutor的源码，因事务繁忙未能及时整理。在之前的文章中，我们曾提及Doug Lea设计的Executor接口，其顶层方法execute()是线程池扩展的基础。本文将重点关注ThreadPoolExecutor#execute()的实现，结合简化示例，逐步解析。

       ThreadPoolExecutor的核心功能包括固定的核心线程、额外的非核心线程、任务队列和拒绝策略。它的设计巧妙地运用了JUC同步器框架AbstractQueuedSynchronizer(AQS)，以及位操作和CAS技术。以核心线程为例，设计上允许它们在任务队列满时阻塞，或者在超时后轮询，而非核心线程则在必要时创建。

       创建ThreadPoolExecutor时，我们需要指定核心线程数、最大线程数、任务队列类型等。当核心线程和任务队列满载时，会尝试添加额外线程处理新任务。线程池的状态控制至关重要，通过整型变量ctl进行管理和状态转换，如RUNNING、SHUTDOWN、STOP等，状态控制机制包括工作线程上限数量的位操作。

       接下来，我们深入剖析execute()方法。首先，方法会检查线程池状态和工作线程数量，确保在需要时添加新线程。这里涉及一个疑惑：为何需要二次检查？这主要是为了处理任务队列变化和线程池状态切换。任务提交流程中，addWorker()方法负责创建工作线程，其内部逻辑复杂，包含线程中断和适配器Worker的创建。

       Worker内部类是线程池核心，它继承自AQS，实现Runnable接口。Worker的构造和run()方法共同确保任务的执行，同时处理线程中断和生命周期的终结。getTask()方法是工作线程获取任务的关键，它会检查任务队列状态和线程池大小，确保资源的有效利用。

       线程池关闭操作通过shutdown()、shutdownNow()和awaitTermination()方法实现，它们涉及线程中断、任务队列清理和状态更新等步骤，以确保线程池的有序退出。在这些方法中，可重入锁mainLock和条件变量termination起到了关键作用，保证了线程安全。

       ThreadPoolExecutor还提供了钩子方法，允许开发者在特定时刻执行自定义操作。除此之外，它还包含了监控统计、任务队列操作等实用功能，每个功能的实现都是对execute()核心逻辑的扩展和优化。

       总的来说，ThreadPoolExecutor的execute()方法是整个线程池的核心，它的实现原理复杂而精细。后续将陆续分析ExecutorService和ScheduledThreadPoolExecutor的源码，深入探讨线程池的扩展和调度机制。敬请关注，期待下文的详细解析。