1.Tomcat源码分析— Bootstrap启动流程
2.一文详解Tomcat Ghostcat-AJP协议文件读取/文件包含漏洞CVE-2020-1938
3.Servlet源码和Tomcat源码解析
4.jetty、源码tomcat源码解读?跟踪
5.21张图解析Tomcat运行原理与架构全貌💥通宵爆肝
6.Tomcat处理http请求之源码分析 | 京东云技术团队
Tomcat源码分析— Bootstrap启动流程
在探讨Tomcat启动流程之前,需要理解其组件及其周期状态,源码这为后续深入学习组件初始化与启动等提供了基础。跟踪
实现Lifecycle接口的源码组件拥有种状态。Bootstrap作为Tomcat启动入口类,跟踪epoll源码图解负责构造类加载器以加载Catalina内部类,源码通过查找catalina.home目录下所有jar包,跟踪确保安全地加载应用程序类。源码
通过Bootstrap的跟踪main方法启动Tomcat实例,主要步骤包括创建Bootstrap对象、源码调用init方法,跟踪并根据启动参数执行load和start方法。源码
Bootstrap的跟踪init方法初始化类加载器,使得Tomcat能加载应用程序类,源码同时设置当前线程上下文加载器为CatalinaLoader。initClassLoaders方法创建三种类加载器,其中catalinaLoader与sharedLoader的父加载器为commonLoader。完成初始化后,预加载tomcat和javax包下的自定义类,避免访问权限异常。
调用catalinaLoader加载器加载Catalina类,通过反射实例化对象,并设置sharedLoader实例作为入参,最后将实例化的Catalina对象赋予catalinaDaemon成员变量。
Tomcat组件的初始化主要在load方法中完成,通过反射调用Catalina的load方法,构建并初始化StandardServer及其子组件。Bootstrap.load方法通过反射调用Catalina的load方法,Catalina的load方法实现序列图中的逻辑,初始化配置文件解析器Digester,构建standardServer实例,绑定当前catalina实例,设置根路径,并调用init方法完成初始化。
Tomcat中的容器或组件使用模板方法设计模式,子类通过重写LifecycleBase抽象类的模板方法initInternal实现初始化逻辑。LifecycleBase的init方法主要完成两件事:调用父类的LifecycleBase#init方法,由standerServer#initInternal方法执行实际初始化。init方法逻辑包括:执行LifecycleBase#initInternal抽象方法,由standardServer#initInternal方法完成初始化。
service组件的init方法主要初始化Connector连接器,连接器的初始化尤为重要。不同协议处理器如AjpAprProtocol、HttpNioProtocol的初始化流程将在后续文章中单独讲解。
Bootstrap类的main方法通过反射执行catalina实例的start方法,启动standardServer实例,使其监听端口并接收新请求。start方法主要逻辑包括启动Service、Engine容器、Executor执行器、MapperListener监听器、探探暗恋源码Connector连接器等组件。当启动成功后,创建并监听端口,Tomcat对外提供服务。
总结,Tomcat的启动流程清晰且依赖模板方法与责任链设计模式,理解这两种模式有助于更好地理解启动过程及代码。启动过程首先初始化各组件,如Server、Service、Engine容器、虚拟主机Host、上下文Context、Executor执行器、Connector连接器等,然后按顺序启动组件,成功后监听端口提供服务。
一文详解Tomcat Ghostcat-AJP协议文件读取/文件包含漏洞CVE--
文章首发于先知社区:xz.aliyun.com/t/
零基础慎入,因为一不小心你就看懂了。
以tomcat 8.5.版本为例进行漏洞分析,首先下载tomcat源码: http://archive.apache.org/dist/tomcat/tomcat-8/v8.5./src/apache-tomcat-8.5.-src.zip。搭建过程可以参考这篇Paper: Tomcat源码编译(IDEA)_Java_ww0peo的博客-CSDN博客。
通过浏览器访问 .0.0.1:会报错误。解决办法是IDEA中找到org.apache.catalina.startup.ContextConfig,增加如下的一行代码,将JSP解析器初始化。随后再次启动Tomcat,浏览器就能正常看到Tomcat的主页了。查看端口开放的开放情况,Tomcat运行开启了和端口。
Tomcat的Connector组件的主要职责就是负责接收客户端连接和客户端请求的处理加工。每个Connector会监听一个指定端口,分别负责对请求报文的解析和响应报文组装,解析过程封装Request对象,而组装过程封装Response对象。如果把Tomcat比作一个城堡,那么Connector组件就是城堡的城门,为进出城堡的人们提供通道。
Tomcat组件相关的配置文件是在conf/server.xml,配置文件中每一个元素都对应了Tomcat的一个组件。HTTP Connector很好理解,通过浏览器访问Tomcat服务器的Web应用时,使用的就是这个连接器;AJP Connector是通过AJP协议和一个Web容器进行交互。在将Tomcat与其他HTTP服务器(一般是Apache)集成时,就需要用到这个连接器。AJP协议是采用二进制形式代替文本形式传输,相比HTTP这种纯文本的协议来说,效率和性能更高,也做了很多优化。
浏览器只支持HTTP协议,并不能直接支持AJP协议。分红拆分源码所以实际情况是,通过Apache的proxy_ajp模块进行反向代理,暴露成http协议(端口)给客户端访问。
Servlet意为服务程序,也可简单理解为是一种用来处理网络请求的一套规范。主要作用是给上级容器(Tomcat)提供doGet()和doPost()等方法,其生命周期实例化、初始化、调用、销毁受控于Tomcat容器。Tomcat中Servlet的配置是在conf/web.xml。所有请求进入tomcat,都会流经servlet。由注释可以很明显看出,如果没有匹配到任何应用指定的servlet,那么就会流到默认的servlet(即DefaultServlet ),而 JspServlet 负责处理所有JSP文件的请求。
Tomcat内部处理请求的流程第一次看可能觉得会有点复杂。理解了上文的基础,下面开始分析漏洞。这个漏洞主要是通过AJP协议(端口)触发。通过构造两个不同的请求,经过tomcat内部处理流程,一个走default servlet,另一个走 jsp servlet,可导致不同的漏洞:文件读取漏洞和文件包含漏洞。
文件读取漏洞走的是DefaultServlet,文件包含漏洞走的是JspServlet。下面开始逐一进行分析,测试使用的POC如下:YDHCUI/CNVD---Tomcat-Ajp-lfi。
文件读取漏洞中,通过构造AJP协议请求,我们可以读取到 WEB-INF/web.xml文件。关键点在于request对象中的三个参数:/WEB-INF/web.xml的路径被传入到getRelativePath()方法中,该方法会返回请求的资源路径。随后,通过validate()方法和normalize()方法进行参数校验,确保请求路径中不能包含"/../",从而限制只能读取webapps目录下的文件。
文件包含漏洞(可致RCE)与文件读取漏洞不同,请求经过AjpProcessor类的处理后,将请求转发给了JspServlet。通过构造特定的请求url,可以将任意文件包含到jsp页面中,造成远程代码执行的条件。关键点在于将请求url设置为特定格式,以触发Tomcat处理jsp文件的流程,进而执行包含的文件内容。
针对此漏洞,官方发布的9.0.版本的修复代码主要做了以下几点修复:强制AJP协议默认监听本地环回地址,而不是租车业务源码0.0.0.0;若使用AJP协议,设置secretRequired属性为true,强制配置secret来设置AJP协议认证凭证;配置属性白名单,若向AJP连接器发送任意未被识别的属性,都会响应错误。
总结:文章详细解析了Tomcat Ghostcat漏洞的原理、漏洞分析、修复方法,以及相关的基础知识,为读者提供了一次全面的学习体验。
Servlet源码和Tomcat源码解析
画的不好,请将就。
我一般用的IDEA,很久没用Eclipse了,所以刚开始怎么继承不了HttpServlet类,然后看了一眼我创建的是Maven项目,然后去Maven仓库粘贴了Servlet的坐标进来。
maven坐标获取,直接百度maven仓库,选择第二个。
然后搜索Servlet选择第二个。
创建一个类,不是接口,继承下HttpServlet。
Servlet接口包括:init()、service()、destroy()和getServletInfo()。其中init()方法负责初始化Servlet对象,容器创建好Servlet对象后会调用此方法进行初始化;service()方法处理客户请求并返回响应,容器接收到客户端要求访问特定的Servlet请求时会调用此方法;destroy()方法负责释放Servlet对象占用的资源;getServletInfo()方法返回一个字符串,包含Servlet的创建者、版本和版权等信息。
ServletConfig接口包含:getServletName()、getServletContext()、getInitParameter(String var1)和getInitParameterNames()。其中getServletName()用于获取Servlet名称,getServletContext()获取Servlet上下文对象,getInitParameter(String var1)获取配置参数,getInitParameterNames()返回所有配置参数的名字集合。
GenericServlet抽象类实现了Servlet接口的同时,也实现了ServletConfig接口和Serializable接口。它提供了一个无参构造方法和一个实现init()方法的构造方法。GenericServlet中的init()方法保存了传递的ServletConfig对象引用,并调用了自身的无参init()方法。它还实现了service()方法,这是Servlet接口中的唯一没有实现的抽象方法,由子类具体实现。
HttpServlet是Servlet的默认实现,它是与具体协议无关的。它继承了GenericServlet,并实现了Servlet接口和ServletConfig接口。HttpServlet提供了一个无参的老死机源码init()方法、一个无参的destroy()方法、一个实现了getServletConfig()方法的方法、一个返回空字符串的getServletInfo()方法、以及一个实现了service()方法的抽象方法。service()方法的实现交给了子类,以便在基于HTTP协议的Web开发中具体实现。
Tomcat的底层源码解析如下:
Server作为整个Tomcat服务器的代表,包含至少一个Service组件,用于提供特定服务。配置文件中明确展示了如何监听特定端口(如)以启动服务。
Service是逻辑功能层,一个Server可以包含多个Service。Service接收客户端请求,解析请求,完成业务逻辑,然后将处理结果返回给客户端。Service通常提供start方法打开服务Socket连接和监听服务端口,以及stop方法停止服务并释放网络资源。
Connector称为连接器,是Service的核心组件之一。一个Service可以有多个Connector,用于接收客户端请求,将请求封装成Request和Response,然后交给Container进行处理。Connector完成请求处理后,将结果返回给客户端。
Container是Service的另一个核心组件,按照层级有Engine、Host、Context、Wrapper四种。一个Service只有一个Engine,它是整个Servlet引擎,负责执行业务逻辑。Engine下可以包含多个Host,一个Tomcat实例可以配置多个虚拟主机,默认情况下在conf/server.xml配置文件中定义了一个名为Catalina的Engine。Engine包含多个Host的设计使得一个服务器实例可以提供多个域名的服务。
Host代表一个站点,可以称为虚拟主机,一个Host可以配置多个Context。在server.xml文件中的默认配置为appBase=webapps,这意味着webapps目录中的war包将自动解压,autoDeploy=true属性指定对加入到appBase目录的war包进行自动部署。
Context代表一个应用程序,即日常开发中的Web程序或一个WEB-INF目录及其下面的web.xml文件。每个运行的Web应用程序最终以Context的形式存在,每个Context都有一个根路径和请求路径。与Host的区别在于,Context代表一个应用,如默认配置下webapps目录下的每个目录都是一个应用,其中ROOT目录存放主应用,其他目录存放子应用,而整个webapps目录是一个站点。
Tomcat的启动流程遵循标准化流程,入口是BootStrap,按照Lifecycle接口定义进行启动。首先调用init()方法逐级初始化,接着调用start()方法启动服务,同时伴随着生命周期状态变更事件的触发。
启动文件分析Startup.bat:
设置CLASSPATH和MAINCLASS为启动类,并指定ACTION为启动。
Bootstrap作为整个启动时的入口,在main方法中使用bootstrap.init()初始化容器相关类加载器,并创建Catalina实例,然后启动Catalina线程。
Catalina Lifecycle接口提供了一种统一管理对象生命周期的接口,通过Lifecycle、LifecycleListener、LifecycleEvent接口,Catalina实现了对Tomcat各种组件、容器统一的启动和停止方式。在Tomcat服务开启过程中,启动的一系列组件、容器都实现了org.apache.catalina.Lifecycle接口,其中的init()、start()和stop()方法实现了统一的启动和停止管理。
加载方法解析server.xml配置文件,加载Server、Service、Connector、Container、Engine、Host、Context、Wrapper一系列容器,加载完成后调用initialize()开启新的Server实例。
使用Digester类解析server.xml文件,通过demon.start()方法调用Catalina的start方法。Catalina实例执行start方法,包括加载server.xml配置、初始化Server的过程以及开启服务、初始化并开启一系列组件、子容器的过程。
StandardServer实例调用initialize()方法初始化Tomcat容器的一系列组件。在容器初始化时,会调用其子容器的initialize()方法,初始化子容器。初始化顺序为StandardServer、StandardService、StandardEngine、Connector。每个容器在初始化自身相关设置的同时,将子容器初始化。
jetty、tomcat源码解读?
我们部署Web服务在Tomcat服务器中,探讨了从HTTP请求到springmvc组件中DispatcherServlet的访问路径。Tomcat核心组件详解
在Tomcat体系中,Server组件作为整个服务器的管理核心,包含服务管理、端口监听等功能。每个Service组件则负责接收客户端消息与处理请求,包含多个连接器和一个容器。连接器负责网络连接,容器则用于处理请求与响应。连接器与容器之间通过标准的ServletRequest和ServletResponse进行通信。连接器Connector组件
连接器实现了网络连接和应用层协议处理,设计了EndPoint、Processor和Adapter三个组件,它们之间通过抽象接口交互,封装变化,提高复用性和降低耦合度。ProtocolHandler接口封装了网络通信和应用层协议解析,具体实现类如HttpNioProtocol和AjpNioProtocol对应不同的协议和通信模型。EndPoint
EndPoint作为通信端点,实现Socket通信,是TCP/IP协议的抽象。在具体实现中,如NioEndpoint和Nio2Endpoint,包含Acceptor和SocketProcessor,用于监听连接请求和处理Socket请求,SocketProcessor将请求提交到线程池Executor中。Processor
Processor负责解析应用层协议,如HTTP/AJP,将Socket请求解析为Tomcat Request对象,并通过Adapter提交到容器处理。Adapter
Adapter用于适配Tomcat Request与标准的ServletRequest,将Tomcat Request转换为可由容器处理的ServletRequest,调用容器的Service方法。Tomcat调用DispatcherServlet流程图
在部署了Web服务的Tomcat服务器中,HTTP请求通过连接器到达Processor,进行协议解析,生成Tomcat Request。此请求通过Adapter转换为标准的ServletRequest,传递给容器。容器按照配置加载Web应用,找到DispatcherServlet,启动服务。在DispatcherServlet中,请求流程进一步处理,实现业务逻辑,最终生成响应,通过Adapter和Processor返回给客户端。张图解析Tomcat运行原理与架构全貌💥通宵爆肝
早年间,小菜同学在Tomcat上通过继承HttpServlet进行CRUD操作,后来引入Spring MVC框架的DispatcherServlet,使操作更加便捷。现今,随着Spring Boot框架的内嵌,小菜能够更专注地进行CRUD操作,而无需过多关注服务器和框架的细节。保持专一原则,小菜对服务器和框架始终保持谨慎态度。 某日,小菜的程序突然无法运行,面对困境,小菜并未选择“逃跑”,而是决定深入研究中间件的运行原理,通过层层解析,逐步揭开了Tomcat等中间件的核心设计。架构解析
Tomcat作为Java实现的Web服务器,是Java Web开发中流行的选择之一。本文作为解析Tomcat系列的第一篇,将带你深入探索Tomcat的运行流程,揭示其高效设计的核心组件。 处理网络请求是Web服务器的基础,Tomcat也不例外,从网络通信到业务处理,每个步骤都精心设计,以实现高效运行。连接器
处理网络通信的连接器是Tomcat的重要组成部分,它负责获取Socket、解析协议以及封装请求/响应等关键任务。具体实现包括EndPoint、Processor和ProtocolHandler。EndPoint
EndPoint负责点对点的通信,通过Socket处理网络通信。尽管在Tomcat 9中并未直接提供接口,而是通过抽象类实现,实际上提供了两种具体实现:用于不同IO模型的EndPoint。Processor
Processor组件负责解析协议,将网络流解析为Tomcat封装的请求和响应对象。通过不同的实现类,如AbstractProcessor、UpgradeProcessorBase,Tomcat能够支持HTTP、AJP等协议。ProtocolHandler
ProtocolHandler将动态变化的EndPoint和Processor组合起来,负责网络通信的Socket获取和流解析。虽然在设计上采用继承的方式,但实际应用中,只有四个组合实现。Adapter
Adapter组件作为适配器,将Processor解析得到的请求/响应转化为Servlet中定义的格式,便于后续容器的处理。虽然实现相对固定,但其作用至关重要。线程池
多路复用IO模型下,线程池用于管理监听任务和后续处理任务,确保高效执行。尽管EndPoint涉及线程池,但Tomcat实现的线程池并非JUC下的标准实现。多连接器
尽管Tomcat支持多个不同连接器的并行处理,但实际应用中通常使用默认配置,如HTTP、NIO和端口。增加连接器时,端口和协议将自动匹配处理。容器
容器层设计为多级父子结构,包括Engine、Host、Context和Wrapper,实现灵活扩展和高效管理。每个层次的容器通过标准实现和扩展实现,提供稳定的运行环境。Mapper
Mapper组件负责请求路由,解析HTTP请求并将其映射到相应的容器层。在多级容器中,Mapper组件通过map方法解析请求,简化了路由逻辑。PipeLine-Valve
为了实现灵活扩展,Tomcat使用PipeLine和Valve组件构建职责链模式,每层容器从First开始,到Basic结束,实现高效且可扩展的请求处理流程。其他组件
除了核心组件,Tomcat还提供类加载器、session管理器等辅助组件,用于维护Web服务器的正常运行。每个组件都精心设计,确保系统的稳定性和高效性。 在Tomcat的设计中,从连接器到容器,再到其他辅助组件,都体现了面向对象设计原则和现代软件架构的最佳实践,如职责链模式、观察者模式等,使得系统在复杂环境中保持高效稳定。 本文仅概要介绍了Tomcat的核心架构和主要组件,未来将深入源码分析,全面解析Tomcat的运行原理。关注专栏,持续了解更多精彩内容。Tomcat处理http请求之源码分析 | 京东云技术团队
本文将从请求获取与包装处理、请求传递给 Container、Container 处理请求流程,这 3 部分来讲述一次 http 穿梭之旅。
在 tomcat 组件 Connector 启动时,会监听端口。以 JIoEndpoint 为例,在 Acceptor 类中,socket = serverSocketFactory.acceptSocket (serverSocket); 与客户端建立连接,将连接的 socket 交给 processSocket (socket) 来处理。在 processSocket 中,对 socket 进行包装,交给线程池处理。
线程池中的 SocketProcessor 任务,将 socket 交给 handler 处理,此 handler 为 HttpConnectionHandler 的实例。在 HttpConnectionHandler 的父类 process 方法中,根据请求的状态,创建 HttpProcessor 进行相应的处理,然后切到 HttpProcessor 的父类 AbstractHttpProccessor 中。
在 SocketProcessor 中,从 socket 获取请求数据,进行 keep-alive 处理,数据包装等操作,最终将处理后的请求信息交给了 CoyoteAdapter 的 service 方法。
CoyoteAdapter 的 service 方法中有两个主要任务:一是将 org.apache.coyote.Request 和 org.apache.coyote.Response 转换为继承自 HttpServletRequest 的 org.apache.catalina.connector.Request 和 org.apache.catalina.connector.Response,同时定位到 Context 和 Wrapper。二是将请求交给 StandardEngineValve 处理。
在 postParseRequest 方法中,request 通过 URI 的信息找到属于自己的 Context 和 Wrapper。Mapper 保存了所有的容器信息,初始化时将所有容器添加到了 mapper 中。容器信息的变化由 MapperListener 监听,一旦容器发生变化,MapperListener 将其作为监听者进行处理。
找到请求对应的 Context 和 Wrapper 后,CoyoteAdapter 将包装好的请求交给 Container 处理。从下面的代码片段,我们很容易追踪整个 Container 的调用链,形成时间线图。
最终,StandardWrapperValve 将请求交给 Servlet 处理完成,至此一次 http 请求处理完毕。