引言 ECHO（Echo Protocol，回绕协议，应答协议，如linux中的echo命令），用于查错及测量应答时间（运行在TCP和UDP协议上）本文示例为echo协议，服务器只需把收到的客户端的请求数据发给这个客户端即可，其它什么功能都不做。 tcp/ip是一个协议簇（族），TCP（传输控制协议）和IP（网际协议）是此协议簇的核心。七层OSI模型中，tcp/udp在传输层，而ip在网络层。 OSI七层协议由上到下分别是：应用层（http,https），表示层（简单地说不同计算机通信会话进行表示转化，使系统能够识别，把数据转换为能与接收者的系统格式兼容并适合传输的格式。），会话层（设置和维护电脑之间通信连接，ssh），传输层（TCP/UDP），网络层（网际协议IP），数据链路层（表头和表尾...阅读全文
前言 事先说明这是鄙人看了一点入门文章总结的粗浅的知识， 并不保证理解完全正确，用来给自己知识梳理用。 websocket连接过程概述 WebSocket 建立连接需要先通过一个 http 请求进行和服务端握手。握手通过后连接就建立并保持了。浏览器先发送请求： GET / HTTP/1.1 Host: localhost:8080 Origin: [url=http://127.0.0.1:3000]http://127.0.0.1:3000[/url] Connection: Upgrade Upgrade: WebSocket Sec-WebSocket-Version: 13 Sec-WebSocket-Key: w4v7O6xFTi36lq3RNcgctw== 服务端返回一个请求： ...阅读全文
1、概述 首先要看TCP/IP协议，涉及到四层：链路层，网络层，传输层，应用层。 其中以太网（Ethernet）的数据帧在链路层 IP包在网络层 TCP或UDP包在传输层 TCP或UDP中的数据（Data)在应用层 它们的关系是 数据帧｛IP包｛TCP或UDP包｛Data｝｝｝ 不同的协议层对数据包有不同的称谓，在传输层叫做段(segment)，在网络层叫做数据报(datagram)，在链路层叫做帧(frame)。数据封装成帧后发到传输介质上，到达目的主机后每层协议再剥掉相应的首部，最后将应用层数据交给应用程序处理。 在应用程序中我们用到的Data的长度最大是多少，直接取决于底层的限制。 我们从下到上分析一下： 1.在链路层，由以太网的物理特性决定了数据帧的长度为(46＋18)－(1500＋...阅读全文
前言可能很多 Java 程序员对 TCP 的理解只有一个三次握手，四次握手的认识，我觉得这样的原因主要在于 TCP 协议本身稍微有点抽象（相比较于应用层的 HTTP 协议）；其次，非框架开发者不太需要接触到 TCP 的一些细节。其实我个人对 TCP 的很多细节也并没有完全理解，这篇文章主要针对微信交流群里有人提出的长连接，心跳问题，做一个统一的整理。 在 Java 中，使用 TCP 通信，大概率会涉及到 Socket、Netty，本文将借用它们的一些 API 和设置参数来辅助介绍。 长连接与短连接TCP 本身并没有长短连接的区别 ，长短与否，完全取决于我们怎么用它。 短连接：每次通信时，创建 Socket；一次通信结束，调用 socket.close()。这就是一般意义上的短连接，短连接的好...阅读全文
1.关于MTU MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64Bytes最大不能超过1518Bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃这些数据帧。 由于以太网EthernetII最大的数据帧是1518Bytes这样，刨去以太网帧的帧头（DMAC目的MAC地址48bits=6Bytes + SMAC源MAC地址48bits=6Bytes + Type域2Bytes）14Bytes和帧尾CRC校验部分4Bytes那么剩下承载上层协议的地方也就是Data域最大就只能有1500Byte...阅读全文
事情从一个健身教练提及吧。程序员 李东，自称亚健康终结者，尝试使用互联网+的模式拓展本身的业务。在某款新开发的聊天软件琛琛上发布广告。golang 键盘说来就来。疯狂发送"李东"，回车发送！，"亚健康终结者"，再回车发送！面试 还记得四层网络协议长什么样子吗？算法 四层网络模型每层各司其职，消息在进入每一层时都会多加一个报头，每多一个报头能够理解为数据报多戴一顶帽子。这个报头上面记录着消息从哪来，到哪去，以及消息多长等信息。好比，mac头部记录的是硬件的惟一地址，IP头记录的是从哪来和到哪去，传输层头记录到是到达目的主机后具体去哪一个进程。网络 在从消息发到网络的时候给消息带上报头，消息和纷繁复杂的网络中经过这些信息在路由器间流转，最后到达目的机器上，接受者再经过这些报头，一步一步还原出发送...阅读全文
背景 又是一年一度的秋季校招开始了，以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试？但是今年由于疫情的原因，不允许让同学在现场进行一个面试，所以今年的面试形式就从线下转到了线上，面试形式的转变，但是我们考核学生的方式依旧没有转变。校招的同学和社招的同学有很大的不同，他们没有丰富的工作经验，没有太多的项目经历，那么我们如何去衡量一个校招的同学呢？那就是基础和潜力，怎么去理解基础呢？俗话说不积跬步,无以至千里,不积小流,无以成江海，如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。如何去考察一个学生基础的好坏呢？我觉得有三个方面比较重要，计算机网络，操作系统以及算法和数据结构，通常来说计网考察得特别多，常见的一些问题：网络模型分层TCP和UDP的区别TCP三次握手和四次挥...阅读全文
一、美团数仓架构图如上图，是美团最新的数仓架构图。整个架构图分为三层，从下往上看，最下面一层是数据安全，包括受限域认证系统、加工层权限系统，应用层权限系统，安全审计系统，来保证最上层数据集成与处理的安全；中间一层是统一的元数据中心和全链路血缘，覆盖了全链路的加工过程；最上层根据数据的流向，分成数据集成，数据处理，数据消费，数据应用，四个阶段；在数据集成阶段，对于不同的数据来源（包括用户行为数据，日志数据，DB 数据，文件数据），都有相对应的数据集成系统，把数据收集到统一的存储之中，包括 Kafka 和 Hive 等。在数据处理阶段，有一个面向用户的数据开发平台（万象平台），可以使用两条数据处理链路来加工数据，一个是流式处理链路，一个是离线处理链路。数据加工好了之后，使用内部自研的 Delta...阅读全文
本文分享自天翼云开发者社区《Nginx的HTTP模块与Stream模块：区别与应用场景》,作者:云海Nginx是一个多功能的开源Web服务器，它支持多个模块，其中两个重要的模块是HTTP模块和Stream模块。这两个模块在不同的网络场景中有各自的用途，本文将深入研究它们之间的区别以及何时应该使用哪一个。HTTP模块和Stream模块的区别工作原理HTTP模块：HTTP模块主要用于处理HTTP和HTTPS流量。它可以接收HTTP请求、代理HTTP请求到后端服务器、负载均衡、缓存和处理HTTPS加密等。HTTP模块是Nginx最常用的模块之一，通常用于构建Web服务器或反向代理服务器。Stream模块：Stream模块用于处理通用TCP和UDP流量。它允许Nginx在传输层（TCP/UDP）上进...阅读全文
存储成本下降66%，得物云原生全链路追踪架构实践 2022-10-20 09:54 来源: dbaplus社群 发布于：广东省 原标题：存储成本下降66%，得物云原生全链路追踪架构实践 分布式链路追踪作为解决分布式应用可观测问题的重要技术，得物全链路追踪(简称Trace2.0)基于OpenTelemetry提供的可观测标准方案实现新一代的一站式全链路观测诊断平台，并通过全量采集Trace帮助业务提高故障诊断、性能优化、架构治理的效率。 全量采集Trace数据(日增数百TB 、数千亿条Span数据)并以较低的成本保证数据的实时处理与高效查询，对Trace2.0后端整体的可观测性解决方案提出了极高的要求。本文将详细介绍Trace2.0背后的架构设计、尾部采样和冷热存储方案，以及我们是如何通过自建...阅读全文
简单说，OS提供了一个通用的选择，没办法针对应用做个性化定制。kafka基本是顺序读写，这点是OS缓存可以很好的处理的情况；但是对于更多应用层系统来说，存在数据热点分布不均的情况，这些OS就不能很好的处理了。例如MySQL的innoDB缓存，如果采用OS的缓存策略，来一次全表扫描那么就可以让InnoDB辛辛苦苦热起来的数据冷了。但是InnoDB自己维护缓存情况下，就可以处理得很好，例如MySQL的InnoDB会对缓冲数据拆分为young以及old数据；会在整个缓存空间中腾出3/8的数据来用缓存这种多次访问的热点数据；这样全表扫描情况下，至少大多数热点数据还在内存中。甚至应用层可以在程序中直接指定热点数据，直接缓存起来；还有一个问题，OS缓存单位是页，不够应用层灵活。MySQL :: MySQ...阅读全文
本文分享自天翼云开发者社区《QUIC协议在天翼云CDN全站加速产品中的应用》，作者：郭****迎1、什么是QUIC协议QUIC全称：Quick UDP Internet Connections，是一种实验性传输层网络协议，提供与TLS/SSL相当的安全性，同时具有更低的连接和传输延迟。QUIC目前的主要应用于http协议，基于QUIC的HTTP/3协议（RFC9114），除了拥有HTTP/2的各项优点，同时由于QUIC的特性，在弱网环境下拥有更强大的性能优势。QUIC由Google自研，2012年部署上线，2013年提交IETF，2021年5月，IETF推出标准版RFC9000。QUIC的主要优势如下：1）握手建连更快QUIC建连时间大约0~1 RTT，在两方面做了优化：传输层使用了UDP，...阅读全文
本文分享自天翼云开发者社区《云电脑架构设计的层次》，作者：3****m一、基础设施层基础设施层是云电脑架构的最底层，负责提供计算、存储、网络等基础设施。这些基础设施可以由多个服务器组成，通过虚拟化技术进行资源池化，实现资源的动态分配和共享。基础设施层需要提供足够的计算、存储和网络资源，以满足虚拟化层和应用层的资源需求。同时，基础设施层还需要具备高可用性、可扩展性和安全性等特点，以满足用户的需求和保障数据安全。二、虚拟化层虚拟化层是云电脑架构的核心层，负责将硬件资源虚拟化成多个虚拟机。每个虚拟机都拥有独立的操作系统和应用程序，可以独立运行。虚拟化层还可以实现虚拟机的动态迁移和容错处理。通过虚拟化技术，虚拟化层可以实现对计算资源的动态分配和共享，提高计算机的处理能力和资源利用率。同时，虚拟化层还...阅读全文
本文分享自天翼云开发者社区《分布式系统中的分布式链路追踪与分布式调用链路》，作者：c****w在分布式系统中，由于服务间的调用关系复杂，需要实现分布式链路追踪来跟踪请求在各个服务中的调用路径和时间消耗。这对问题排查和性能监控都很重要。常用的分布式链路追踪实现有基于日志的和基于分布式追踪系统的两种方式：基于日志的实现方式是在每个服务中记录自己的请求id和上下文信息，并在日志中打印出来。这样可以通过聚合各个服务的日志来还原整个请求链路。基于分布式追踪系统的实现方式是：使用开源Tracing系统，比如Zipkin。每个服务都需要集成Tracing客户端库。客户端在发起请求时，生成一个唯/一的TraceId并传递给下游服务。每个服务接收到请求都需要记录Span数据，包括操作名、时间戳等。所有Span...阅读全文
3月22日，由通信世界全媒体主办的云上新“引擎”——云电脑创新发展沙龙圆满举行，会议邀请众多产业链代表，聚焦产业发展，共话云电脑新未来。天翼云科技有限公司端云平台事业部副总经理许少泽参加会议，分享了天翼云电脑在打造云上办公新体验方面的技术突破及实践应用。随着云网融合不断深入，云电脑在提供高效计算和存储能力的同时，更为千行百业带来了前所未有的灵活性、可扩展性和创新力。作为推动数字化变革的重要引擎，天翼云电脑具备流畅便捷、安全可靠、灵活配置、集中管控等优势，可实现安全与协作的深度融合，助力用户构建智慧办公新模式。在安全保障方面，天翼云电脑核心技术自主可控，构筑了从本地到云端的全链路安全防护体系。产品终端接入层采用了双因子认证和零信任接入机制，只有被认证、安全的账号和终端才可登录；在传输层，除了...阅读全文
本文分享自天翼云开发者社区《云电脑架构设计的层次》，作者：3****m一、基础设施层基础设施层是云电脑架构的最底层，负责提供计算、存储、网络等基础设施。这些基础设施可以由多个服务器组成，通过虚拟化技术进行资源池化，实现资源的动态分配和共享。基础设施层需要提供足够的计算、存储和网络资源，以满足虚拟化层和应用层的资源需求。同时，基础设施层还需要具备高可用性、可扩展性和安全性等特点，以满足用户的需求和保障数据安全。二、虚拟化层虚拟化层是云电脑架构的核心层，负责将硬件资源虚拟化成多个虚拟机。每个虚拟机都拥有独立的操作系统和应用程序，可以独立运行。虚拟化层还可以实现虚拟机的动态迁移和容错处理。通过虚拟化技术，虚拟化层可以实现对计算资源的动态分配和共享，提高计算机的处理能力和资源利用率。同时，虚拟化层还...阅读全文
本文分享自天翼云开发者社区《云电脑架构设计的层次》，作者：3****m 一、基础设施层 基础设施层是云电脑架构的最底层，负责提供计算、存储、网络等基础设施。这些基础设施可以由多个服务器组成，通过虚拟化技术进行资源池化，实现资源的动态分配和共享。基础设施层需要提供足够的计算、存储和网络资源，以满足虚拟化层和应用层的资源需求。同时，基础设施层还需要具备高可用性、可扩展性和安全性等特点，以满足用户的需求和保障数据安全。 二、虚拟化层 虚拟化层是云电脑架构的核心层，负责将硬件资源虚拟化成多个虚拟机。每个虚拟机都拥有独立的操作系统和应用程序，可以独立运行。虚拟化层还可以实现虚拟机的动态迁移和容错处理。通过虚拟化技术，虚拟化层可以实现对计算资源的动态分配和共享，提高计算机的处理能力和资源利用率。同时，虚...阅读全文
