[网络数据] 一文详解｜Go 分布式链路追踪实现原理

  

• 请求整体耗时较长，具体慢在哪个服务？  
  
• 请求过程中出错了，具体是哪个服务报错？  
  
• 某个服务的请求量如何，接口成功率如何？
  

  

• Name：操作名称，如一个 RPC 方法的名称，一个函数名  
  
• StartTime/EndTime：起始时间和结束时间，操作的生命周期  
  
• ParentSpanId：父级 Span 的 ID  
  
• Attributes：属性，一组 <K,V> 键值对构成的集合  
  
• Event：操作期间发生的事件  
  
• SpanContext：Span 上下文内容，通常用于在 Span 间传播，其核心字段包括 TraceId、SpanId
  

  

• 我们看到，在应用端需要通过侵入或者非侵入的方式，注入 Tracing Sdk，以跟踪、生成、传播和上报请求调用链路数据；  
  
• Collect agent 一般是在靠近应用侧的一个边缘计算层，主要用于提高 Tracing Sdk 的写性能，和减少 back-end 的计算压力；  
  
• 采集的链路跟踪数据上报到后端时，首先经过 Gateway 做一个鉴权，之后进入 kafka 这样的 MQ 进行消息的缓冲存储；  
  
• 在数据写入存储层之前，我们可能需要对消息队列中的数据做一些清洗和分析的操作，清洗是为了规范和适配不同的数据源上报的数据，分析通常是为了支持更高级的业务功能，比如流量统计、错误分析等，这部分通常采用flink这类的流处理框架来完成；  
  
• 存储层会是服务端设计选型的一个重点，要考虑数据量级和查询场景的特点来设计选型，通常的选择包括使用 Elasticsearch、Cassandra、或 Clickhouse 这类开源产品；  
  
• 流处理分析后的结果，一方面作为存储持久化下来，另一方面也会进入告警系统，以主动发现问题来通知用户，如错误率超过指定阈值发出告警通知这样的需求等。
  

  

• 不同的编程语言的应用，可能采用不同技术原理来实现对调用链的跟踪  
  
• 不同的链路追踪后端，可能采用不同的数据传输协议
  

  

• 生成 Span：操作开始构建 Span 并填充 StartTime，操作完成时填充 EndTime 信息，期间可追加 Attributes、Event 等  
  
• 传播 Span：进程内通过 context.Context、进程间通过请求的 header 作为 SpanContext 的载体，传播的核心信息是 TraceId 和 ParentSpanId  
  
• 上报 Span：生成的 Span 通过 tracing exporter 发送给 collect agent / back-end server
  

  

• Span1，记录 httpServer 收到一个请求后内部整体处理过程的一个耗时情况  
  
• Span2，记录 httpServer 处理请求过程中，发起的另一个到 serverB 的 http 请求的耗时情况  
  
• 并且 Span1 应该是 Span2 的 ParentSpan
  

package http
type Handler interface {
  ServeHTTP(ResponseWriter, *Request)
}
http.ListenAndServe(":8090", http.DefaultServeMux)

import (
  "net/http"
  "go.opentelemetry.io/otel"
  "go.opentelemetry.io/otel/sdk/trace"
  "go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp"
)
wrappedHttpHandler := otelhttp.NewHandler(http.DefaultServeMux, ...)
http.ListenAndServe(":8090", wrappedHttpHandler)

package http
type RoundTripper interface {
  RoundTrip(*Request) (*Response, error)
}

import (
  "net/http"
  "go.opentelemetry.io/otel"
  "go.opentelemetry.io/otel/sdk/trace"
  "go.opentelemetry.io/contrib/instrumentation/net/http/otelhttp"
)
wrappedTransport := otelhttp.NewTransport(http.DefaultTransport)
client := http.Client{Transport: wrappedTransport}

  

• 编译阶段注入：可以扩展编译器，修改编译过程中的ast，插入跟踪代码，需要适配不同编译器版本。  
  
• 启动阶段注入：修改编译后的机器码，插入跟踪代码，需要适配不同 CPU 架构。如 monkey, gohook。  
  
• 运行阶段注入：通过内核提供的 eBPF 能力，监听程序关键函数执行，插入跟踪代码，前景光明！如，tcpdump，bpftrace。
  

// target 要hook的目标函数
// replacement 要替换为的函数
// trampoline 将源函数入口拷贝到的位置，可用于从replcement跳转回原target
func Hook(target, replacement, trampoline interface{}) error

//go:linkname RoundTrip net/http.(*Transport).RoundTrip
//go:noinline
// RoundTrip .
func RoundTrip(t *http.Transport, req *http.Request) (*http.Response, error)
//go:noinline
func originalRoundTrip(t *http.Transport, req *http.Request) (*http.Response, error) {
  return RoundTrip(t, req)
}
type wrappedTransport struct {
  t *http.Transport
}
//go:noinline
func (t *wrappedTransport) RoundTrip(req *http.Request) (*http.Response, error) {
  return originalRoundTrip(t.t, req)
}
//go:noinline
func tracedRoundTrip(t *http.Transport, req *http.Request) (*http.Response, error) {
  req = contextWithSpan(req)
  return otelhttp.NewTransport(&wrappedTransport{t: t}).RoundTrip(req)
}
//go:noinline
func contextWithSpan(req *http.Request) *http.Request {
  ctx := req.Context()
  if span := trace.SpanFromContext(ctx); !span.SpanContext().IsValid() {
  pctx := injectcontext.GetContext()
  if pctx != nil {
    if span := trace.SpanFromContext(pctx); span.SpanContext().IsValid() {
    ctx = trace.ContextWithSpan(ctx, span)
    req = req.WithContext(ctx)
    }
  }
  }
  return req
}
func init() {
  gohook.Hook(RoundTrip, tracedRoundTrip, originalRoundTrip)
}

  

• https://opentelemetry.io/registry/  
  
• https://opentelemetry.io/docs/instrumentation/go/getting-started/  
  
• https://www.ipeapea.cn/post/go-asm/  
  
• https://github.com/brahma-adshonor/gohook  
  
• https://www.jianshu.com/p/7b3638b47845  
  
• https://paper.seebug.org/1749/