前言

BufferQueue 是一個用 .NET 編寫的高性能的緩沖隊列實現(xiàn)，支持多線程并發(fā)操作。

項目地址：https://github.com/eventhorizon-cli/BufferQueue

項目是從 mocha 項目中獨立出來的一個組件，經(jīng)過修改以提供更通用的緩沖隊列功能。

目前支持的緩沖區(qū)類型為內(nèi)存緩沖區(qū)，后續(xù)會考慮支持更多類型的緩沖區(qū)。

適用場景

生產(chǎn)者和消費者之間的速度不一致，需要并發(fā)批量處理數(shù)據(jù)的場景。

因為目前只有內(nèi)存版本，不適用于不允許數(shù)據(jù)丟失的業(yè)務(wù)場景。

功能說明

支持創(chuàng)建多個 Topic，每個 Topic 可以有多種數(shù)據(jù)類型。每一對 Topic 和數(shù)據(jù)類型對應(yīng)一個獨立的緩沖區(qū)。

支持創(chuàng)建多個 Consumer Group，每個 Consumer Group 的消費進(jìn)度都是獨立的。支持多個 Consumer Group 并發(fā)消費同一個 Topic。

支持同一個 Consumer Group 創(chuàng)建多個 Consumer，以負(fù)載均衡的方式消費數(shù)據(jù)。

支持?jǐn)?shù)據(jù)的批量消費，可以一次性獲取多條數(shù)據(jù)。

支持 pull 模式和 push 模式兩種消費模式。

pull 模式下和 push 模式下都支持 auto commit 和 manual commit 兩種提交方式。auto commit 模式下，消費者在收到數(shù)據(jù)后自動提交消費進(jìn)度，如果消費失敗不會重試。manual commit 模式下，消費者需要手動提交消費進(jìn)度，如果消費失敗只要不提交進(jìn)度就可以重試。

需要注意的是，當(dāng)前版本出于簡化實現(xiàn)的考慮，暫不支持消費者的動態(tài)擴(kuò)容和縮容，需要在創(chuàng)建消費者時指定消費者數(shù)量。

使用示例

安裝 Nuget 包：

dotnet add package BufferQueue

項目基于 Microsoft.Extensions.DependencyInjection，使用時需要先注冊服務(wù)。

BufferQueue 支持兩種消費模式：pull 模式和 push 模式。



builder.Services.AddBufferQueue(options =>
{
    options.UseMemory(bufferOptions =>
        {
            // 每一對 Topic 和數(shù)據(jù)類型對應(yīng)一個獨立的緩沖區(qū)，可以設(shè)置 partitionNumber
            bufferOptions.AddTopic<Foo>("topic-foo1", partitionNumber: 6);
            bufferOptions.AddTopic<Foo>("topic-foo2", partitionNumber: 4);
            bufferOptions.AddTopic<Bar>("topic-bar", partitionNumber: 8);
        })
        // 添加 push 模式的消費者
        // 掃描指定程序集中的標(biāo)記了 BufferPushCustomerAttribute 的類，
        // 注冊為 push 模式的消費者
        .AddPushCustomers(typeof(Program).Assembly);
});


// 在 HostedService 中使用 pull模式 消費數(shù)據(jù)
builder.Services.AddHostedService<Foo1PullConsumerHostService>();

pull 模式的消費者示例：

public class Foo1PullConsumerHostService(
    IBufferQueue bufferQueue,
    ILogger<Foo1PullConsumerHostService> logger) : IHostedService
{
    private readonly CancellationTokenSource _cancellationTokenSource = new();


    public Task StartAsync(CancellationToken cancellationToken)
    {
        var token = CancellationTokenSource
            .CreateLinkedTokenSource(cancellationToken, _cancellationTokenSource.Token)
            .Token;


        var consumers = bufferQueue.CreatePullConsumers<Foo>(
            new BufferPullConsumerOptions
            {
                TopicName = "topic-foo1", GroupName = "group-foo1", AutoCommit = true, BatchSize = 100,
            }, consumerNumber: 4);


        foreach (var consumer in consumers)
        {
            _ = ConsumeAsync(consumer, token);
        }


        return Task.CompletedTask;
    }


    public Task StopAsync(CancellationToken cancellationToken)
    {
        _cancellationTokenSource.Cancel();
        return Task.CompletedTask;
    }


    private async Task ConsumeAsync(IBufferPullConsumer<Foo> consumer, CancellationToken cancellationToken)
    {
        await foreach (var buffer in consumer.ConsumeAsync(cancellationToken))
        {
            foreach (var foo in buffer)
            {
                // Process the foo
                logger.LogInformation("Foo1PullConsumerHostService.ConsumeAsync: {Foo}", foo);
            }
        }
    }
}

push 模式的消費者示例：

通過 BufferPushCustomer 特性注冊 push 模式的消費者。

push consumer 會被注冊到 DI 容器中，可以通過構(gòu)造函數(shù)注入其他服務(wù)，可以通過設(shè)置 ServiceLifetime 來控制 consumer 的生命周期。

BufferPushCustomerAttribute 中的 concurrency 參數(shù)用于設(shè)置 push consumer 的消費并發(fā)數(shù)，對應(yīng) pull consumer 的 consumerNumber。



[BufferPushCustomer(
    topicName: "topic-foo2",
    groupName: "group-foo2",
    batchSize: 100,
    serviceLifetime: ServiceLifetime.Singleton,
    concurrency: 2)]
public class Foo2PushConsumer(ILogger<Foo2PushConsumer> logger) : IBufferAutoCommitPushConsumer<Foo>
{
    public Task ConsumeAsync(IEnumerable<Foo> buffer, CancellationToken cancellationToken)
    {
        foreach (var foo in buffer)
        {
            logger.LogInformation("Foo2PushConsumer.ConsumeAsync: {Foo}", foo);
        }


        return Task.CompletedTask;
    }
}

[BufferPushCustomer(
    "topic-bar",
    "group-bar",
    100,
    ServiceLifetime.Scoped,
    2)]
public class BarPushConsumer(ILogger<BarPushConsumer> logger) : IBufferManualCommitPushConsumer<Bar>
{
    public async Task ConsumeAsync(IEnumerable<Bar> buffer, IBufferConsumerCommitter committer,
        CancellationToken cancellationToken)
    {
        foreach (var bar in buffer)
        {
            logger.LogInformation("BarPushConsumer.ConsumeAsync: {Bar}", bar);
        }


        var commitTask = committer.CommitAsync();
        if (!commitTask.IsCompletedSuccessfully)
        {
            await commitTask.AsTask();
        }
    }
}

Producer 示例：

通過 IBufferQueue 獲取到指定的 Producer，然后調(diào)用 ProduceAsync 方法發(fā)送數(shù)據(jù)。

[ApiController]
[Route("/api/[controller]")]
public class TestController(IBufferQueue bufferQueue) : ControllerBase
{
    [HttpPost("foo1")]
    public async Task<IActionResult> PostFoo1([FromBody] Foo foo)
    {
        var producer = bufferQueue.GetProducer<Foo>("topic-foo1");
        await producer.ProduceAsync(foo);
        return Ok();
    }


    [HttpPost("foo2")]
    public async Task<IActionResult> PostFoo2([FromBody] Foo foo)
    {
        var producer = bufferQueue.GetProducer<Foo>("topic-foo2");
        await producer.ProduceAsync(foo);
        return Ok();
    }


    [HttpPost("bar")]
    public async Task<IActionResult> PostBar([FromBody] Bar bar)
    {
        var producer = bufferQueue.GetProducer<Bar>("topic-bar");
        await producer.ProduceAsync(bar);
        return Ok();
    }
}

BufferQueue 內(nèi)部設(shè)計概述

Topic 的隔離

BufferQueue 有以下的特性：

同一個數(shù)據(jù)類型下的不同 Topic 的 BufferQueue 互不干擾。

同一個 Topic 下的不同數(shù)據(jù)類型的 BufferQueue 互不干擾。

這個特性是通過以下兩層接口設(shè)計實現(xiàn)的：

IBufferQueue：根據(jù) TopicName 和類型參數(shù) T 將請求轉(zhuǎn)發(fā)給具體的 IBufferQueue<T> 實現(xiàn)（借助 KeyedService 實現(xiàn)），其中參數(shù) T 代表 Buffer 所承載的數(shù)據(jù)實體的類型。

IBufferQueue<T>：具體的 BufferQueue 實現(xiàn)，負(fù)責(zé)管理 Topic 下的數(shù)據(jù)。屬于 Buffer 模塊的內(nèi)部實現(xiàn)，不對外暴露。