LT
Eco² gaublio personažas, šiam portfeliui patobulintas pagal naujausią oficialų pagrindinį personažą: žydras gaublys su žaliais žemynais, daigeliu viršuje ir rudu besišypsančiu veidu
Atgal į salę

Eco²

Backend · Cloud infrastructure

Atliekų rūšiavimo patarimai iš vienos nuotraukos ir pokalbio.

Universalus DI asistentas, išmanantis, kaip Korėjoje rūšiuojamos atliekos.

2025.10.31 — 2026.02.10

Komandinis projektas · infrastruktūra ir diegimo pagrindas → srities backendas → asinchroninis apdorojimas, pokalbių agentas, verifikacija

2025 새싹 해커톤 (Saessak Hackathon)Apdovanojimas už puikius rezultatus · 2025.12.02

  • Žiniatinklio programaPaslauga uždaryta

Kaip iš tiesų sujungti 24 mazgai, po vieną srautą.

Savarankiškai valdomas Kubernetes, sukurtas su kubeadm. Žemėlapis išdėsto 24 fizinius mazgus ir jų darbo krūvius penkiuose README sluoksniuose ir sujungia juos tikrais ryšiais. Pasirinkite srautą, ir bus paryškintas tik tas kelias su sunumeruotais žingsniais.

Jis atpažįsta atliekas nuotraukoje ir paaiškina, kaip jas išmesti, o pokalbyje kviečia vietų, orų, antrinių žaliavų kainų ir žiniatinklio paieškos įrankius bei generuoja vaizdus. Šiame komandiniame projekte pradėjau nuo klasterio ir diegimo pagrindo, o vėliau išplėčiau savo sritį iki srities backendo, asinchroninio apdorojimo, pokalbių agento ir verifikacijos.

Nuo kūrimo konkursui iki backendo ir eksploatacijos stiprinimo

Paslauga baigė veiklą; įrašyta demonstracija ir techninė ataskaita rodo ją veikiančią.

Klasterio ryšių žemėlapis · iš naujo nubraižytas pagal manifestus ir kodą komite a072127
Eco² klasterio ryšių žemėlapis · 24 mazgai24 fizinių mazgų žemėlapis penkiose README sluoksnių juostose. Naršyklė tik suranda vardą Route 53; TLS pasibaigus ALB ties 443, Istio ingress Envoy per NodePort siunčia užklausą srities API. Scan API įdeda darbą į RabbitMQ eilę ir iš karto grąžina job_id; scan-worker AI telkinyje atlieka pažangos įvykių XADD į Redis Streams. Event Router juos skaito, atnaujina State KV ir publikuoja į Pub/Sub, o SSE Gateway siunčia juos naršyklei. checkpoint-syncer saugo Chat kontrolinius taškus, o persistence consumer Chat mazge saugo žinutes PostgreSQL. Platform Layer nėra užklausų kelias; jis konfigūruoja, keičia mastelį ir stebi.NaršyklėHTTPS · SSEAWS ALB443 · čia baigiasi TLSRoute 53DNSGitHub Actions · Docker Hubatvaizdas · manifesto revizijaLLM APIOpenAI · GoogleLangSmithLLM paleidimų sekimasFluent BitDaemonSet · kiekvienas mazgask8s-masterALB Controller · ExternalDNSArgo CD image updaterIstiodcontrol planek8s-ingress-gatewayIstio ingress Envoyk8s-api-scanScan APIk8s-api-chatChat APImessage consumerpersistence consumerk8s-api-authauth APIext-authzk8s-api-infoInfo APIinfo-workerk8s-api-charactercharacter APIk8s-api-imageimages APIk8s-api-usersusers APIk8s-api-locationlocation APIk8s-sse-gatewaySSE Gatewayk8s-event-routerEvent Routerk8s-rabbitmqRabbitMQk8s-worker-aik8s-worker-ai-2k8s-worker-storagek8s-worker-storage-2k8s-redis-pubsubPub/Subk8s-redis-streamsStreamsState KVk8s-redis-cacheCachek8s-postgresqlPostgreSQLk8s-redis-authblacklistk8s-monitoringKEDAPrometheusGrafanaAlertmanagerk8s-loggingElasticsearchKibanascan-workerchat-workercheckpoint-syncerauth-relayauth-workerusers-workercharacter-workercharacter-match-workerKialiJaeger · dev in-memoryKubernetes klasteris24 mazgai · kubeadmEdge Layer1 mazgasService Layer8 mazgai · Envoy sidecarIntegration Layer7 mazgaiPersistence Layer5 mazgaiPlatform Layer3 mazgai · konfigūravimas · mastelis · stebėjimasValdo AWSAI telkinysdomain: worker-aistorage telkinysdomain: worker-storageBe priskirto mazgo1DNS užklausa2 HTTPS 443 · Naršyklė → AWS ALB23HTTP · NodePort4VirtualService5Celery užduotis6 consume · RabbitMQ → scan-worker67 HTTPS · AI telkinys → LLM API78XADD scan:events9XREADGROUP10SETEX state11PUBLISH12SUBSCRIBE13SSE srautas14Atkūrimas prisijungus iš naujo1 HTTPS 443 · Naršyklė → AWS ALB12HTTP · NodePort3VirtualService4Taskiq užduotis5 consume · RabbitMQ → chat-worker56 HTTPS · AI telkinys → LLM API67XADD chat:events8XREADGROUP9PUBLISH10SUBSCRIBE11SSE srautas12checkpoint13skaityti kontrolinį tašką14sinchronizuoti su PostgreSQL15chat-persistence group16įrašyti žinutes1DNS užklausa2 HTTPS 443 · Naršyklė → AWS ALB23HTTP · NodePort4ext-authz · gRPC 500515juodojo sąrašo užklausa6VirtualService7gRPC8gRPC1outbox:blacklist2blacklist.events3 blacklist.events · RabbitMQ → auth-worker34įrašyti juodąjį sąrašą5 Celery batch · RabbitMQ → users-worker56UPSERT1atvaizdas · manifesto revizija2Ingress → ALB · DNS įrašai3xDS konfigūracija4podų skaičius5 podų skaičius · KEDA → storage telkinys56žurnalai7 LLM paleidimų sekimas · AI telkinys → LangSmith7

Scan užklausa → tiesioginis pristatymas

Nuotraukos analizės užklausa tampa darbu eilėje, o jo pažangos įvykiai grįžta į tą pačią naršyklę.

  1. NaršyklėDNS užklausaRoute 53

    Iš Route 53 įrašų nustatomas tik vardas. Užklausos per DNS neina.

  2. NaršyklėHTTPS 443AWS ALB

    TLS baigiasi ALB.

  3. AWS ALBHTTP · NodePortIstio ingress Envoyk8s-ingress-gateway

    Perduodama Istio ingress Envoy per EC2 instance target NodePort.

  4. Istio ingress Envoyk8s-ingress-gatewayVirtualServiceScan APIk8s-api-scan

    Nukreipiama į Scan API, kuris įdeda darbą į eilę ir iš karto grąžina job_id; į rezultato užklausą atsakoma 202, kol užduotis nebaigta.

  5. Scan APIk8s-api-scanCelery užduotisRabbitMQk8s-rabbitmq

    Scan užduotis patenka į RabbitMQ.

  6. RabbitMQk8s-rabbitmqconsumescan-workerk8s-worker-ai · k8s-worker-ai-2

    scan-worker (Celery · gevent) AI telkinyje ją paima ir vykdo Vision → Rule → Answer → Reward. Keturi etapai yra grandine sujungtos Celery užduotys, o ne mazgai.

  7. AI telkinysk8s-worker-ai · k8s-worker-ai-2HTTPSLLM API

    Scan ir chat worker kviečia OpenAI ir Google API.

  8. scan-workerk8s-worker-ai · k8s-worker-ai-2XADD scan:eventsStreamsk8s-redis-streams

    Pažangos įvykiai įrašomi į vieną iš keturių Streams fragmentų.

  9. Streamsk8s-redis-streamsXREADGROUPEvent Routerk8s-event-router

    Event Router juos skaito kaip consumer group ir po apdorojimo atlieka XACK; pending ir reclaim užtikrina at-least-once pristatymą.

  10. Event Routerk8s-event-routerSETEX stateState KVk8s-redis-streams

    Jis įrašo naujausią būseną ir pakartotinio apdorojimo žymę į State KV tame pačiame Redis mazge.

  11. Event Routerk8s-event-routerPUBLISHPub/Subk8s-redis-pubsub

    Pristatoma realiuoju laiku užduoties kanalu fragmentuotame Pub/Sub.

  12. Pub/Subk8s-redis-pubsubSUBSCRIBESSE Gatewayk8s-sse-gateway

    SSE Gateway užsiprenumeruoja per vieną bendrą listener kiekviename procese ir išskirsto kiekvienai prijungtai naršyklei.

  13. SSE Gatewayk8s-sse-gatewaySSE srautasNaršyklė

    Ryšys, atvertas tuo pačiu ALB ir ingress keliu. Pristatymas at-least-once; dublikatai apdorojami idempotentiškai.

  14. State KVk8s-redis-streamsAtkūrimas prisijungus iš naujoSSE Gatewayk8s-sse-gateway

    Prisijungus iš naujo su Last-Event-ID, State KV ir išsaugoti Streams užpildo praleistus įvykius.

Chat · žetonai ir saugojimas

Chat žetonai keliauja tuo pačiu įvykių keliu kaip Scan; kontrolinius taškus ir žinutes saugo du skirtingi darbo krūviai.

  1. NaršyklėHTTPS 443AWS ALB

    TLS baigiasi ALB.

  2. AWS ALBHTTP · NodePortIstio ingress Envoyk8s-ingress-gateway

    Perduodama Istio ingress Envoy per EC2 instance target NodePort.

  3. Istio ingress Envoyk8s-ingress-gatewayVirtualServiceChat APIk8s-api-chat

    Nukreipiama į Chat API.

  4. Chat APIk8s-api-chatTaskiq užduotisRabbitMQk8s-rabbitmq

    Chat užduotis patenka į RabbitMQ.

  5. RabbitMQk8s-rabbitmqconsumechat-workerk8s-worker-ai · k8s-worker-ai-2

    chat-worker (Taskiq · asyncio) su LangGraph klasifikuoja ketinimą, tada prireikus vykdo vision, pasirinktus įrankius, aggregator ir prireikus santrauką, ir atsako. Kiekviena užklausa vykdo tik jai reikalingas šakas.

  6. AI telkinysk8s-worker-ai · k8s-worker-ai-2HTTPSLLM API

    Scan ir chat worker kviečia OpenAI ir Google API.

  7. chat-workerk8s-worker-ai · k8s-worker-ai-2XADD chat:eventsStreamsk8s-redis-streams

    Žetonai ir etapų įvykiai įrašomi į keturis Streams fragmentus; toliau pristatymo kelias toks pat kaip Scan.

  8. Streamsk8s-redis-streamsXREADGROUPEvent Routerk8s-event-router

    Event Router juos skaito kaip consumer group ir po apdorojimo atlieka XACK; pending ir reclaim užtikrina at-least-once pristatymą.

  9. Event Routerk8s-event-routerPUBLISHPub/Subk8s-redis-pubsub

    Pristatoma realiuoju laiku užduoties kanalu fragmentuotame Pub/Sub.

  10. Pub/Subk8s-redis-pubsubSUBSCRIBESSE Gatewayk8s-sse-gateway

    SSE Gateway užsiprenumeruoja per vieną bendrą listener kiekviename procese ir išskirsto kiekvienai prijungtai naršyklei.

  11. SSE Gatewayk8s-sse-gatewaySSE srautasNaršyklė

    Ryšys, atvertas tuo pačiu ALB ir ingress keliu. Pristatymas at-least-once; dublikatai apdorojami idempotentiškai.

  12. chat-workerk8s-worker-ai · k8s-worker-ai-2checkpointCachek8s-redis-cache

    LangGraph kontrolinis taškas laikomas Redis Cache.

  13. Cachek8s-redis-cacheskaityti kontrolinį taškącheckpoint-syncerk8s-worker-ai · k8s-worker-ai-2

    checkpoint-syncer skaito kontrolinį tašką iš Redis.

  14. checkpoint-syncerk8s-worker-ai · k8s-worker-ai-2sinchronizuoti su PostgreSQLPostgreSQLk8s-postgresql

    AsyncPostgresSaver asinchroniškai jį saugo PostgreSQL.

  15. Streamsk8s-redis-streamschat-persistence grouppersistence consumerk8s-api-chat

    persistence consumer Chat mazge skaito done įvykius kaip consumer group.

  16. persistence consumerk8s-api-chatįrašyti žinutesPostgreSQLk8s-postgresql

    Chat žinutės įrašomos į PostgreSQL. Tai kitas darbo krūvis nei checkpoint-syncer.

Įėjimas · autentifikavimas

Sinchroninis kelias nuo įėjimo į klasterį iki srities API. Autentifikavimą pirmiausia tikrina tik keliai su politika; podų srautas tarp mazgų eina per Calico VXLAN.

  1. NaršyklėDNS užklausaRoute 53

    Iš Route 53 įrašų nustatomas tik vardas. Užklausos per DNS neina.

  2. NaršyklėHTTPS 443AWS ALB

    TLS baigiasi ALB.

  3. AWS ALBHTTP · NodePortIstio ingress Envoyk8s-ingress-gateway

    Perduodama Istio ingress Envoy per EC2 instance target NodePort.

  4. Istio ingress Envoyk8s-ingress-gatewayext-authz · gRPC 50051ext-authzk8s-api-auth

    Tik keliai su CUSTOM politika pirmiausia kreipiasi į Go ext-authz (laiko limitas 2 s, failOpen false). Tokie keliai kaip login, health ir docs neįtraukti.

  5. ext-authzk8s-api-authjuodojo sąrašo užklausablacklistk8s-redis-auth

    Žetonas tikrinamas pagal Redis juodąjį sąrašą.

  6. Istio ingress Envoyk8s-ingress-gatewayVirtualServiceChat APIk8s-api-chat

    Nukreipiama į Chat API.

  7. Chat APIk8s-api-chatgRPCimages APIk8s-api-image

    README nurodytas sinchroninis iškvietimas chat → images.

  8. auth APIk8s-api-authgRPCusers APIk8s-api-users

    README nurodytas sinchroninis iškvietimas auth → users.

Storage telkinys · asinchroninis įrašymas

Autentifikavimo juodąjį sąrašą ir personažų nuosavybę saugo storage telkinio worker, gaunantys darbą iš RabbitMQ.

  1. blacklistk8s-redis-authoutbox:blacklistauth-relayk8s-worker-storage · k8s-worker-storage-2

    auth-relay (README auth-Bus) skaito Redis outbox.

  2. auth-relayk8s-worker-storage · k8s-worker-storage-2blacklist.eventsRabbitMQk8s-rabbitmq

    Jis pakartotinai publikuoja į RabbitMQ, su pakartojimais ir DLQ.

  3. RabbitMQk8s-rabbitmqblacklist.eventsauth-workerk8s-worker-storage · k8s-worker-storage-2

    auth-worker gauna juodojo sąrašo įvykius.

  4. auth-workerk8s-worker-storage · k8s-worker-storage-2įrašyti juodąjį sąrašąblacklistk8s-redis-auth

    Jie įrašomi į Redis juodąjį sąrašą.

  5. RabbitMQk8s-rabbitmqCelery batchusers-workerk8s-worker-storage · k8s-worker-storage-2

    users-worker gauna personažų nuosavybės darbus paketais.

  6. users-workerk8s-worker-storage · k8s-worker-storage-2UPSERTPostgreSQLk8s-postgresql

    Jie pritaikomi PostgreSQL.

Konfigūravimas · mastelis · stebėjimas

Platform Layer nėra žingsnis, per kurį eina užklausos; jis diegia, konfigūruoja, keičia mastelį ir stebi kitus sluoksnius. Mazgai yra Terraform sukurti EC2 egzemplioriai, kuriuose kubeadm ir Calico įdiegti su Ansible; CI Terraform tik tikrina ir niekada jo automatiškai netaiko.

  1. GitHub Actions · Docker Hubatvaizdas · manifesto revizijaArgo CD image updaterk8s-master

    Argo CD suderina klasterio konfigūraciją per App-of-Apps ir Sync Waves. Patvirtintas tik image updater išdėstymas control-plane.

  2. ALB Controller · ExternalDNSk8s-masterIngress → ALB · DNS įrašaiValdo AWS

    ALB Controller ir ExternalDNS konfigūruoja AWS pusės išteklius. Tai ne kelias, kuriuo eina užklausos.

  3. Istiodk8s-masterxDS konfigūracijaIstio ingress Envoyk8s-ingress-gateway

    Istiod per xDS perduoda Gateway, VirtualService ir EnvoyFilter konfigūraciją ingress Envoy ir kiekvieno API Envoy sidecar.

  4. KEDAk8s-monitoringpodų skaičiusAI telkinysk8s-worker-ai · k8s-worker-ai-2

    KEDA keičia worker podų skaičių. Mazgų skaičius nekinta.

  5. KEDAk8s-monitoringpodų skaičiusstorage telkinysk8s-worker-storage · k8s-worker-storage-2

    Storage telkinio worker podų mastelis keičiamas taip pat.

  6. Fluent BitžurnalaiElasticsearchk8s-logging

    Fluent Bit yra DaemonSet kiekviename mazge ir siunčia žurnalus į Elasticsearch.

  7. AI telkinysk8s-worker-ai · k8s-worker-ai-2LLM paleidimų sekimasLangSmith

    LLM iškvietimų pėdsakai keliauja į LangSmith – išorinę SaaS.

Visi ryšiai vienodo storio. Pasirinkite srautą, kad būtų paryškintas tik jo kelias su sunumeruotais žingsniais.

  • Ištisinė · kryptis, kuria keliauja užklausos, darbas, įvykiai ir įrašymai
  • Taškinė · DNS užklausa; užklausos per ją neina
  • Brūkšninė · konfigūravimas ar mastelio keitimas; ne duomenų kelias
  • Ilga brūkšninė-taškinė · žurnalai ir paleidimų sekimas
  • Stora juoda linija · pasirinktas srautas; skaičiai rodo tvarką
  • Rėmelis · fizinis mazgas, pagrindinio kompiuterio vardas antraštėje
  • Vidinė plokštelė · tame mazge veikiantis darbo krūvis
  • Brūkšninis rėmas · dviejų mazgų planavimo telkinys
  • Brūkšninis rėmelis · už klasterio ribų, neskaičiuojamas kaip mazgas
  • Oranžinis kontūras · kur sprendžia modelis
  • Control plane1 mazgas
  • Domain API8 mazgai
  • AI telkinys2 mazgai
  • storage telkinys2 mazgai
  • Data5 mazgai
  • Platform6 mazgai

Penki README sluoksniai (juostos) ir fizinės grupės (kiekvieno mazgo antraštės atspalvis) tuos pačius 24 mazgus grupuoja skirtingai. State KV dalijasi mazgu su Streams ir atskirai neskaičiuojamas; Route 53, ALB ir paslaugos už klasterio ribų nėra mazgai. Telkinys yra planavimo sritis, o ne teiginys, kad kiekvienas podas veikia abiejuose mazguose.

24 mazgų išdėstymas · pagal January 21, 2026 informacinio skydelio mazgų sąrašą

24mazgai

24 = 1 control plane + 8 API + 4 worker + 5 data + 6 platform

  1. 1Control plane

    role: control-plane

    kube-apiserver · scheduler · controller-manager · etcd ir platformos valdikliai.

    1. k8s-master

  2. 8Domain API

    domain: <paslauga>

    Vienas mazgas kiekvienai sričiai. Vidiniai iškvietimai naudoja gRPC.

    1. k8s-api-auth
    2. k8s-api-users
    3. k8s-api-scan
    4. k8s-api-character
    5. k8s-api-location
    6. k8s-api-image
    7. k8s-api-chat
    8. k8s-api-info

  3. 4Execution worker

    Du planavimo telkiniai po du mazgus. KEDA keičia podų skaičių; mazgų skaičius lieka tas pats.

    storage telkinysdomain: worker-storage
    1. k8s-worker-storage
    2. k8s-worker-storage-2
    AI telkinysdomain: worker-ai
    1. k8s-worker-ai
    2. k8s-worker-ai-2

  4. 5Data

    Redis pagal paskirtį padalytas į keturis mazgus. PostgreSQL saugykla yra EBS CSI · gp3.

    1. k8s-postgresql
    2. k8s-redis-auth
    3. k8s-redis-streams
    4. k8s-redis-cache
    5. k8s-redis-pubsub

  5. 6Platform

    Pranešimų perdavimas, stebimumas, ingress ir pristatymas realiuoju laiku turi kiekvienas savo mazgą.

    1. k8s-rabbitmq
    2. k8s-monitoring
    3. k8s-logging
    4. k8s-ingress-gateway
    5. k8s-sse-gateway
    6. k8s-event-router
Kiekvienas mazgas
  • Fluent Bit · DaemonSet
  • Calico

Sukonfigūruoti modeliai · pagal tiekėją

Paslauga uždaryta, todėl tai saugykloje sukonfigūruoti modeliai, o ne šiandien prieinami pasirinkimai. Kiekvienas vaidmuo nurodytas atskirai; tai nėra patikrintų paleidimų sąrašas.

  • OpenAI

    Numatytasis Chat tiekėjas

    Chat

    • openai/gpt-5.2numatytasis

    Numatytasis modelis – gpt-5.2; jei modelis nurodytas užklausoje, naudojamas jis.

    Scan

    • gpt-5.2numatytasis
    • gpt-5.2-pro
    • gpt-5.1
    • gpt-5
    • gpt-5-pro
    • gpt-5-mini

    Modeliai, nepatenkantys į 13 modelių susiejimą, atmetami.

    Vaizdų susiejimas

    • gpt-image-1.5

    Atskirai nuo gpt-5.2 – Responses orkestravimo modelio. Vaizdų generavimas pagal numatymą išjungtas.

    Vertinimas

    • gpt-4o-mininumatytasis

    Pokalbių vertinimo LLM grader, atskiras nuo Chat modelio.

  • Google

    Kai Chat pasirenka Google

    Chat

    • google/gemini-3-pro-preview
    • google/gemini-3-flash-preview

    Pasirinkus Google, numatytasis yra gemini-3-flash-preview.

    Scan

    • gemini-3-pro-preview
    • gemini-3-flash-preview
    • gemini-2.5-pro
    • gemini-2.5-flash
    • gemini-2.5-flash-lite
    • gemini-2.0-flash
    • gemini-2.0-flash-lite

    Vaizdų susiejimas

    • gemini-3-pro-image-preview

Šaltinisbackend main d8840c7Viešas komitas September 29, 2026 · patikrinta October 8, 2026