LV
Eco² zemeslodes tēls, šim portfolio pilnveidots no jaunākā oficiālā galvenā tēla: debeszila zemeslode ar zaļu sauszemi, asnu galvas virsū un brūnu smaidošu seju
Atpakaļ uz zāli

Eco²

Backend · Cloud infrastructure

Šķirošanas norādes no vienas fotogrāfijas un sarunas.

Visaptverošs AI asistents, kas saprot, kā Korejā notiek atkritumu šķirošana.

2025.10.31 — 2026.02.10

Komandas projekts · infrastruktūras un izvietošanas pamats → domēna aizmugursistēma → asinhrona apstrāde, sarunu aģents, verifikācija

2025 새싹 해커톤 (Saessak Hackathon)Izcilības balva · 2025. gada 2. decembris

  • Tīmekļa lietotnePakalpojums slēgts

Kā 24 mezgli patiesībā savienojas, pa vienai plūsmai.

Ar kubeadm veidots pašpārvaldīts Kubernetes. Karte izvieto 24 fiziskos mezglus un uz tiem darbojošās darba slodzes README piecos slāņos un savieno tos ar faktiskajiem savienojumiem. Izvēlieties plūsmu, un tiks izcelts tikai tās ceļš ar numurētiem soļiem.

Tas atpazīst atkritumus fotogrāfijā un paskaidro, kā no tiem atbrīvoties, bet sarunā izsauc rīkus vietām, laikapstākļiem, otrreizējo izejvielu cenām un tīmekļa meklēšanai un ģenerē attēlus. Šajā komandas projektā sāku ar klastera un izvietošanas pamatu un paplašināju savu tvērumu līdz domēna aizmugursistēmai, asinhronai apstrādei, sarunu aģentam un verifikācijai.

No sacensību izstrādes līdz aizmugursistēmas un darbības nostiprināšanai

Pakalpojums ir beidzis darbību; ierakstīta demonstrācija un tehniskais ziņojums rāda to darbībā.

Klastera savienojumu karte · pārzīmēta pēc komita a072127 manifestiem un koda
Eco² klastera savienojumu karte · 24 mezgliKarte ar 24 fiziskajiem mezgliem README piecu slāņu lentēs. Pārlūks tikai uzmeklē nosaukumu Route 53; pēc TLS noslēguma ALB uz porta 443 Istio ingress Envoy uz NodePort nosūta pieprasījumu domēna API. Scan API ievieto darbu RabbitMQ rindā un uzreiz atgriež job_id; AI pūla scan-worker ar XADD ieraksta progresa notikumus Redis Streams. Event Router tos nolasa, atjaunina State KV un publicē Pub/Sub, un SSE Gateway nosūta tos pārlūkam. checkpoint-syncer saglabā Chat checkpoint, bet Chat mezgla persistence consumer saglabā ziņojumus PostgreSQL. Platform Layer nav pieprasījumu ceļš; tas konfigurē, mērogo un novēro.PārlūksHTTPS · SSEAWS ALB443 · TLS noslēdzas šeitRoute 53DNSGitHub Actions · Docker Hubattēls · manifesta revīzijaLLM APIOpenAI · GoogleLangSmithLLM palaidienu trasēšanaFluent BitDaemonSet · katrs mezglsk8s-masterALB Controller · ExternalDNSArgo CD image updaterIstiodcontrol planek8s-ingress-gatewayIstio ingress Envoyk8s-api-scanScan APIk8s-api-chatChat APImessage consumerpersistence consumerk8s-api-authauth APIext-authzk8s-api-infoInfo APIinfo-workerk8s-api-charactercharacter APIk8s-api-imageimages APIk8s-api-usersusers APIk8s-api-locationlocation APIk8s-sse-gatewaySSE Gatewayk8s-event-routerEvent Routerk8s-rabbitmqRabbitMQk8s-worker-aik8s-worker-ai-2k8s-worker-storagek8s-worker-storage-2k8s-redis-pubsubPub/Subk8s-redis-streamsStreamsState KVk8s-redis-cacheCachek8s-postgresqlPostgreSQLk8s-redis-authblacklistk8s-monitoringKEDAPrometheusGrafanaAlertmanagerk8s-loggingElasticsearchKibanascan-workerchat-workercheckpoint-syncerauth-relayauth-workerusers-workercharacter-workercharacter-match-workerKialiJaeger · dev in-memoryKubernetes klasteris24 mezgli · kubeadmEdge Layer1 mezglsService Layer8 mezgli · Envoy sidecarIntegration Layer7 mezgliPersistence Layer5 mezgliPlatform Layer3 mezgli · konfigurēšana · mērogošana · novērošanaAWS pārvaldītsAI pūlsdomain: worker-aikrātuves pūlsdomain: worker-storageBez piesaistīta mezgla1DNS uzmeklēšana2 HTTPS 443 · Pārlūks → AWS ALB23HTTP · NodePort4VirtualService5Celery uzdevums6 consume · RabbitMQ → scan-worker67 HTTPS · AI pūls → LLM API78XADD scan:events9XREADGROUP10SETEX state11PUBLISH12SUBSCRIBE13SSE straume14Atkopšana pēc atkārtotas pievienošanās1 HTTPS 443 · Pārlūks → AWS ALB12HTTP · NodePort3VirtualService4Taskiq uzdevums5 consume · RabbitMQ → chat-worker56 HTTPS · AI pūls → LLM API67XADD chat:events8XREADGROUP9PUBLISH10SUBSCRIBE11SSE straume12checkpoint13checkpoint nolasīšana14sinhronizācija ar PostgreSQL15chat-persistence group16ziņojumu saglabāšana1DNS uzmeklēšana2 HTTPS 443 · Pārlūks → AWS ALB23HTTP · NodePort4ext-authz · gRPC 500515melnā saraksta uzmeklēšana6VirtualService7gRPC8gRPC1outbox:blacklist2blacklist.events3 blacklist.events · RabbitMQ → auth-worker34melnā saraksta saglabāšana5 Celery batch · RabbitMQ → users-worker56UPSERT1attēls · manifesta revīzija2Ingress → ALB · DNS ieraksti3xDS konfigurācija4podu skaits5 podu skaits · KEDA → krātuves pūls56žurnāli7 LLM palaidienu trasēšana · AI pūls → LangSmith7

Scan pieprasījums → reāllaika piegāde

Fotoattēla analīzes pieprasījums kļūst par darbu rindā, un tā progresa notikumi atgriežas tajā pašā pārlūkā.

  1. PārlūksDNS uzmeklēšanaRoute 53

    No Route 53 ierakstiem tiek noteikts tikai nosaukums. Pieprasījumi caur DNS neiet.

  2. PārlūksHTTPS 443AWS ALB

    TLS noslēdzas ALB.

  3. AWS ALBHTTP · NodePortIstio ingress Envoyk8s-ingress-gateway

    Tiek nodots Istio ingress Envoy caur EC2 instance target NodePort.

  4. Istio ingress Envoyk8s-ingress-gatewayVirtualServiceScan APIk8s-api-scan

    Maršrutēts uz Scan API, kas ievieto darbu rindā un uzreiz atgriež job_id; rezultāta vaicājums atbild ar 202, līdz darbs ir pabeigts.

  5. Scan APIk8s-api-scanCelery uzdevumsRabbitMQk8s-rabbitmq

    Scan uzdevums nonāk RabbitMQ.

  6. RabbitMQk8s-rabbitmqconsumescan-workerk8s-worker-ai · k8s-worker-ai-2

    AI pūla scan-worker (Celery · gevent) to paņem un izpilda Vision → Rule → Answer → Reward. Četri posmi ir ķēdē saistīti Celery uzdevumi, nevis mezgli.

  7. AI pūlsk8s-worker-ai · k8s-worker-ai-2HTTPSLLM API

    Scan un chat worker izsauc OpenAI un Google API.

  8. scan-workerk8s-worker-ai · k8s-worker-ai-2XADD scan:eventsStreamsk8s-redis-streams

    Progresa notikumi tiek ierakstīti vienā no četriem Streams šardiem.

  9. Streamsk8s-redis-streamsXREADGROUPEvent Routerk8s-event-router

    Event Router tos nolasa kā patērētāju grupa un pēc apstrādes apstiprina ar XACK; pending un reclaim nodrošina piegādi vismaz vienreiz.

  10. Event Routerk8s-event-routerSETEX stateState KVk8s-redis-streams

    Tas ieraksta jaunāko stāvokli un dubultapstrādes atzīmi tā paša Redis mezgla State KV.

  11. Event Routerk8s-event-routerPUBLISHPub/Subk8s-redis-pubsub

    Tiek piegādāts reāllaikā pa darba kanālu shard Pub/Sub.

  12. Pub/Subk8s-redis-pubsubSUBSCRIBESSE Gatewayk8s-sse-gateway

    SSE Gateway abonē caur vienu koplietotu klausītāju katrā procesā un izplata katram pievienotajam pārlūkam.

  13. SSE Gatewayk8s-sse-gatewaySSE straumePārlūks

    Savienojums tiek atvērts pa to pašu ALB un ingress ceļu. Piegāde notiek vismaz vienreiz; dublikāti tiek apstrādāti idempotenti.

  14. State KVk8s-redis-streamsAtkopšana pēc atkārtotas pievienošanāsSSE Gatewayk8s-sse-gateway

    Pievienojoties no jauna ar Last-Event-ID, State KV un saglabātās Streams aizpilda nokavētos notikumus.

Chat · žetoni un saglabāšana

Chat žetoni iet pa to pašu notikumu ceļu kā Scan; checkpoint un ziņojumus saglabā divas dažādas darba slodzes.

  1. PārlūksHTTPS 443AWS ALB

    TLS noslēdzas ALB.

  2. AWS ALBHTTP · NodePortIstio ingress Envoyk8s-ingress-gateway

    Tiek nodots Istio ingress Envoy caur EC2 instance target NodePort.

  3. Istio ingress Envoyk8s-ingress-gatewayVirtualServiceChat APIk8s-api-chat

    Maršrutēts uz Chat API.

  4. Chat APIk8s-api-chatTaskiq uzdevumsRabbitMQk8s-rabbitmq

    Chat uzdevums nonāk RabbitMQ.

  5. RabbitMQk8s-rabbitmqconsumechat-workerk8s-worker-ai · k8s-worker-ai-2

    chat-worker (Taskiq · asyncio) ar LangGraph klasificē nolūku, tad vajadzības gadījumā izpilda vision posmu, izvēlētos rīkus, aggregator un vajadzības gadījumā kopsavilkumu un atbild. Katrs pieprasījums izpilda tikai tam vajadzīgos zarus.

  6. AI pūlsk8s-worker-ai · k8s-worker-ai-2HTTPSLLM API

    Scan un chat worker izsauc OpenAI un Google API.

  7. chat-workerk8s-worker-ai · k8s-worker-ai-2XADD chat:eventsStreamsk8s-redis-streams

    Žetoni un posmu notikumi tiek ierakstīti četros Streams šardos; no turienes piegādes ceļš ir tāds pats kā Scan.

  8. Streamsk8s-redis-streamsXREADGROUPEvent Routerk8s-event-router

    Event Router tos nolasa kā patērētāju grupa un pēc apstrādes apstiprina ar XACK; pending un reclaim nodrošina piegādi vismaz vienreiz.

  9. Event Routerk8s-event-routerPUBLISHPub/Subk8s-redis-pubsub

    Tiek piegādāts reāllaikā pa darba kanālu shard Pub/Sub.

  10. Pub/Subk8s-redis-pubsubSUBSCRIBESSE Gatewayk8s-sse-gateway

    SSE Gateway abonē caur vienu koplietotu klausītāju katrā procesā un izplata katram pievienotajam pārlūkam.

  11. SSE Gatewayk8s-sse-gatewaySSE straumePārlūks

    Savienojums tiek atvērts pa to pašu ALB un ingress ceļu. Piegāde notiek vismaz vienreiz; dublikāti tiek apstrādāti idempotenti.

  12. chat-workerk8s-worker-ai · k8s-worker-ai-2checkpointCachek8s-redis-cache

    LangGraph checkpoint tiek glabāts Redis Cache.

  13. Cachek8s-redis-cachecheckpoint nolasīšanacheckpoint-syncerk8s-worker-ai · k8s-worker-ai-2

    checkpoint-syncer nolasa checkpoint no Redis.

  14. checkpoint-syncerk8s-worker-ai · k8s-worker-ai-2sinhronizācija ar PostgreSQLPostgreSQLk8s-postgresql

    AsyncPostgresSaver to asinhroni saglabā PostgreSQL.

  15. Streamsk8s-redis-streamschat-persistence grouppersistence consumerk8s-api-chat

    Chat mezgla persistence consumer nolasa done notikumus kā patērētāju grupa.

  16. persistence consumerk8s-api-chatziņojumu saglabāšanaPostgreSQLk8s-postgresql

    Chat ziņojumi tiek saglabāti PostgreSQL. Tā ir cita darba slodze nekā checkpoint-syncer.

Ieeja · autentifikācija

Sinhronais ceļš no klastera ieejas līdz domēna API. Tikai ar politiku aizsargāti ceļi vispirms pārbauda autentifikāciju; podu trafiks starp mezgliem iet pa Calico VXLAN.

  1. PārlūksDNS uzmeklēšanaRoute 53

    No Route 53 ierakstiem tiek noteikts tikai nosaukums. Pieprasījumi caur DNS neiet.

  2. PārlūksHTTPS 443AWS ALB

    TLS noslēdzas ALB.

  3. AWS ALBHTTP · NodePortIstio ingress Envoyk8s-ingress-gateway

    Tiek nodots Istio ingress Envoy caur EC2 instance target NodePort.

  4. Istio ingress Envoyk8s-ingress-gatewayext-authz · gRPC 50051ext-authzk8s-api-auth

    Tikai ceļi ar CUSTOM politiku vispirms vaicā Go ext-authz (noildze 2 s, failOpen false). Tādi ceļi kā pieteikšanās, health un docs ir izslēgti.

  5. ext-authzk8s-api-authmelnā saraksta uzmeklēšanablacklistk8s-redis-auth

    Žetons tiek pārbaudīts pret Redis melno sarakstu.

  6. Istio ingress Envoyk8s-ingress-gatewayVirtualServiceChat APIk8s-api-chat

    Maršrutēts uz Chat API.

  7. Chat APIk8s-api-chatgRPCimages APIk8s-api-image

    README minētais sinhronais izsaukums chat → images.

  8. auth APIk8s-api-authgRPCusers APIk8s-api-users

    README minētais sinhronais izsaukums auth → users.

Krātuves pūls · asinhronas ierakstīšanas

Autentifikācijas melno sarakstu un tēlu īpašumtiesības saglabā krātuves pūla worker, kas darbu saņem no RabbitMQ.

  1. blacklistk8s-redis-authoutbox:blacklistauth-relayk8s-worker-storage · k8s-worker-storage-2

    auth-relay (README auth-Bus) nolasa Redis outbox.

  2. auth-relayk8s-worker-storage · k8s-worker-storage-2blacklist.eventsRabbitMQk8s-rabbitmq

    Tas atkārtoti publicē RabbitMQ, ar atkārtojumiem un DLQ.

  3. RabbitMQk8s-rabbitmqblacklist.eventsauth-workerk8s-worker-storage · k8s-worker-storage-2

    auth-worker saņem melnā saraksta notikumus.

  4. auth-workerk8s-worker-storage · k8s-worker-storage-2melnā saraksta saglabāšanablacklistk8s-redis-auth

    Tie tiek saglabāti Redis melnajā sarakstā.

  5. RabbitMQk8s-rabbitmqCelery batchusers-workerk8s-worker-storage · k8s-worker-storage-2

    users-worker saņem tēlu īpašumtiesību darbus partijās.

  6. users-workerk8s-worker-storage · k8s-worker-storage-2UPSERTPostgreSQLk8s-postgresql

    Tie tiek piemēroti PostgreSQL.

Konfigurēšana · mērogošana · novērošana

Platform Layer nav solis, caur kuru iet pieprasījumi; tas izvieto, konfigurē, mērogo un novēro pārējos slāņus. Mezgli ir ar Terraform izveidotas EC2 instances, kurās Ansible instalēja kubeadm un Calico; CI tikai validē Terraform un nekad to automātiski nepiemēro.

  1. GitHub Actions · Docker Hubattēls · manifesta revīzijaArgo CD image updaterk8s-master

    Argo CD saskaņo klastera konfigurāciju ar App-of-Apps un Sync Waves. Apstiprināts tikai image updater izvietojums control-plane.

  2. ALB Controller · ExternalDNSk8s-masterIngress → ALB · DNS ierakstiAWS pārvaldīts

    ALB Controller un ExternalDNS konfigurē AWS puses resursus. Tas nav ceļš, pa kuru iet pieprasījumi.

  3. Istiodk8s-masterxDS konfigurācijaIstio ingress Envoyk8s-ingress-gateway

    Istiod caur xDS nosūta Gateway, VirtualService un EnvoyFilter konfigurāciju ingress Envoy un katra API Envoy sidecar.

  4. KEDAk8s-monitoringpodu skaitsAI pūlsk8s-worker-ai · k8s-worker-ai-2

    KEDA pielāgo worker podu skaitu. Mezglu skaits nemainās.

  5. KEDAk8s-monitoringpodu skaitskrātuves pūlsk8s-worker-storage · k8s-worker-storage-2

    Krātuves pūla worker podi tiek mērogoti tāpat.

  6. Fluent BitžurnāliElasticsearchk8s-logging

    Fluent Bit ir DaemonSet katrā mezglā un sūta žurnālus uz Elasticsearch.

  7. AI pūlsk8s-worker-ai · k8s-worker-ai-2LLM palaidienu trasēšanaLangSmith

    LLM izsaukumu trases nonāk LangSmith — ārējā SaaS.

Visi savienojumi ar vienādu svaru. Izvēlieties plūsmu, lai izceltu tikai tās ceļu ar numurētiem soļiem.

  • Nepārtraukta · pieprasījumu, darbu, notikumu un ierakstu plūsmas virziens
  • Punktēta · DNS uzmeklēšana; pieprasījumi caur to neiet
  • Raustīta · konfigurēšana vai mērogošana; nav datu ceļš
  • Gara svītra ar punktu · žurnāli un palaidienu trasēšana
  • Bieza melna līnija · izvēlētā plūsma; skaitļi norāda secību
  • Rāmis · fizisks mezgls, resursdatora nosaukums galvenē
  • Iekšējā plāksnīte · šajā mezglā strādājoša darba slodze
  • Raustīta apmale · divu mezglu plānošanas pūls
  • Raustīts rāmis · ārpus klastera, netiek skaitīts kā mezgls
  • Oranža kontūra · vieta, kur lemj modelis
  • Control plane1 mezgls
  • Domain API8 mezgli
  • AI pūls2 mezgli
  • krātuves pūls2 mezgli
  • Data5 mezgli
  • Platform6 mezgli

README pieci slāņi (lentes) un fiziskās grupas (katra mezgla galvenes tonis) tos pašus 24 mezglus grupē atšķirīgi. State KV kopīgo Streams mezglu un netiek skaitīts atsevišķi; Route 53, ALB un pakalpojumi ārpus klastera nav mezgli. Pūls ir plānošanas diapazons, nevis apgalvojums, ka katrs pods darbojas abos mezglos.

24 mezglu izkārtojums · pēc 2026. gada 21. janvāra informācijas paneļa mezglu saraksta

24mezgli

24 = 1 control plane + 8 API + 4 worker + 5 data + 6 platform

  1. 1Control plane

    role: control-plane

    kube-apiserver · scheduler · controller-manager · etcd, kā arī platformas kontrolleri.

    1. k8s-master

  2. 8Domain API

    domain: <pakalpojums>

    Viens mezgls katram domēnam. Iekšējie izsaukumi izmanto gRPC.

    1. k8s-api-auth
    2. k8s-api-users
    3. k8s-api-scan
    4. k8s-api-character
    5. k8s-api-location
    6. k8s-api-image
    7. k8s-api-chat
    8. k8s-api-info

  3. 4Execution worker

    Divi plānošanas pūli, katrā divi mezgli. KEDA maina podu skaitu; mezglu skaits paliek nemainīgs.

    krātuves pūlsdomain: worker-storage
    1. k8s-worker-storage
    2. k8s-worker-storage-2
    AI pūlsdomain: worker-ai
    1. k8s-worker-ai
    2. k8s-worker-ai-2

  4. 5Data

    Redis ir sadalīts pa četriem mezgliem atbilstoši lietojumam. PostgreSQL krātuve ir EBS CSI · gp3.

    1. k8s-postgresql
    2. k8s-redis-auth
    3. k8s-redis-streams
    4. k8s-redis-cache
    5. k8s-redis-pubsub

  5. 6Platform

    Ziņapmaiņai, novērojamībai, ieejai un reāllaika piegādei katrai ir savs mezgls.

    1. k8s-rabbitmq
    2. k8s-monitoring
    3. k8s-logging
    4. k8s-ingress-gateway
    5. k8s-sse-gateway
    6. k8s-event-router
Katrs mezgls
  • Fluent Bit · DaemonSet
  • Calico

Konfigurētie modeļi · pa nodrošinātājiem

Pakalpojums ir slēgts, tāpēc šie ir repozitorijā konfigurētie modeļi, nevis šodien pieejamas izvēles. Katra loma norādīta atsevišķi; tas nav verificētu palaidienu saraksts.

  • OpenAI

    Chat noklusējuma nodrošinātājs

    Chat

    • openai/gpt-5.2noklusējums

    Noklusējuma modelis ir gpt-5.2; pieprasījumā nosaukts modelis tiek izmantots tā vietā.

    Scan

    • gpt-5.2noklusējums
    • gpt-5.2-pro
    • gpt-5.1
    • gpt-5
    • gpt-5-pro
    • gpt-5-mini

    Modeļi ārpus 13 modeļu kartējuma tiek noraidīti.

    Attēlu kartējums

    • gpt-image-1.5

    Atsevišķi no Responses orķestrēšanas modeļa gpt-5.2. Attēlu ģenerēšana pēc noklusējuma ir izslēgta.

    Novērtēšana

    • gpt-4o-mininoklusējums

    Sarunu novērtēšanas LLM vērtētājs, atsevišķi no Chat modeļa.

  • Google

    Kad Chat izvēlas Google

    Chat

    • google/gemini-3-pro-preview
    • google/gemini-3-flash-preview

    Ja izvēlēts Google, noklusējums ir gemini-3-flash-preview.

    Scan

    • gemini-3-pro-preview
    • gemini-3-flash-preview
    • gemini-2.5-pro
    • gemini-2.5-flash
    • gemini-2.5-flash-lite
    • gemini-2.0-flash
    • gemini-2.0-flash-lite

    Attēlu kartējums

    • gemini-3-pro-image-preview

Avotsbackend main d8840c7Publisks komits 2026. gada 29. septembrī · pārbaudīts 2026. gada 8. oktobrī