AI vesti stižu brže nego što jedan inženjer može da ih testira. Praćenje svakog modela, benchmark-a, agentskog framework-a i editora pretvara učenje u održavanje feed-a.

Koristim uži cilj: primetim promenu koja može da popravi zadatak koji već radim, pa je testiram baš na tom zadatku.

Počni od svojih uskih grla

Zapiši gde inženjersko vreme nestaje. Kod mene su to često pretraga repoa, dijagnoza testova, ponovljive migracije, code review, dokumentacija i sitne UI iteracije.

Ta lista je filter. Izdanje je bitno kada menja cenu, brzinu ili učestalost greške u jednom od tih poslova.

Novi image model može da bude zanimljiv. Nije hitan ako ti vreme trenutno odlazi na debug transakcija u bazi.

Zadrži tri izvora informacija

Pratim mali skup primarnih izvora:

  • release note alata koji su već u mom procesu;
  • održavaoce koji pokazuju detalje implementacije i ograničenja;
  • inženjere sa sličnim poslom koji objavljuju ponovljive primere.

Društvene mreže su dobre za otkrivanje, ne za dokaz. Kada je tvrdnja bitna, čitam dokumentaciju, issue, metod benchmark-a ili izvorni kod iza nje.

Tako izbegavam pažljivo izabrane demo primere. Alat prikazan na idealnom zadatku možda pada na tvom jeziku, veličini repoa, bezbednosnim pravilima ili budžetu.

Testiraj na zadatku-kanarincu

Čuvaj jedan mali, reprezentativan zadatak za svaku vrstu alata. Za coding agenta to može biti bug koji zahteva pretragu repoa, malu izmenu i testove.

Pokreni isti zadatak kada novi model ili opcija izgleda relevantno. Zapiši:

Zadatak:
Alat i verzija:
Vreme do prvog tačnog rezultata:
Ljudske ispravke:
Rezultat provere:
Potrošnja ili cena:
Beleške:

Cilj nije univerzalni benchmark. Porediš alate na poslu koji poznaješ dovoljno dobro da umeš da proceniš rezultat.

Kada možeš, koristi svežu kopiju zadatka. Zapamćeno rešenje, zagrejan cache ili izmenjena zavisnost mogu da iskrive poređenje.

Traži pobedu koja menja rad

Promena alata ima cenu: podešavanje, nove vrste kvara, drugačije prečice, pregled pravila i izgubljenu rutinu.

Novi alat usvajam kada pređe praktičan prag. Mora dovoljno da uštedi vreme, popravi kvalitet, otključa blokiran zadatak ili smanji cenu da bi promena imala smisla.

Pet procenata na mesečnom zadatku je šum. Pouzdan način da skratim review posla koji radim svakog dana zaslužuje pažnju.

Ostani neutralan prema vendorima

Koristi alat koji odgovara trenutnom poslu i ograničenjima. Promptove, testove, pravila repoa i zadatke za procenu drži prenosivim kada je moguće.

Ne vezuj ceo proces za specifičnu opciju jednog vendora ako korist ne plaća tu zavisnost. Važnu istoriju izvezi, a repo zadrži kao izvor istine.

Pregledaj po rasporedu

Ne procenjujem alate svakog dana. Skupljam kandidate i pregledam ih u određenom terminu ili kada pravi problem nametne pitanje.

Većina izdanja može da sačeka. Ona koja su bitna pojaviće se više puta, dobiće dokumentaciju i preživeti običan inženjerski posao.

Praćenje AI-ja je problem filtriranja. Počni od uskih grla, testiraj na poznatim zadacima i prihvati samo promene koje pobede tvoj trenutni proces.