İlginç araştırma: Özet: Vizyon dili modelleri (VLM'ler), görsel CAPTCHA'ları göreve özel eğitim olmadan çözebilir, ancak bunların üzerine inşa edilen aracılar, her zorluğa sıfırdan yaklaşır. Böyle bir aracı için, tanıdık bir bulmacanın yüzüncü örneği, ilki kadar zaman ve hesaplama maliyetine sahiptir. Özel dedektörler milisaniyeler içinde yanıt vererek bu dengeyi tersine çevirir, ancak yalnızca bulundukları kategoriler için...
İlginç araştırma: Özet: Vizyon dili modelleri (VLM'ler), görsel CAPTCHA'ları göreve özel eğitim olmadan çözebilir, ancak bunların üzerine inşa edilen aracılar, her zorluğa sıfırdan yaklaşır. Böyle bir aracı için, tanıdık bir bulmacanın yüzüncü örneği, ilki kadar zaman ve hesaplama maliyetine sahiptir. Özel dedektörler, milisaniyeler içinde yanıt vererek, yalnızca eğitim aldıkları kategoriler için yanıt vererek bu dengeyi tersine çevirir. İkisi de maruz kalmayla gelişmez. Bir çözücü kullanıldıkça geliştiğinde nelerin değiştiğini inceliyoruz. Sistemimiz, ince ayarlı bir YOLOv8 dedektörünü, güvene dayalı bir yönlendiricinin arkasında açık ağırlıklı bir VLM ile eşleştirir ve hiçbir tarayıcı otomasyonu veya DOM erişimi olmadan, tamamen ekran görüntülerinden ve işletim sistemi giriş olaylarından çalışır. 16 sınıfta genel olarak %85,4 ve %84,2 makro doğruluğa ulaşarak her iki bileşenin tek başına aşılmasını sağlar. VLM'nin ürettiği her yanıt aynı zamanda bir eğitim etiketi görevi de görür; böylece dedektör, genellikle bir veya iki karşılaşmanın ardından ve insan açıklaması olmadan, daha önce eğitilmediği kategorileri emer. Aynı döngü onu da onarır. Bir CAPTCHA operatörü, halka açık dedektöre karşı görüntüleri bozabilir ve doğruluğunu %0'a çıkarabilir, ancak bozulmalar VLM'ye dokunmaz ve etiketleri dedektörün iyileşmesine izin verir. CAPTCHA operatörünün her ay pertürbasyonlarını yeniden oluşturduğu bir yıl süren simüle edilmiş silahlanma yarışı altında, çözücü her turu kurtarır ve ucuz ~%70 doğrulukta açık ağırlık öğretmeni onu mükemmel bir kehanet kadar etkili bir şekilde güçlendirir. Başarısız bir botun başarısız olmaya devam ettiğini varsayan görsel CAPTCHA savunmaları, bu nedenle uyarlanabilir bir çözümleyicinin ne kadar hızlı geri döndüğünü olduğundan az gösterir.