Google używa modelu sztucznej inteligencji Claude, opracowanego przez konkurencyjną firmę Anthropic, do oceny wydajności swojego własnego modelu Gemini. Zgodnie z informacjami, do których dotarł TechCrunch, pracownicy odpowiedzialni za rozwój Gemini porównują odpowiedzi obu modeli na różne zapytania, oceniając je pod kątem prawdziwości i bezpieczeństwa.
Testy polegają na szybkim porównaniu rezultatów uzyskanych przez Gemini i Claude’a, z maksymalnym czasem na ocenę wynoszącym 30 minut. Z dotychczasowych analiz wynika, że Claude radzi sobie lepiej w kwestiach związanych z bezpieczeństwem, unikając odpowiedzi na pytania, które mogą naruszać zasady. Z kolei model Gemini w niektórych przypadkach generuje odpowiedzi uznawane za poważne naruszenia bezpieczeństwa, chociaż oznacza je odpowiednią adnotacją.
Warto zaznaczyć, że zgodnie z warunkami użytkowania Anthropic, firma zabrania korzystania z Claude’a do opracowywania konkurencyjnych produktów bez zgody. Na razie nie ma informacji, czy Google uzyskało takie pozwolenie. Rzecznik Google DeepMind zaprzecza, jakoby Claude był wykorzystywany do szkolenia modelu Gemini.
Mimo to, nie jest to zaskakujące, ponieważ w przeszłości modele AI, takie jak Claude 3.5 Sonnet, osiągały lepsze wyniki w testach porównawczych, pokonując zarówno GPT-4, jak i Google Gemini Ultra w obszarach takich jak wiedza ogólna, rozumowanie czy kodowanie. Choć takie testy nie są w pełni miarodajne, wskazują na rosnącą konkurencję i szybkość rozwoju sztucznej inteligencji.
