Jak budujemy pełną bazę firm z jednej branży z 16 źródeł na przykładzie bazy biur rachunkowych

Rejestr wie, że firma istnieje. Nie wie, jak się z nią skontaktować. Pokazujemy, jak wygląda budowa bazy, która wie jedno i drugie.

Klient pyta: "ile jest w Polsce biur rachunkowych i ile z nich macie w bazie?". Odpowiedź "tyle, ile jest w rejestrze" to za mało. Dlatego kiedy budujemy bazę jednej branży, sięgamy znacznie szerzej. Poniżej cały proces na świeżym projekcie: bazie biur rachunkowych, którą złożyliśmy z 16 niezależnych źródeł.

Dlaczego sam rejestr nie wystarczy

Punktem wyjścia zawsze są rejestry państwowe (CEIDG, KRS, REGON). Dla działalności rachunkowo-księgowej znajdziemy tam około 68 tysięcy aktywnych firm z właściwym kodem PKD i drugie tyle takich, które prowadzą księgowość obok innej działalności głównej.

Problem w tym, co rejestr wie, a czego nie wie. Adres i NIP są zawsze. Email jest w nieco ponad jednej trzeciej rekordów, strona internetowa w co ósmym. Do tego spora część wpisów w surowych zbiorach to firmy zamknięte lub zawieszone. Baza zbudowana wyłącznie na rejestrze jest więc formalnie poprawna i praktycznie mało użyteczna: nie da się z niej prowadzić kampanii mailowej ani sensownie dzwonić.

Rejestr traktujemy jak szkielet. Wszystko inne trzeba do niego dobudować.

Pięć warstw, szesnaście źródeł

Szesnaście źródeł tego projektu układa się w pięć warstw. Warstwa to typ informacji, źródło to konkretny zbiór danych: na jedną warstwę składa się od dwóch do sześciu niezależnych źródeł. Map jest kilka, wyszukiwarek kilka, katalogów partnerskich kilka, rejestrów branżowych kilka. Dopiero suma daje pokrycie, którego nie osiągnie żadne pojedyncze źródło.

Rejestry branżowe i certyfikaty

Branża księgowa ma własne, publiczne rejestry: izbę doradców podatkowych, nadzór nad firmami audytorskimi, stowarzyszenie księgowych, programy certyfikacji biur. Razem dały ponad 13 tysięcy rekordów. To najcenniejsza warstwa jakościowa: jeśli biuro figuruje w rejestrze izby albo ma branżowy certyfikat, nie musimy zgadywać, czym się zajmuje. Przy okazji wychodzą ciekawostki, na przykład dwa znane w branży certyfikaty okazały się jednym i tym samym programem prowadzonym przez jedną organizację.

Katalogi partnerskie producentów oprogramowania

Producenci systemów księgowych prowadzą publiczne katalogi współpracujących biur. To blisko 6 tysięcy rekordów o wysokiej jakości: biuro, które jest partnerem dostawcy oprogramowania, na pewno działa, a w katalogu prawie zawsze podaje telefon i email. Trzeba tylko uważać, bo część takich katalogów miesza biura rachunkowe z firmami wdrożeniowymi IT. Te oznaczamy i filtrujemy osobno.

Mapy i wyszukiwarki

Mapy przeszukujemy systematycznie: kilka fraz razy kilkaset miast, a w dużych miastach dodatkowo dzielnica po dzielnicy, bo wyniki dla całego miasta się ucinają. Z map przyszło prawie 27 tysięcy unikalnych punktów, w 95 procentach z telefonem. Korzystamy z więcej niż jednej mapy, choć wiemy z pomiarów, że druga i trzecia dokładają już tylko kilka procent nowych firm. W bazie, która ma być pełna, te kilka procent też się liczy.

Obok map pracują klasyczne wyszukiwarki internetowe, i to kilka naraz. Każda indeksuje trochę inny wycinek sieci i inaczej układa wyniki dla tych samych fraz, więc schodzimy głęboko w listę wyników, zamiast zatrzymywać się na pierwszej stronie. Ogon wyników to często małe, realne firmy bez żadnej widoczności w katalogach.

Wide Search: treść (prawie) wszystkich polskich stron i profili

Najciekawsza warstwa to nasza autorska usługa Wide Search. Monitorujemy (prawie) wszystkie polskie strony internetowe, a obok nich publiczne profile firm, a wyszukiwanie prowadzimy offline, na własnej kopii polskiego internetu. Dzięki temu możemy zapytać o dowolną frazę, na przykład "biuro rachunkowe" albo "pełna księgowość", i w kilkadziesiąt minut przejrzeć miliony witryn i profili, bez limitów wyszukiwarek i bez zgadywania słów kluczowych, na które firmy się pozycjonują. Szukamy po tym, co firma faktycznie o sobie pisze, a nie po tym, gdzie dała się znaleźć.

Własny indeks to nie wszystko. Równolegle odpytujemy zewnętrzne, komercyjne indeksy treści witryn, w których można szukać po dowolnej frazie występującej w treści strony, z filtrem kraju. To niezależne spojrzenie na ten sam internet: inne pokrycie, inna data odwiedzin, inne wyniki. Tam, gdzie oba indeksy wskazują tę samą domenę, mamy podwójne potwierdzenie; tam, gdzie się różnią, każdy dokłada firmy, których drugi nie widział.

W tym projekcie ta warstwa wskazała łącznie kilkadziesiąt tysięcy domen kandydatów. Tą drogą znajdujemy biura, których nie ma na mapach i które nie figurują w żadnym katalogu, bo nigdy się nigdzie nie wpisały. Generuje też najwięcej szumu, o czym za chwilę.

Wszystko spięte rejestrem

Każde znalezisko z map, katalogów i stron wracamy do szkieletu rejestrowego: po NIP, po domenie, po telefonie, na końcu po nazwie i mieście. Jeden podmiot, jeden rekord, niezależnie od tego, w ilu źródłach wystąpił. W kolumnie źródło klient widzi, skąd rekord pochodzi.

Silnik kontakty.biz: kontakty prosto ze stron i profili

Mapy dają telefon, ale prawie nigdy email. Rejestr daje email rzadko. Tę lukę zamyka nasz silnik kontakty.biz, który spina kilka opisanych wyżej warstw, czyli mapy, strony www i profile firm, w jeden mechanizm dociągania kontaktów. W procesie budowy bazy działa jako osobna warstwa wzbogacania: każda domena bez adresu mailowego przechodzi przez crawler, który czyta stronę firmową i podstrony kontaktowe, a znalezione adresy wracają do właściwego rekordu.

W tym projekcie przejrzeliśmy tak ponad 40 tysięcy stron. Po drodze odsiewamy adresy śmieciowe, na przykład techniczne wpisy z systemów zgód cookie, które potrafią zaśmiecić każdą surową bazę.

Filtr AI pod nadzorem infobrokera

Z warstw wyszukiwawczych przyszło ponad 50 tysięcy kandydatów spoza rejestru branżowego. Nie każdy z nich to biuro rachunkowe. Frazę "usługi księgowe" na stronie ma też producent oprogramowania, szkoła kursów księgowości, kancelaria prawna i portal z artykułami.

Każdy taki rekord oceniła automatyczna klasyfikacja AI z prostym pytaniem: czy to firma, która realnie prowadzi księgowość dla klientów zewnętrznych? Wynik: około 25 procent potwierdzeń, reszta odpada jako szum lub przypadki niejednoznaczne. W tym projekcie wśród odrzuconych lądowały między innymi salony fryzjerskie i sklepy komputerowe, które wyszukiwarki podpowiedziały przy okazji, bo algorytm map chętnie dorzuca lokalny biznes z sąsiedztwa.

AI jest tu narzędziem, nie decydentem. Cały proces nadzoruje infobroker: dobiera źródła dla branży, ustawia kryteria filtra, przegląda próbki z każdej partii wyników i ręcznie weryfikuje przypadki graniczne. Tam, gdzie skala na to pozwala, weryfikacja jest w pełni ręczna; tam, gdzie rekordów są dziesiątki tysięcy, człowiek kontroluje pracę automatu na próbkach i koryguje kryteria, dopóki wyniki nie przejdą kontroli. Odrzucenie rekordu zawsze ma zapisany powód, więc każdą decyzję automatu da się prześledzić i cofnąć.

Co z tego ma klient

Efekt końcowy tego procesu to trzy pliki zamiast jednego:

• pakiet z adresami email: ponad 49 tysięcy zweryfikowanych biur, po jednym rekordzie na adres,
• pakiet telefoniczny: prawie 15 tysięcy biur bez emaila, ale z numerem telefonu,
• pełny plik referencyjny ze wszystkimi rekordami i statusem każdego z nich.

Przed wysyłką każda baza przechodzi jeszcze ręczną kontrolę przedwydaniową: infobroker sprawdza spójność liczb między etapami, przegląda próbki z każdego pakietu i strukturę plików. Dopiero po tej kontroli baza trafia do klienta.

Tak wygląda różnica między "wyciągiem z rejestru" a bazą zbudowaną warstwami. Ta pierwsza powstaje w minutę. Ta druga wymaga kilkunastu źródeł, sklejania rekordów i filtra jakości, ale dopiero z niej da się prowadzić realne działania sprzedażowe.

Potrzebujesz pełnej bazy swojej branży? Zamów bazę na zamówienie, przygotujemy ją tym samym procesem.