Agregator danych z innym portali

Co to jest agregator danych, oraz na co powinniśmy zwrócić uwagę tworząc portal tego typu?

Co to jest portal typu agregator danych?

Jest to portal który zbiera dane z różnych źródeł. Najczęściej portal tego typu wymaga działa w konkretnej branży. Są to projekty które np. zbierają dane z portalu z ogłoszeniami nieruchomości, z ogłoszeń motoryzacyjnych czy z ofertami pracy. 

Platforma tego typu zbudowana jest tak że w tle działa specjalne oprogramowanie, które "odwiedza" inne strony i pobiera z nich dane, te dane zapisuje w swojej bazie.

Na co powinniśmy zwracać uwagę tworząc portal zbierający dane z innych miejsc w sieci?

  • na to w jaki sposób pobierać będziemy lub możemy dane z zewnętrznych źródeł. Czy musimy "udawać" użytkownika przeglądającego stronę, czy portal z źródłem informacji udostępnia jakiś mechanizm do dzielenia się danymi,
  • jeśli musimy pobierać dane mechanizmem mniej oficjalnym musimy się liczyć z tym że źródło może się stale zmieniać - to wymusza posiadanie stałej ekipy technicznej, która stale będzie doglądać oprogramowanie, zmieniać i aktualizować oraz pracować nad szybkością działania,
  • jeśli portal ze źródłem nie daje oficjalnej metody do pobierania danych - zapytaj o pozwolenie, nie są to twoje dane,
  • jeśli zaczniesz gromadzić dużą ilość informacji pamiętaj o optymalnym ich przechowywaniu,
  • przy dużym ruchu w Twojej platformie, jeśli masz dużą ilość danych, warto od razu taki projekt budować na bardzo solidnych rozwiązaniach serwerowych - warto zastanowić się nad budową tego w chmurze.

Zastanawiasz się nad tworzeniem portalu tego typu? Zapraszam do kontaktu.


Data publikacji: 25 maj 2020 rok, czas aktualizacji: 2020.06.20, rodzaj publikacji: "Częste pytanie".

W czym możemy Ci pomóc?

Skontaktuj się z nami:

Kontakt telefoniczny

Numer telefonu:
+48 696 969 990

Adres email

Adres email:
biuro@coolpage.pl

kontakt przez Messenger

Messenger:
CoolPage

* pola wymagane

Dane podane w formularzu będą wykorzystane przez firmę CoolPage i FastSell w celu nawiązania kontaktu.
Wyślij wiadomość

Ta strona korzysta z plików cookies OK, rozumiempolityka cookies