Pobieranie zbiorcze danych o insiderach: eksporty nocne czy stronicowanie API

Kiedy stronicować API, a kiedy pobierać całe zbiory. Jak działają nocne eksporty NDJSON i endpointy bulk, z kodem do załadowania danych do bazy.

Jeśli potrzebujesz wszystkich transakcji insiderów, Kongresu albo pozycji 13F, przechodzenie przez API strona po stronie to najwolniejsza droga. Zespoły danych kończą zwykle na nocnym ładowaniu całych zbiorów.

Najważniejsze

• Stronicowanie jest dla aplikacji, które pokazują po kilka wierszy.
• Bulk zwraca duże przefiltrowane wycinki (do 100 000 wierszy na zapytanie w API Pro).
• Nocne eksporty to całe zbiory w skompresowanych plikach, idealne do hurtowni danych i backtestów.
• NDJSON (jeden obiekt JSON na linię) da się strumieniować i załadować do prawie każdej bazy.

Trzy sposoby

1. REST ze stronami: /v1/insiders?ticker=NVDA&limit=100 i link next.
2. Bulk: /v1/bulk/insiders?format=ndjson&from=2025-01-01, do 50 000 (Premium) albo 100 000 wierszy (API Pro).
3. Eksporty nocne: /v1/exports zwraca podpisane linki ważne godzinę do plików każdego zbioru.

Prosty potok danych

``python import gzip, json, os, requests H = {"Authorization": f"Bearer {os.environ['BOURSE_KEY']}"} pliki = requests.get("https://api.bourse.pl/v1/exports", headers=H).json()["data"] for f in pliki: if f["dataset"] in ("insiders", "congress", "funds13f"): wiersze = [json.loads(l) for l in gzip.decompress(requests.get(f["url"]).content).splitlines()] print(f["dataset"], len(wiersze)) ``

Uruchamiaj go cronem albo Airflow. Między nocnymi ładowaniami nowe raporty dostarczą webhooki (co 5 minut, podpis HMAC-SHA256).

Co jest w którym planie

Stronicowanie jest w każdym planie, bulk od Premium, a eksporty nocne i licencja komercyjna w Bourse API Pro. Lista wszystkich zbiorów: dokumentacja API.

Bourse dostarcza dane finansowe i informacje redakcyjne, których część jest generowana przez AI. Ta strona ma charakter wyłącznie edukacyjny. Nie jest spersonalizowaną poradą inwestycyjną ani rekomendacją kupna lub sprzedaży jakiegokolwiek instrumentu finansowego. Decyzje podejmujesz samodzielnie.