VOD 202-205 PolsatBox

[azman]

Cześć @sky02 

Jakiś na szybko pomysł jak z tego bałaganu wyciągnąć tylko te wartościowe informacje.

<programme start="20230918103000 +0200" stop="20230918115800 +0200" channel="1:0:1:40:1964:13E:820000:0:0:0:">
    <title lang="pl">Kryptonim Banshee</title>
    <desc lang="pl">Zamów film. Cena 4.90zł.
Wyślij SMS Numer-Karty-z-Dekodera.KXCK na numer 7043* lub skorzystaj z Prostego Zamawiania VOD - wciśnij "i"

Zamawiaj filmy bez podawania numeru karty dekodera! Proste Zamawianie VOD: więcej w iPolsat Box lub u naszych Konsultantów.

Tytuł oryg.: Code Name Banshee
Film akcji (USA, 2022)
Obsada: Jaime King, Antonio Banderas, Tommy Flanagan
Caleb, zabójca działający na zlecenie rządku musi się ukrywać kiedy jego ex-partner zabójca dostaje na niego zlecenie. (P)
Reż.: Jon Keeyes
Od lat: 16

Zamów "Pakiet VOD" i oglądaj filmy bez opłat. Szczegóły na polsatbox.pl

Zamów dostęp do filmu:
- Wyślij SMS o treści Numer-Karty-z-Dekodera.KXCK na numer 7043* i skorzystaj z 'Portmonetki'**;
-zadzwoń do nas: 801 08 08 08, 222 127 222, 699 00 22 22*

Kup dostęp do filmu:
=&gt; SMSem - wyślij Numer-Karty-z-Dekodera.KXCK na numer 91010 (12,30 zł z VAT);
=&gt; zapłać kartą /przelewem - zaloguj się do iPolsat Box.

Sprawdź dostępność filmu: wciśnij na pilocie "i"; na polsatbox.pl lub zadzwoń do nas. 
Kupując dostęp SMSem akceptujesz liczbę udostępnień filmu.
Zamawiając film tracisz prawo do odstąpienia.

Więcej filmów na polsatboxgo.pl

*opłata zgodna z posiadaną taryfą 
**Regulamin dostępny na polsatbox.pl/rvod</desc>
  </programme>

[sky02]

Witaj @azman myślę, że da radę to ogarnąć skryptem .ps1 A channel="1:0:1:40:1964:13E:820000:0:0:0:" przez marge zmieć można na :
<channel id="VOD202.pl">
<display-name lang="pl">VOD 202</display-name>
Podeślij to epg do vod spróbuję coś skrobnąć

[azman]

Ależ proszę bardzo

Zacząłem sobie takie tam testy i zrzucam trochę danych EIT (dla tych co nie wiedzą dane EPG nadawane w Transport Stream razem z obrazem i audio kanałów z danego transpondera satelitarnego) niestety dla VOD to jest tych danych na jakieś 12h

Testuję parę pomysłów na bazie dvbsnoop, skryptów oraz zadań crone.

Wszystko ląduje na By zobaczyć linki musisz się zalogować lub zarejestrować.
epg.xml - z jednego pluginu
epgexprt - z drugiego pluginu ( dopisać sobie rozszerzenie xml) i z tego obecnie korzystam.
Oraz bezpośrednio z Transport Stream operatora jego nadawane EPG w formacie EIT przekonwerterowane do XML w plikach vod202.xml i tak dalej vod20X.xml

By zobaczyć linki musisz się zalogować lub zarejestrować.
By zobaczyć linki musisz się zalogować lub zarejestrować.
By zobaczyć linki musisz się zalogować lub zarejestrować.

Brakuje mi czasu nad głębszym zastanowieniem się ale w merge.ini jak by dodał argument 
description.scrub {multi(exclude=xxxx)
To coś może z tego by było jak znajdę czas to się pobawię i ewentualnie dane wynikowe przepuszczę przez IMDB oraz FW o ile się uda z tego bałaganu wydobyć i przepisać w odpowiednie sekcje te najwartościowsze dane.

Jak się komuś chce to zapraszam do współpracy.

Obecnie dane EIT czy OpenEPG można bez problemu pozyskać czy to z SAT czy DVB-T, następnie je odpowiednio przetworzyć i uzyskać o wiele ciekawsze dane niż te które nadaje operator.

Zatem Panowie do dzieła jak macie czas.
Jak ktoś jest bardzo zainteresowany to podam kilka narzędzi w PY czy C++

[sky02]

Oj przyznam się teraz, że nie mam pomysłu jak to oczyścić. Wszystko upchali w <desc.......</desc>  Można to olać i zostawić tylko <title bo to faktycznie jest irytujące.
A to:
<title lang="pl">INFO - WCIŚNIJ PRZYCISK 'I' LUB 'EPG'</title>
 zmienić na:
 <title lang="pl">Za chwilę następny film</title>

[azman]

@sky02 

Do merge.ini dodałem

index_description.modify {remove(type=paragraph)|11}
description.modify {remove(type=paragraph)|11}

Trzeba się tu pobawić z tym command {remove(type=xxxx)|xx}

Cytuję
        ◦ Possible values are :
    • type=char (the indices specify character positions or length)
    • type=word (the indices specify word positions or length)
    • type=sentence (the indices specify sentence positions or length)
    • type=paragraph (the indices specify the paragraph position or length)
    • type=element (the indices specify element positions or length in case of multi value elements, see 4.6.1.3)
        ◦ Argument type is also used to specify other forms of expression-1 values:
    • type=string (default, expression-1 is specified as string, no indices)
    • type=regex must be used to indicate the use of a regular expression in expression-1 (see 4.6.1.5 Expression-1 with 'regular expressions')

Po tym zabiegu mam tak:

<programme start="20230919090000 +0200" stop="20230919114200 +0200" channel="VOD202.pl">
    <title lang="pl">John Wick 4</title>
    <desc lang="pl">Zamów dostęp. Cena 15.00 zł. Wyślij SMS o treści Numer-Karty-z-Dekodera.KXCT na numer 7043* lub skorzystaj z Prostego Zamawiania VOD - wciśnij "i" Zamawiaj filmy bez podawania numeru karty dekodera! Więcej w iPolsat Box lub zadzwoń do nas 801 08 08 08 i zapytaj Konsultanta o Proste Zamawianie VOD. Tytuł oryg.: John Wick: Chapter 4 Film akcji (USA, 2023) Obsada: Keanu Reeves, Donnie Yen, Bill Skarsgard, Laurence Fishburne, Ian McShane John Wick odkrywa sposób na pokonanie Gildii Zabójców. Zanim jednak odzyska wolność, będzie musiał stawić czoła nowemu wrogowi i jego sojusznikom, z którymi stoczy walki na kilku kontynentach. (P) Reż.: Chad Stahelski Od lat: 16.</desc>

Jest lepiej ale jeszcze nie to co chcę.
Jak się pozbyć tych pierwszych 2-3 akapitów?

Za groma nie rozumiem tej dokumentacji WG++

Jak dobrze odszyfrowałem to co w dokumentacji jest to można również z /desc przepisać dane do innych pozycji typu actor, director, category i tak dalej.

Za tydzień lub dwa będę miał możliwość zrzucania EIT z innego boxa, obecnie ogarniam na swoim gdzie cron uruchamia mi skrypt  który włącza pozyskiwanie danych EIT ustawia na odpowiedni transponder czeka 5 min aż dane spłyną potem wyłącza EIT i przełącza z powrotem na jakiś normalniejszy kanał. W następnej kolejności wykonują się exporty danych z epgcache do plików xml i są przesyłane na ftp.
Z tego co obserwuję to PB skromnie nadaje ten przewodnik dla VOD jest go na całe 12-14h. A inne kanały PB dostają również z tego transpondera EIT na 7 dni, ot ciekawostka.

[sky02]

"Z tego co obserwuję to PB skromnie nadaje ten przewodnik dla VOD jest go na całe 12-14h." I to myślę, że jest największym kłopotem, przynajmniej jak dla mnie. Ja tylko raz dziennie wrzucam świeże epg po 7:00 a generowane, jest w nocy. Więc po 16:00 (obliczone na oko) tego dnia epg te kanały już nie będą posiadać. A co za tym idzie, będzie dziura, więc nie zadziała archiwum. A i ludzie raczej nie zauważą Twojej pracy, bo większość ludzi tv ogląda po południu. Pewnie ramówka się powtarza i można by było to zbadać lub generować 2 razy dziennie. A to znów problem, by namówić ludzi by aktualizowali epg np. co 6 godzi. Większość użytkowników ma ustawione raz dziennie. Czy ma to sens? Tyle zachodu dla paru kanałów VOD

[azman]

Jak zwykle niezawodny @Blackbear199 z forum WG++ poprawił moje wypociny i dopisał od siebie kilka komend.
Końcowo mam już całkiem odfiltrowane ze śmieci i poukładane wydarzenie.

Kolejny krok do przodu

<programme start="20230920024200 +0200" stop="20230920030000 +0200" channel="VOD202.pl">
    <title lang="pl">John Wick: Chapter 4</title>
    <desc lang="pl">John Wick odkrywa sposób na pokonanie Gildii Zabójców. Zanim jednak odzyska wolność, będzie musiał stawić czoła nowemu wrogowi i jego sojusznikom, z którymi stoczy walki na kilku kontynentach. (P).</desc>
    <credits>
      <director>Chad Stahelski</director>
      <actor>Keanu Reeves</actor>
      <actor>Donnie Yen</actor>
      <actor>Bill Skarsgard</actor>
      <actor>Laurence Fishburne</actor>
      <actor>Ian McShane</actor>
    </credits>
    <date>2023</date>
    <category lang="pl">Film akcji</category>
    <country lang="pl">USA</country>
    <rating system="PL">
      <value>16</value>
    </rating>
  </programme>

Pozostaje teraz tylko skupić się na pozyskaniu danych via sat. A z tym jest pewien problem. Ja mam całkowicie wyłączone w boxie pobieranie tych danych i jak pisałem wcześniej o 2 w nocy uruchamia mi się skrypt włącza EIT na 5 min. i to co w tym czasie spłynie jest konwertowane do XML i wysyłane na FTP.

Dziś włączę to EIT na cały dzień i zobaczę czy tych danych z czasem nie przybywa tak aby złapać wydarzenia choć na 24H albo co najmniej 16-18h. 

No cóż bawimy się dalej.



-----------------------------
Trochę dziś potestowałem ten transponder polsatu.
Wygląda na to, że jak zatrzymam się na kanale z tego transpondera na dłużej niż 3-5 min to po pewnym czasie około 15 min spłyną dane przewodnika na całą dobę.

Około 12:00-13:00 spływają większe paczki danych tak mi się wydaje w których zawarty jest przewodnik aż do godziny 13:00 -13:30 następnego dnia.

O godzinie 18 wyczyściłem cache w boxie i ponownie zacząłem logować dane i tym razem też po dłuższej chwili dostałem przewodnik do godz. 13:30 kolejnego dnia.

Chyba bało by radę logować to wszystko tak by się przewodnik zazębiał i nie powstawały dziury.

Poprawiłem delikatnie ini i obecnie jest już całkiem znośnie.



Jak chcesz pliki do zabawy to odezwij się dam ci namiar na XML kanałów VOD i plik merge.ini pod to.

---

Podziękowali: sky02, paul

[azman]

@sky02

EPG dla VOD ruszyło produkcyjnie. Po tygodniu doszlifowałem czasy odpalania skryptów i grabowania przewodnika.
Niestety nie da się przy jednym przebiegu uzyskać EPG na pełne 24h.
Jest dziura w EPG dla VOD w godzinach 1:30 do 7:00. Żeby nie było dziury mogę grabować dane nawet 3 razy dziennie tylko kto z odbiorców będzie pobierał dane więcej niż raz na dobę?

Pobieranie danych via SAT jest o 5:00
WG++ przetwarza dane o 6:00

Niestety procesy IMDB oraz FW dla wszystkich kanałów zajmują coraz więcej czasu ze względu na ilość obsługiwanych wydarzeń.

Gotowe pliki xml z wydarzeniami dla wszystkiego co tworzę lądują na FTP w okolicach 6:30 - 7:00 ale nie wiem czy nie będę musiał tego trochę przesunąć do przodu.

Tak więc zalecam pobierać wynikowe pliki z przewodnikiem nie wcześniej jak o 7:00

Miłej zabawy, pozdrawiam

---

Podziękowali: paul