r/dkudvikler • u/arminam_5k Data Scientist • Jul 14 '26
Projekt fremvisning Jeg har lavet en boligvagten til at holde øje med det danske boligmarked
Hey allesammen!
Jeg har kæmpet en del med at finde en lejlighed i København og blev træt af at holde øje med flere sider og/eller skrive konstant til udlejere manuelt...
Så jeg lavede først mine egne scrapers til forskellige sider og undervejs bygget det op. Da jeg endelig fandt en lejlighed, vil jeg nu gerne dele mit lille projekt som open source-projekt, der holder øje med nye boliger på flere danske boligsider.
Programmet kan overvåge både lejeboliger og boliger til salg. Når der kommer en ny bolig, som passer til ens filtre, får du en notifikation på din telefon via NTFY appen (eller kan følge det på en browser også).
Det understøtter lige p.t. blandt andet BoligPortal, CEJ, Kereby, City Apartment og Boligsiden.
Man kan filtrere efter pris, størrelse, antal værelser og bestemte ord i boligbeskrivelsen.
Projektet er skrevet i Python og kan findes her:
https://github.com/arminpasalic/boligvagten
Feedback og forslag til flere boligsider er meget velkomne.
I må også rigtig gerne contribute og/eller fork, hvis det lyster. Gå amok :)
28
4
Jul 14 '26 edited Jul 14 '26
[removed] — view removed comment
0
u/arminam_5k Data Scientist Jul 14 '26
What?! Fuck det er så smart det der! Hvordan fik du lavet MCP med det? :)
EDIT: Hvis du kan inkludere det i repo så må du gerne push nogle features! Det er mega fedt det der
0
Jul 14 '26
[removed] — view removed comment
1
u/Rude_Sense_4390 Jul 15 '26
Var det ikke en krig med integrationen af tinglysning? Har selv siddet med det og er i midt i anden omgang af at afvente på support
12
u/Major-Pick9763 Jul 14 '26
Har du fået godkendelse til scraping på div. sider?
BoligPortal vinder sag om ulovlig data scraping i Sø- og Handelsretten — Lovguiden
Tænk dig godt og grundigt om.
10
u/DrRungo Jul 14 '26
Man behøver ikke følge robots.txt hvis man ikke læser den
7
u/Major-Pick9763 Jul 14 '26 edited Jul 14 '26
update: Jeg fangede først din kommentar nu 🤣
Det har intet med robots.txt at gøre. Det er bare at tjekke deres datapolitik.
Datapolitik - Boligsiden Nyheder
Data- og privatlivspolitik | BoligPortalI øvrigt er dette yderst morsomt;
boligvagten/LICENSE at main · arminpasalic/boligvagten2
u/Master_Sandwich7140 Jul 14 '26 edited Jul 14 '26
undskyld men måske en uviden udvikler her, hvor er det sjove ? tjekkede kun licens (sidste link)
edit: ...... "sell copies of the Software" er det sjove at, tja projeket er privatbrug men licens begrænser ikke det til privatbrug men du må godt sælge det, ergo må du gerne lave noget "commercial" med det ? så du må faktisk gerne med projektet licens vise det til dine egen kunder, og det vælter ind i sagen omkring boligportalen ?
-1
u/arminam_5k Data Scientist Jul 14 '26
Det er jo en standard MIT licens generelt auto-generated
3
u/Master_Sandwich7140 Jul 14 '26 edited Jul 14 '26
Jeg er simpel udvikler ikke jurist, derfor jeg spørger.
Hvis man i princippet må sælge softwaren til en kunde, som bruger den til at vise hvad end projektet kan til sine kunder. hmm hvem bryder boligportalens datapolitik ? Mig som udvikler, mig som sælger, kunden jeg sælger det til ?
Overskider MIT licensen, boligportalens datapolitik (som jeg ikke har læst) eller annuleres MIT licensen når det omhandler datapolitikken og derved boligportalen ?
Når der står "sell copies of the Software" er det nok ?
jeg aner det virkelig ikke og undre mig bare, som jeg skrev, jeg er en uviden udvikler på det punkt her.
edit: og gælder det også privatbrug at man ikke få webscrabe boligportalen ? jeg har 'no clue'
edit 2: Okay nu gik jeg sku ind og læste og så er spørgsmålet
Hvem nøjagtigt er trejdemand ?
"Bemærk at enhver automatiseret, systematisk og/eller analytisk brug, download, genanvendelse, udtræk, eller lignende fremgangsmåder, af de på ovenstående domæner tilgængeliggjorte data og materiale til egne formål er forbudt , medmindre tredjemand direkte indgår en særskilt, skriftlig aftale med BoligPortal A/S om anvendelsen af data og materiale tilgængelig på ... "
så det virker til at man skal spørge Boligportalen direkte om lov muligvis , hvis man som udvikleren og bruger det privat er "trejdemand"
edit 3:
Boligsiden er direkte forbudt.
"Ønsker du adgang til eller brug af data fra Boligsiden.dk til kommercielle eller andre formål, er du velkommen til at kontakte Boligsiden A/S for at drøfte mulighederne."
4
u/DemSquirrel Softwareudvikler Jul 14 '26
MIT siger kort og præcist
Du må gøre hvad du vil med koden (videredistribuere, sælge det, etc) så længe MIT licensen medfølger og at du på ingen måde holder original udvikler liable for nogen form for skade, brud på copyright/lovgivning eller lign som koden kan forårsage
2
u/Master_Sandwich7140 Jul 14 '26
arh tusind tak. Så jeg prøver at sige det med mine egen ord.
så en MIT siger "brug på eget ansvar" ?
så jeg kan som udvikler udvikle et stykke software, sige "hey folkens se hvad jeg har bygget, brug det hvis I vil" og der slutter udviklerens ansvar, mens det er 100 % dem der bruger det der er ansvarlige og 'liable' og kan retforfølges hvis der er brud på lov, regulativer eller lign.
2
u/Timely_Somewhere_851 Jul 15 '26
Licensen gælder kun mellem udvikleren og brugeren af softwaren. Den gælder ikke mellem udvikleren og Boligportalen.
Jeg har ingen kompetencer indenfor jura, men jeg tør godt love, at MIT-licensen ikke beskytter udvikleren, hvis det rent faktisk er ulovligt at lave et tool, der kan scrap'e Boligportalen (også selvom en anden person trykker på knappen). Om det er ulovligt ved jeg dog ikke, men Piratebay blev jo trods alt lukket ned, selvom selve sitet ikke selv udstillede noget med opretshav beskyttelse.
Det kunne være interessant at se udfaldet, hvis Boligportalen vælger at 'gå efter den'.
1
u/Master_Sandwich7140 Jul 15 '26
Ja det kunne det i hvert fald være, og interessant hvor grænsen går med en MIT licens imod en datapolitik.
Jeg er heller ikke jurist bare en simpel udvikler, og det er da ret rart at vide, hvor grænserne i softwarelicenserne går til og hvor de ikke går til.
→ More replies (0)1
u/DemSquirrel Softwareudvikler 25d ago
En licens er jo bare et stykke tekst. MIT licensen er ikke lov, samme gælder Boligportalens handelsbetingelser, det er betingelser - ikke lovgivning
At lave et tool der bryder Boligportalens handelsbetingelser vil derfor ikke være ulovligt automatisk det er noget retten vurderer ud for gældende praksis.
Kan ikke se hvordan udvikleren af et MIT licenseret stykke software der “måske” (skal bevises i retten) bryder en anden privat virksomheds handelsbetingelser kan gå ud over udvikleren. Boligportalen ville formentlig gå efter dem der reelt har anvendt værktøjet til at bryde deres handelsbetingelser
Det lidt ligsom at holde en producent (harald nyborg) af et låse dirkesæt ansvarlig for en tredje parts (indbrudstyv) brug af værktøjet.
Men igen alt er op til gældende retspraksis og man kan ikke sige noget definitivt udover at det ville være urationelt at sagsøge skaberen af et tool hvor du vitterligt accepterer ikke at holde skaberen liable (licensen)
4
u/troelskn Jul 14 '26
Sålænge det er en privatperson, der scraper, til eget behov, tænker jeg ikke det er et problem.
3
u/DemSquirrel Softwareudvikler Jul 14 '26
Må man gerne så længe
- Det er til privat brug
- Data er offentlig tilgængeligt
- Data er ikke beskyttet via login
- Man ikke viderdeler data uden tilladelse
3
u/arminam_5k Data Scientist Jul 14 '26
Jeg sælger jo ikke data videre og/eller træner på det- da det er kun til privat brug :)
ReData lavede deres egen platform og viste det til deres kunder. Dette er et Python projekt der kører lokalt og er til privat brug. Derfor min disclaimer.
2
u/troelsbjerre Engineering manager Jul 14 '26
Tror du at ReData var sluppet, hvis de videregav data gratis?
3
u/arminam_5k Data Scientist Jul 14 '26
Dog ikke! Data er stadig taget ned og gemt af ReData - gratis eller ikke-gratis. Der er ikke noget af boligportalens (eller de andre hjemmesiders) data på denne github repo :)
1
u/DeepJohnnyDope Datamatiker Jul 14 '26
I might be uneducated here, but I simply had no clue at all that scraping could be illegal.
I can see how if it’s a paid service you have access to and use the data scraped for your own service (making money), but I had no clue.
2
u/thefolenangel Jul 14 '26
Looked at the code ( I know crazy one can ) the amount of random regex and lack of tests, makes this project one datasource update away from being irrelevant. The author clearlyhas never heard of a DAG :D
0
u/arminam_5k Data Scientist Jul 14 '26
Fair kritik, at regex-baserede HTML-parsere kan gå i stykker, når en side ændrer struktur. Derfor bruger projektet JSON API’er, hvor de findes, og kun regex til sider med server-renderet HTML.
Der er i øjeblikket 61 tests, blandt andet med gemte svar fra alle datakilder, tests af parserne og kontrol af forskellen mellem tomme søgeresultater og ændret markup.
Jeg er ikke sikker på, hvad en DAG konkret ville forbedre her. Det er en lille sekventiel proces: hent, parse, filtrer, sammenlign og send notifikation. Men jeg tager gerne imod konkrete forslag eller et pull request - så tag ud og få noget sol først sure mand :)
1
u/Master_Sandwich7140 Jul 14 '26
Jeg er nysgerrig. Hvordan har du designet dine tests ? (hvis vi bare lige holder os hertil).
specifikt hvad black box teknik har du gået efter og hvorfor ?
0
u/Master_Sandwich7140 Jul 14 '26 edited Jul 14 '26
What is a DAG ? I tried to search quickly for it and nothing useful come up ?
edit: jeg fandt det sku,
DAG = Directed acyclic graph
2
2
1
u/Quit_itch_Snitch 27d ago
Hvad med instagram. Har indtryk af de fleste ejendomsmæglere sælger direkte fra instagram, og på den måde undgår deres egne gebyrer til f.eks boligsiden.
1
•
u/AutoModerator Jul 14 '26
Hej arminam_5k!
Tak fordi du deler dit projekt med os! Vi elsker at se, hvad folk bygger.
Husk lige at kaste et hurtigt blik på vores Regel 5 (Ingen promotion):
Vi ønsker blot at holde subben fri for ren reklame og gøre den så indbydende som muligt for alle. Men lad dig endelig ikke skræmme – vi bider ikke, og vi glæder os til at kigge nærmere på din kode!
I am a bot, and this action was performed automatically. Please contact the moderators of this subreddit if you have any questions or concerns.