Lightnews — Scholar-powered news

Tobias Müller @tobilg.com · 2d

"Being helpful" to developers / researchers way the written goal of the other guy as well. That's a very vague justification though.

Lookup the original post and read the comments if you want to see what the users thought about it.

1

Tobias Müller @tobilg.com · 2d

The last time it wasn't about anonymous downloads, it was about users being part of datasets that can be used for machine learning etc. without giving consent. You even hydrate the data now.

And you can't control what people are doing with the data once they download it... It's a thin line I'd say.

1 2

Tobias Müller @tobilg.com · 2d

You don't own the data generated by users, I'm not a lawyer but I don't think you can just re-license content that doesn't belong to you originally. This is not how this works IMO.

Last year, the guy who prepared the dataset allegedly received personal threads, and a very negative 404 article.

1 1

Tobias Müller @tobilg.com · 2d

Last November there was a huge outcry about a published dataset of 1 million (public) posts, that weren't even hydrated with additional data, or with ML models...

I really wonder why there's no community fallout this time. Or please explain why this is different this time.

1 2

Tobias Müller @tobilg.com · 2d

Appreciate your work! Pushing the data to R2 should „just“ be a S3 Bucket Event on ObjectCreate and a triggered Lambda function that syncs the object to R2 away from the current implementation…

I realize how the community opinion about publishing full datasets has shifted apparently…

2

Tobias Müller @tobilg.com · 2d

Why not use R2 that has no egress fees? It‘s S3 API compatible as well…

1 2

Tobias Müller @tobilg.com · 8d

Auch nach 100m kann dich jemand über den Haufen fahren, die Distanz ist völlig egal... Schon aus reinem Selbstschutz sollte man ein Interesse haben einen Helm zu tragen. Und Fahrfehler passieren ebenfalls.

Aber muss wohl jeder selber wissen, ich persönlich werde das nie verstehen...

Tobias Müller @tobilg.com · 8d

und c) weil ich das auch als Vorbild schlecht von meinen Kinder verlangen kann auf ihrem stark befahrenen Schulweg einen Helm zu tragen wenn es selbst nicht tue...

1

Tobias Müller @tobilg.com · 8d

Gut, das ist dann halt wie im echten Leben, Unwissen oder Versehen schützt vor Strafe nicht.

Ist halt aus meiner Sicht ein schlechtes Argument gegen Helme tragen...

Ich fahre ca. 3000km Rad, nur mit Helm, weil ich a) schon dutzende Male fast angefahren wurde, und b) selbst schon gestürzt bin.

1

Tobias Müller @tobilg.com · 8d

Krass, ich denke da ist Deutschland dann in 20 Jahren soweit 😂

Ich bin ja kein absoluter Verfechter einer Helmpflicht, aber ich denke es gab exakt die gleichen Diskussionen bei der Einführung der Gurtpflicht beim Auto.

Und die hat retrospektiv betrachtet wahrscheinlich zehntausende Leben gerettet

1

Tobias Müller @tobilg.com · 8d

I published a new version of my dns @duckdb.org extension yesterday, with some improvements and v1.4.1 compatibility:

duckdb.org/community_ex...

dns

DuckDB Community Extensions The DNS Extension enables DNS lookups and reverse DNS lookups from within DuckDB

duckdb.org

3

Tobias Müller @tobilg.com · 8d

Wenn du mit dem Auto fahren würdest und der Führerschein läge zuhause und du wirst kontrolliert gäbe es zumindest in D auch ein Bußgeld… 💁🏼‍♂️

1 1

Tobias Müller @tobilg.com · 8d

If you store all Firehose / Jetstream events, this will get costly pretty quick if you want unlimited data retention on object storage.

Can you elaborate on the use case?

1

Tobias Müller @tobilg.com · 8d

I‘m running the Bluesky Firehose through @duckdb.org for microbatch „streaming“ analytics: skyfirehose.com

Works pretty well.

skyfirehose.com - Query the Bluesky Jetstream with DuckDB

skyfirehose.com

2

Tobias Müller @tobilg.com · 8d

Have you tried the pg_duck Postgres extension?

motherduck.com/blog/pg-duck...

Announcing Pg_duckdb Version 1.0 - MotherDuck Blog

PostgreSQL gets a DuckDB-flavored power-up for faster analytical queries without ever leaving Postgres. | Reading time: 6 min read

motherduck.com

2

Tobias Müller @tobilg.com · 8d

Unfortunately I had to cancel on short notice, looked great from the agenda

Tobias Müller @tobilg.com · 9d

Die haben aber ein funktionierendes, vom normalen Netz abgekoppeltes Netz für die Shinkansen... Wir nicht.

1

Tobias Müller @tobilg.com · 9d

Sehe ich persönlich anders... Es wäre wichtiger gewesen die "normalen" Schienenprojekte zu verbessern und Neubaustrecken zu bauen wo nötig.

Transrapid ist viel zu teuer und die Kapazitäten zu gering. In Japan hat das nun auf 35 Jahre gebraucht bis die ersten Strecken gebaut werden.

1

Tobias Müller @tobilg.com · 9d

Yes, it works! Thanks for your help and support!

Tobias Müller @tobilg.com · 9d

Yes, this is a @quinnypig.com sub-skeet:

Tobias Müller @tobilg.com · 9d

Was passiert wenn man das in D machen möchte kann man seit ca. 3 Jahrzehnten bzgl. Neubaustrecke / Ausbau Bestandsstrecke HH -> H sehen.

Ich glaube ich werde das nicht mehr erleben dass da ein Zug fährt.

1

Tobias Müller @tobilg.com · 9d

…welche nicht den Großteil ihres Streckennetzes mit Güter- und Regionalzügen teilen müssen… 🤷🏼‍♂️

1

Tobias Müller @tobilg.com · 9d

Yes, but IMO it‘ll use the local code in the context it’s sending to the model, so this will have an effect as well I guess, just at another position in the (tool) call chain.

And possibly a cost effect as well (input/output tokens)… I‘m not an expert in this area though, and very open to insights

Tobias Müller @tobilg.com · 9d

It has a context limitation to 20k tokens as far as I understood. This could be a limiting factor, but usually it works for the repos I use it with.

Cloning the repos is a valid fallback I guess, not sure about the impact on context size tbh.

Do you manually point Claude to the code?

1 1

Tobias Müller @tobilg.com · 9d

That’s the one I used as well

1