Vision/mål

Klargör målet med Arkiveringen.

Allmänna handlingar

Sveriges Kommuner och Landstings promemoria, Sociala medier och handlingsoffentligheten (2010)

• Myndigheten bör fatta ett generellt gallringsbeslut om att handlingar som är av tillfällig eller ringa karaktär får gallras när de inte längre är aktuella.

• Sammanfattningsvis torde alla inlägg som görs på ett socialt medium vara att betrakta som allmänna handlingar om det sker inom ramen för myndighetens verksamhet

Forskning

Att äga sin data

Några exempel:

Dokumentation av nuet?

Livet efter detta?

Become virtually immortal

http://eterni.me/

Riskhantering

Identifiera de risker som det kan innebära att arkivera Sociala medier

Användarvillkor

Instagram

Användarvillkor

Facebook

Användarvillkor

Twitter

"crawling the Services is permissible if done in accordance with the provisions of the robots.txt file"

Användarvillkor

Robots.txt

# Every bot that might possibly read and respect this file.
User-agent: *
Allow: /*?lang=
Allow: /hashtag/*?src=
Allow: /search?q=%23
Disallow: /search/realtime
Disallow: /search/users
Disallow: /search/*/grid
Disallow: /*?
Disallow: /*/followers
Disallow: /*/following
# Wait 1 second between successive requests. See ONBOARD-2698 for details.
Crawl-delay: 1     

Användarvillkor

Robots.txt

# Notice: Crawling Facebook is prohibited unless you have express written
# permission. See: http://www.facebook.com/apps/site_scraping_tos_terms.php
User-agent: ia_archiver
Disallow: /
Disallow: /ajax/
Disallow: /album.php
Disallow: /checkpoint/
Disallow: /contact_importer/
Disallow: /feeds/
Disallow: /file_download.php
Disallow: /hashtag/
Disallow: /l.php
Disallow: /live/
Disallow: /moments_app/
Disallow: /p.php
Disallow: /photo.php
Disallow: /photos.php
Disallow: /sharer/
        

Upphovsrätt

Du äger allt innehåll och all information som du publicerar på Facebook... 

...För innehåll som skyddas av upphovsrätten,  ger du oss... en icke-exklusiv, överföringsbar, vidarelicensierbar, royaltyfri, global licens att använda allt Skyddat innehåll som du publicerar på eller i anslutning till Facebook...

...licensen upphör att gälla när du tar bort ditt Skyddade innehåll eller ditt konto, förutsatt att innehållet inte delats med andra som inte tagit bort det.

Andra utmaningar

Webbsidor är komplexa objekt med många beroenden

Bevarande

Besluta om hur bevarandet av det insamlade materialet ska ske

Format

Vanliga format vid webbarkivering

WARC

Warc-records, kan vara av typerna:

• warcinfo
• response
• resource  
• request
• metadata
• revisit
• conversion
• continuation

WARC

Exempel på WARC

WARC/1.0
WARC-Type: warcinfo
WARC-Date: 2006-09-19T17:20:14Z
WARC-Record-ID: <urn:uuid:d7ae5c10-e6b3-4d27-967d-34780c58ba39>
Content-Type: application/warc-fields
Content-Length: 381
software: Heritrix 1.12.0 http://crawler.archive.org
hostname: crawling017.archive.org
ip: 207.241.227.234
isPartOf: testcrawl-20050708
description: testcrawl with WARC output
operator: IA_Admin
http-header-user-agent:
Mozilla/5.0 (compatible; heritrix/1.4.0 +http://crawler.archive.org)
format: WARC file version 1.0
conformsTo:
http://www.archive.org/documents/WarcFileFormat-1.0.html

WARC/1.0
WARC-Type: request
WARC-Target-URI: http://www.archive.org/images/logoc.jpg
WARC-Warcinfo-ID: <urn:uuid:d7ae5c10-e6b3-4d27-967d-34780c58ba39>
WARC-Date: 2006-09-19T17:20:24Z
Content-Length: 236
WARC-Record-ID: <urn:uuid:4885803b-eebd-4b27-a090-144450c11594>
Content-Type: application/http;msgtype=request
WARC-Concurrent-To: <urn:uuid:92283950-ef2f-4d72-b224-f54c6ec90bb0>
GET /images/logoc.jpg HTTP/1.0
User-Agent: Mozilla/5.0 (compatible; heritrix/1.10.0)
From: stack@example.org
Connection: close
Referer: http://www.archive.org/
Host: www.archive.org
Cookie: PHPSESSID=009d7bb11022f80605aa87e18224d824

WARCINFO

REQUEST

RESPONSE

MAFF

MOZILLA ARCHIVE FILE FORMAT

http://maf.mozdev.org/maff-specification.html

+

ZIP

JSON

Javascript object notation

{
  "feed": {
    "data": [
      {
        "created_time": "2017-05-16T08:43:07+0000",
        "message": "Är du nyfiken på hur Göteborg växer? Besök utställningen Hela Göteborg!
Göteborg är en stad som växer, snabbt och mycket. Just nu pågår en stor satsning att göra Göteborg till en tätare, skönare, närmare och grönare storstad, en hållbar stad som är öppen för världen. Vill du veta mer så besök utställningen på Stadsbiblioteket som pågår mellan 18 maj och 1 juni. Här visas det växande Göteborg med digitala rundturer, virtuella promenader, föredrag, debatter och information. Utställningen berättar om hur, och varför staden växer, om aktuella och kommande stadsbyggnadsprojekt och att Göteborg växer med eftertanke och omtanke.

Mer information och detaljerat program hittar du på https://stadsutveckling.goteborg.se/helagoteborg",
        "story": "Göteborgs Stad added an event.",
        "id": "297953796980527_451460041868143"
      },
      {
        "created_time": "2017-05-15T13:47:16+0000",
        "message": "Ge oss ett par minuter av din tid – och dina åsikter! Scandinavium och Lisebergshallen är en del av Göteborgs evenemangsområde och ska ersättas av nya arenor. Vad vill du uppleva i framtidens evenemangsområde? 
Välkommen att besöka oss i stadens container. 
Du träffar oss på olika platser i Göteborg. 

17 maj kl 13-17 vid Netto, Backa-Röd
18 maj kl 13.00-19.00, utanför Frölunda Torg
20 maj kl 13.00-17.00, Gustaf Adolfs Torg
24 maj kl 11.00-16.00, vid Tuve Torg
30 maj kl 10.00-18.00, i Nordstan
31 maj kl 10.00-18.00, i Nordstan

Eller tyck till i formuläret på https://stadsutveckling.goteborg.se/evenemangsomradet",
        "story": "Göteborgs Stad added an event.",
        "id": "297953796980527_1355639631191261"
      },
      {
        "created_time": "2017-05-15T13:14:00+0000",
        "message": "Har du problem med alkohol eller spel om pengar? Eller har du någon i din närhet som dricker för mycket eller spelar för mycket om pengar? På Respons alkoholrådgivning, Spelberoendeteamet och Barnteamet kan du få stöd. Från och med 15 maj finns vi i nya, gemensamma lokaler på Första Långgatan 30.
Läs mer om oss här: www.goteborg.se/respons
www.goteborg.se/spelberoendeteamet
www.goteborg.se/barnteamet",
        "id": "297953796980527_1209945462448018"
      },
      {
        "created_time": "2017-05-15T11:13:57+0000",
        "message": "Hur ska vi bygga Göteborg i framtiden?  Vi vill veta vad du tycker!  Välkommen till samtal:
16 maj kl 17–19   Hur ska morgondagens stad se ut? Samtal på Stadsbiblioteket  Stadsbiblioteket, Trappscenen
18 maj kl 17–19  Hur ska morgondagens stad se ut? Samtal i Hammarkullen Hammarkullen, Folkets Hus 

Hur ska morgondagens stad se ut? Hur vill vi leva och bo i framtidens stad? Vad ska prioriteras? Vad vill vi lämna över till nästa generation?  Ett samtal om vad vi bygger, där alla inbjuds att delta, är viktigt för att stadsbyggandet ska vila på en så bred bas som möjligt. Vi vill göra Göteborg till en stad i världsklass, så kom och prata med oss om hur vi gör det. Vi vill veta vad du tycker! 

Du kan lämna synpunkter även om du inte kan komma till samtalen, läs mer på https://stadsutveckling.goteborg.se/arkitekturprogram",
        "id": "297953796980527_1209905685785329"
      },
      {
        "created_time": "2017-05-14T11:03:56+0000",
        "message": "Statistik hela Torslanda: 1995-2014 11 st inbrott. Lilleby camping flyktingboende 2016-2017 i Torslanda 9 st inbrott och 5 försök till våldtäkt. Jag har på det yttersta försökt att se/finna något gott i  flykting-invandring, men inte hittat någonting. Landsting/politiker skiter fullständigt i dom drabbade eller deras familjer, endast en mening har dom ( Det är så synd om dom och det dom 'drabbats' av i sina hemländer) Finns det någon som överhuvudtaget BRYR sig en sekund om det.När dom kommer hit skall dom väl RÄTTA sig efter våra  LAGAR och annat som också är våra FINA traditioner. Nu har 'deras' fina lekar också kommit till Torslanda skolan, att dra handflatan över halsen som i att skära halsen av någon blivit allt mer utbredd bland flykting'barnen' i Svenska skolor. När skall denna dårskap få ett slut.",
        "id": "297953796980527_1209121579197073"
      },
      {
        "created_time": "2017-05-13T18:53:50+0000",
        "message": "https://www.facebook.com/groups/Arkitekturupproret/",
        "story": "Johan Lyander shared a group to Göteborgs Stad's Timeline.",
        "id": "297953796980527_1208655162577048"
      },
      {
        "created_time": "2017-05-13T07:00:00+0000",
        "message": "Söker du söndagskul aktivitet? Kom på Tynneredsdagen på söndag 14 maj! En familjedag för alla åldrar arrangerad av stadsdelsförvaltningen Västra Göteborg tillsammans med föreningslivet. Följ länken för program -   
http://bit.ly/2qv9PM7",
        "id": "297953796980527_1206555842786980"
      },
      {
        "created_time": "2017-05-12T08:00:00+0000",
        "message": "Är du nyfiken på hur Göteborg växer? Besök utställningen Hela Göteborg!

Göteborg är en stad som växer, snabbt och mycket. Just nu pågår en stor satsning att göra Göteborg till en tätare, skönare, närmare och grönare storstad, en hållbar stad som är öppen för världen. Vill du veta mer så besök utställningen på Stadsbiblioteket som pågår mellan 18 maj och 1 juni. Här visas det växande Göteborg med digitala rundturer, virtuella promenader, föredrag, debatter och information. Utställningen berättar om hur, och varför staden växer, om aktuella och kommande stadsbyggnadsprojekt och att Göteborg växer med eftertanke och omtanke.

Mer information och detaljerat program hittar du på Stadsutveckling.goteborg.se/helagoteborg",
        "id": "297953796980527_1206553546120543"
      },
      {
        "created_time": "2017-05-11T10:30:00+0000",
        "message": "Teckenspråkets dag intar Göteborgs kulturarenor med en massa aktiviteter. Fredag 12 maj ordnar Teckenspråksforum en heldag på Göteborgs konstmuseum med föreläsningar om allt från normkritik till adoptivpappans väg in i teckenspråket. Se Tove Jansson-utställningen på en teckenspråksguidad visning eller lär dig vardagstecken. På teckenspråkets dag den 14 maj har Stadsbiblioteket sagostund på teckenspråk, Stadsmuseet teckenspråksguidade visningar och mycket mer. Här är hela programmet!",
        "id": "297953796980527_1205735639535667"
      },
      {
        "created_time": "2017-05-11T07:23:44+0000",
        "message": "Något för Styr och ställ?",
        "story": "Ulrika Särnblom Alergård shared a video to Göteborgs Stad's Timeline.",
        "id": "297953796980527_10154412451380951"
      },
      {
        "created_time": "2017-05-11T05:30:00+0000",
        "message": "Vad skulle du vilja göra i Brunnsparken i framtiden?  Fyll i formuläret på https://stadsutveckling.goteborg.se/brunnsparken , det tar bara någon minut. 
Just nu pågår en dialog och vi vill veta vad du tycker. 
- Brunnsparken är otydlig som platsen är idag, tycker Erik Johansson på Synskadades Riksförbund. Det är oklart var man förväntas gå, stå eller sitta om man vill det. Dessutom är här oerhört bullrigt, med alla spårvagnar som gnisslar och bussar som låter. Och så behöver belysningen förbättras, den är ojämn, vilket är känsligt inte minst för oss som ser sämre\" 
Håller du med?   

Lämna din synpunkter senast 12 maj.",
        "id": "297953796980527_1205777739531457"
      },
      {
        "created_time": "2017-05-10T14:09:48+0000",
        "message": "So now that ALL the Stora Åvägen traffic is routed down the quiet little backstreet of Datavägen, the fact that there are no crosswalks on Datavägen or speedbumps or anything makes it very dangerous to walk along and very difficult to cross.  Any plan to fix that or do we have to just jump in front of cars and hope for 3 months?",
        "id": "297953796980527_1205831482859416"
      },
      {
        "created_time": "2017-05-10T13:22:44+0000",
        "message": "Hej!
Är det sant att det kostar 30 miljoner att byta myntautomaterna bara i Göteborg?
Varför tänker man inte på att göra dem i samma storlek och vikt så man slipper byta?",
        "id": "297953796980527_1205802359528995"
      },
      {
        "created_time": "2017-05-10T11:40:55+0000",
        "message": "Idag öppnar Vetenskapsfestivalen. Över hela centrum finns möjlighet att testa olika typer av experiment, när Vetenskapsfestivalen öppnar för allmänheten den 10-14 maj. 
Följ Vetenskapsfestivalen Göteborg eller läs mer på 
http://vetenskapsfestivalen.se/for-alla/",
        "id": "297953796980527_1205738946202003"
      },
      {
        "created_time": "2017-05-10T06:22:23+0000",
        "message": "Någon gång händer det. Frågan är bara när. 
Lär dig mer om hur du kan förbereda dig för kriser.",
        "id": "297953796980527_1205592436216654"
      },
      {
        "created_time": "2017-05-09T12:13:37+0000",
        "message": "Närmare 7 000 parkeringar kommer att påverkas av byggen runt om i Göteborg de kommande åren. Ambitionen är att fullt ut ersätta de parkeringar som berörs, vilket är en utmaning.",
        "id": "297953796980527_1205012822941282"
      },
      {
        "created_time": "2017-05-09T08:01:09+0000",
        "message": "Snart flaggar Göteborg i regnbågens färger. Kom och fira med oss!",
        "story": "Göteborgs Stad shared their event.",
        "id": "297953796980527_1204887692953795"
      },
      {
        "created_time": "2017-05-09T07:46:33+0000",
        "message": "Göteborg flaggar i regnbågens färger - kom och fira med oss!

Hederstalare:  Saga Becker, skådespelare och vinnare av en Guldbagge 2015 för bästa kvinnliga huvudroll genom karaktären Sebastian/Ellie i filmen \"Nånting måste gå sönder\".
Hedersartist: Cameron Jai, deltagare i Idol 2016 och vinnare av QX-galans pris \"Årets trans\" 2017.

Göteborgs Stad representeras av: kommunalrådet Mariya Voyvodova (S), Patrik Nordin (Öppna Moderater),Yasmine Posio-Nilsson (V), ordförande i nämnden för konsument- och medborgarservice samt stadsdirektör Eva Hessman.

Göteborgs Stad deltar sedan 2007 aktivt i West Pride, tidigare HBTQ-festivalen. Utgångspunkten för Göteborgs Stads deltagande är att Göteborg ska vara en öppen och inkluderande stad – en stad för alla. Förutom flaggceremonin på Gustaf Adolfs torg deltar staden som utställare i Regnbågsparken och med en mängd lokala arrangemang. I den avslutande Regnbågsparaden går Göteborgs Stad under banderollen ”Göteborg – en stad för alla”.",
        "story": "Göteborgs Stad added an event.",
        "id": "297953796980527_289392341513081"
      },
      {
        "created_time": "2017-05-09T07:07:06+0000",
        "message": "Hej, Jag undrar hur länge det högra körfält kommer vara avstängt på Slakthusgatan (riktning mot Gamlestadsvägen)? Var kan man få mera information om denna avstängning?",
        "id": "297953796980527_1204863012956263"
      },
      {
        "created_time": "2017-05-09T04:09:35+0000",
        "message": "Hej!
Jag undrar när allt grus ska vara bortsopat på Hisingen?",
        "id": "297953796980527_1204780879631143"
      },
      {
        "created_time": "2017-05-08T13:30:00+0000",
        "message": "Det är 200 meter över vattnet, men känns mycket längre. Den nya Hisingsbron ska ena centrum med nya och gamla områden på Hisingen. På lördag tar vi första spadtaget. Välkommen att vara med på Lilla Bommens Torg från kl. 11.30!
Läs mer på http://goteborg.se/hisingsbron",
        "id": "297953796980527_1204185326357365"
      },
      {
        "created_time": "2017-05-08T12:52:30+0000",
        "message": "På fredag ska våra ungdomar grillar för dem hemlösa och utsatta folk på Göteborgs stan denna fredagskväll. Café Trappaner, Storgatan. Vi borjar kl. 16.00. Välkomna!
https://www.facebook.com/rapidreliefteamSE/",
        "id": "297953796980527_1204310343011530"
      },
      {
        "created_time": "2017-05-08T10:58:39+0000",
        "message": "Erika och Kerstin på kontaktcenter, jag har gjort 2 inlägg tidigare som i det ena fallet skulle ni återkomma och i det andra fallet skulle det hända något. Men, ingen återkoppling och inget gångjärn som är bytt. VARFÖR???",
        "id": "297953796980527_1204246359684595"
      },
      {
        "created_time": "2017-05-07T21:50:37+0000",
        "message": "Hej! Tack för trevlig sida.

Jag har en tanke kring skyltarna vid drottningtorget som ni kan se på bilden. 

Jag tänker att dessa skyltar kan vara svåra att tyda för de som inte förstår svenska. Jag skulle tolka skyltarna som att det är där jag -ska- gå, inte tvärt om. Kanske kan ni förbättra dessa? 

De är placerade vid drottningtorget där det borde passera många som inte kan svenska. 

Det är skyltar med texten \"OBS! Beträd ej spåret!\" ihop med en bild med gångtrafikanter och pilar som pekar åt det håll man inte ska gå, om jag förstår det rätt.",
        "id": "297953796980527_10155272327215948"
      },
      {
        "created_time": "2017-05-06T17:41:08+0000",
        "message": "Solig dag på Röda Sten, Göteborg ",
        "id": "297953796980527_10213283639748869"
      }
    ],
    "paging": {
      "cursors": {
        "before": "Q2c4U1pXNTBYM0YxWlhKNVgzTjBiM0o1WDJsa0R5TXlPVGM1TlRNM09UWTVPREExTWpjNk1UUTVOakk0T1RRMk56ZAzROemd3TlRBeU9BOE1ZAWEJwWDNOMGIzSjVYMmxrRHg4eU9UYzVOVE0zT1RZANU9EQTFNamRmTkRVeE5EWXdNRFF4T0RZANE1UUXpEd1IwYVcxbEJsa2F1NXNC",
        "after": "Q2c4U1pXNTBYM0YxWlhKNVgzTjBiM0o1WDJsa0R5UXlPVGM1TlRNM09UWTVPREExTWpjNkxUZA3dPVFl6TXpFNE9EVTNPRE00TkRVeU9Ea1BER0ZA3YVY5emRHOXllVjlwWkE4aE1qazNPVFV6TnprMk9UZA3dOVEkzWHpFd01qRXpNamd6TmpNNU56UTRPRFk1RHdSMGFXMWxCbGtPQ3JRQgZDZD"
      },
      "next": "https://graph.facebook.com/v2.9/297953796980527/feed?access_token=EAACEdEose0cBAIaHUSi5KPxQwD4OkiunwGNXWqtHhPbFHAxLqfB1ZBrJXQBMi1RlHzWKUByM2ZC8ZAkPAphryCZARsAiDxBPgx2ZAGK6FlKjVwp1vM9n1QbcN7IxaLjYICxJO7ZBXZByUQScdSDsfhhtjzGnKyf5SxZAR4XcaHNfAbKFX7nGgthm&pretty=0&limit=25&after=Q2c4U1pXNTBYM0YxWlhKNVgzTjBiM0o1WDJsa0R5UXlPVGM1TlRNM09UWTVPREExTWpjNkxUZA3dPVFl6TXpFNE9EVTNPRE00TkRVeU9Ea1BER0ZA3YVY5emRHOXllVjlwWkE4aE1qazNPVFV6TnprMk9UZA3dOVEkzWHpFd01qRXpNamd6TmpNNU56UTRPRFk1RHdSMGFXMWxCbGtPQ3JRQgZDZD"
    }
  },
  "id": "297953796980527"
}

Åtkomst

Besluta om och isåfall hur tillgängliggörandet av det arkiverade materialet ska ske.

Vad kan tillgängligöras?

Av upphovsrättsliga skäl kan det vara omöjligt att publicera sina webbinsamlingar på det publika internet.

©

Med vilken teknik?

Web Archive Player

Värdering/Urval

Vilka specifika webbkanaler ska bevaras ?

Urvalskriterier

Allt som är tillgängligt via Internet från de myndigheter Regionarkivet är arkivmyndighet för…

förutom:

•  interna webbsidor
•  lösenordsskyddade webbsidor
•  databaser bakom webbformulär

Urvalskriterier

Alla stadens externa digitala kanaler ska registreras.

Datafångst

Hur bevarandet ska gå till, vilka verktyg ska användas, vilka filformat ska arkiveras m.m.

Scraping, Crawling

Samma lika, men skillnad

Crawling - Iterativt hitta länkar och göra något med dom.  

Scraping - Extrahera (specifik) data från webbsidor och göra något med den

Crawling inte bästa sättet

Det vanliga verktygen funkar dåligt eller inte alls

• Heritrix
• HTTrack

De enklaste lösningarna

+ Arkivsäkert

+ Kräver Inga särskilda kunskaper

+ Kräver Ingen särskild utrustning

PDF

- Ostrukturerad data

- Begränsade presentationsmöjligheter

+ Sannolikt ok utifrån TOS

+ Bevarar utseende

De enklaste lösningarna

+ Hyfsat Arkivsäkert

+ Kräver Inga särskilda kunskaper

+ Kräver Ingen särskild utrustning

MAFF

- Data strukturerad efter utseende

- Begränsade presentationsmöjligheter

+ Sannolikt ok utifrån TOS

+ Bevarar utseende och upplevelse

WARCPROX

+ Hyfsat Arkivsäkert

- Kräver särskilda kunskaper

- Data strukturerad efter utseende

+ Bra presentationsmöjligheter

+ Sannolikt ok utifrån TOS

+ Bevarar utseende och upplevelse

WARCPROX

As a service

Skrapning av webbsidor

+ Arkivsäkert

- Kräver särskilda kunskaper

+ Data strukturerad efter vad det representerar

+ Skräddarsydda presentationsmöjligheter

- Datastruktur kan ändras när som helst

- Strider med största sannolikhet mot TOS

- Bevarar inte utseende

+ Data strukturerad efter vad det representerar

Skrapning av API:er

+ Arkivsäkert

- Kräver särskilda kunskaper

+ Data strukturerad efter vad det representerar

- Bevarar inte utseende

- Datastruktur kan ändras när som helst

- Strider med största sannolikhet mot TOS

https://github.com/DocNow/twarc

Twitter:

+ Skräddarsydda presentationsmöjligheter

https://developers.facebook.com/tools/explorer/

Facebook: