Archive for category bibliometri

Emtacl 2015: Dag 1, 20. april

Peter Morville: The Architecture of Understanding

Peter Morville begynte med å fortelle om sitt arbeid med Library of Congress: Han ble kalt inn for å hjelpe dem med å strukturere sin tilværelse på nett. Hundrevis av nettsider tilhørte LC, det var helt umulig å finne fram. Dette viste seg å være vanskelig å få orden på, mest pga. organisasjonskultur og måten LC var organisert på. De måtte ha utallige møter med personer i hele organisasjonen for å kommen noen vei. De klarte etter hvert å oppnå eierskap på høyeste nivå til prosessen, samtidig som de hadde kontakt med lavere nivåer. Når flest mulig får delta i en prosess fører det til eierskap. En må forandre selve kulturen, ikke bare overflaten.

Dan Ward viser i sin bok «The Simplicity Cycle» at jo flere forbedringer som blir gjort, jo mer komplekst blir systemet. Etter hvert når en et «tipping point» der flere forbedringer fører til lavere kvalitet. Da må en gå tilbake og gjøre systemet enklere igjen, og ta bort en del av «forbedringene». Dette er ofte en utfordring for en organisasjons kultur, da en kan ha en «forbedringskultur», eller «kompleksitetskultur». Det er f. eks. pga. dette at det ofte kan være vanskelig å få til nødvendige endringer i programvare: De som utvikler programvaren er vant til å legge til forbedringer og mer kompleksitet, liten kultur for forenkling. Dette har med informasjonsarkitektur å gjøre: Vi må ofte ta veien innom kompleksitet før vi går tilbake til enkelhet.

Å klassifisere og sette alt i kategorier er ikke feil, men det kan være farlig. Det har sine fordeler og ulemper. Kategorisering kan gi et feil eller forenklet bilde av situasjonen. De modellene vi har er ofte for enkle, vi må gå dypere inn i situasjonen. Å sette alt inn i klare kategorier er enkelt og derfor appellerende, men kategorier er som oftest mer «fuzzy» enn et oppsatt bilde gir inntrykk av.

På nettsider er det ofte kategoriene «i midten» brukere faktisk søker etter og trenger, de må framheves mer enn toppmenyene. Vi må forstå den konteksten våre brukere er i: Hva gjør de faktisk, i motsetning til hva de sier til oss?

For å forstå en organisasjon må vi kjenne dens historie: Hva var det som gav suksess tidlig, og senere har blitt «sementert» inn i organisasjonen som «common practice»? De fleste kan være villige til å forandre sine handlinger og sin praksis, men hva med overbevisninger? Dette henger mye hardere i oss, og er vanskelig å endre selv når det er nødvendig.

En må designe for enkelhet. Morville mener at systemer som Oria kan være en god begynnelse, der en legger opp til en søkeinngang, med mulighet for mer avansert bruk. Vi må ikke overvelde våre brukere!

Video av presentasjonen

David Nicholas: Emerging reputational mechanisms and platforms for scholars

Omdømme er ALT for en akademiker og et universitet. Dette har alltid vært veldig smalt definert: Fagfellevurdering, sitering, H-indeks og noen få lignende indikatorer har vært definerende. Dette fører til at en rekke viktige aktiviteter ikke måles eller belønnes.

Open Science forandrer på dette. Flere forsker og underviser enn tidligere, på flere arenaer. De tradisjonelle institusjonene er ikke lenger enerådende. Hvordan skal en måle denne aktiviteten? Hvorfor er vitenskapelige tidsskrifter fortsatt enerådende?

En EU-finansiert studie Nicholas ledet kom fram til 58 aktiviteter som akademikere driver med, og som en kan tenke seg å måle. Hvorfor legger en f. eks. ikke mer vekt på undervisning og veiledning? Hva med engasjement i samfunnsdebatten og samarbeid med amatørforskere? Hvorfor belønnes ikke den formidlingen gjennomslag i sosiale medier gir?

En undersøkelse av hva forskere i dag regner som sin viktigste aktivitet viser at forskning settes høyest. Det bør kanskje forbli slik, men er det ønskelig at administrativt arbeid settes nest nederst, og sosiale medier aller nederst? Burde ikke undervisning komme høyere enn midt på lista, slik det gjør i dag? Det er liten tvil om at hvilket belønningssystem en har i stor grad bestemmer hvilke oppfatninger en får om ulike aktiviteters viktighet.

Nye plattformer viser en større bredde av vitenskapelige aktiviteter. ResearchGate er et godt eksempel, med seks millioner brukere. Kudos vokser veldig raskt. Det finnes en rekke lignende plattformer. Arbeidsgruppen Nicholas ledet fant 25, med til sammen 30 millioner brukere. Disse plattformene viser til sammen 22 av de 58 aktivitetene, noe som er mye mer enn det en får til innenfor det tradisjonelle systemet. Likevel legges det liten vekt på disse plattformene for formidling og samarbeid legges, det samme gjelder sosiale medier. Dette er noe som bør diskuteres, siden de nye plattformene legger vekt på et bredere spekter av indikatorer enn det som har vært vanlig.

Det er interessant at alle de som har startet disse plattformene står utenfor det tradisjonelle publiseringssystemet. Nicholas mener at bibliotek kan bidra på flere måter, bl. a. med bibliometri og statistikk som kan gi bakgrunnsmateriale for nye indikatorer. Dette med bibliometri er jo verdt å merke seg, her bør kanskje ledelsen ved UiS tenke seg om en gang til?

En utfordring ved overgang til Open Science og bruk av nye indikatorer: Kvalitetssikring og integritet. Selv om tradisjonell fagfellevurdering har møtt en del kritikk er det et etablert system, og et «ris bak speilet» for de som vil være uærlige. Dette må en også få til innenfor et nytt system, helst enda bedre og sikrere enn i dag.

Video av presentasjonen

Ros Bell: Digilab; Supporting and encouraging new tehnologies

Hun presenterte Digilab ved universitetet i Manchester. Det er en teknologilab som har som formål å få til samarbeid, diskusjoner og utvikling for studenter og ansatte, i tilknytning til bruk av ny teknologi. De har blant annet 3D-printer, og de utforsker ting som virtuell virkelighet og EEG-hodebånd. De er også opptatt av teknologi som kan hjelpe studenter med ting de sliter med, f. eks. å ta notater. 3D-printeren vekker stor interesse, noe som er lovende for oss.

Bell er ikke selv bibliotekar, men hun er glad for at Digilab er tilknyttet biblioteket. Hun framhever bibliotekets demokratiske natur og tilgjengelighet som en fordel. Slik situasjonen er i dag har de ikke ressurser til å holde Digilab åpen og i daglig drift. Fram til nå har de hatt enkelte «events» som har vært svært godt besøkt. Disse krever mye personale, og mye opplæring av personalet som skal være til stede. Det er altså ganske ressurskrevende å ha en slik lab. Å kjøpe inn avansert teknologisk utstyr er jo heller ikke gratis.

Bell fortalte meg at i dag går mye av hennes daglige jobb ut på å skrive søknader om finansiering, og argumentere for hvorfor Digilab i det hele tatt er nødvendig. Det kan virke som det er en del skepsis, og de har en jobb å gjøre i forhold til å legitimere sin eksistens.

Video av presentasjonen

UiT : Because you’re worth it: how to inspire academic integrity and critical thinking in students

Ved UiT lanserte de en MOOC med navnet iKomp tidligere i år. Den har som mål å lære studenter om informasjonskompetanse. De bruker plattformen edX. Målgruppen er spesielt nye studenter, men ellers kan alle som ønsker det ta kurset helt gratis. Kurset tar for seg ting som læringsstrategier, søking, evaluering av informasjon og akademisk etikk. Noe av bakgrunnen for kurset var at de ville bort fra den noe detaljerte og tekniske undervisningen som ellers ofte kjennetegner de kursene vi holder.

For å få studentene i gang passer de på å ha aktivitet tidlig i hver modul. Det er ellers et kort sett med spørsmål i slutten av hver modul. Når en har gått gjennom hele kurset kan en avlegge en litt større eksamen, og få ut et kursbevis.

Det er viktig å motivere studentene. De har satt opp følgende formel:
Engasjement = Aktivitet X Motivasjon
De prøver å holde seg til en personlig stil, og henvender seg til studentene på en personlig måte. De henvender seg direkte til hver enkelt student. De ser på det som en fordel at på nettet kan studentene være mer ærlige enn i en klasseromssituasjon: Når en sitter alene foran en PC mister en ikke ansikt dersom en svarer feil eller mangler kunnskap.

Ved bruk av MOOCs kan studentene forberede seg for seg selv og lære det grunnleggende på egen hånd. Dermed kan tiden sammen med andre brukes til diskusjoner og samtale, i stedet for enveis kommunikasjon fra kateteret. Dette er noe som ofte framheves som en fordel med MOOCs, det legger forholdene til rette for en mer interaksjonsbasert undervisning.

Til nå har de fått positive tilbakemeldinger på kurset. Både innholdet og den teknologiske løsningen som er valgt har fått mye skryt. De mer negative tilbakemeldingene de har mottatt går på at kurset har for mye tekst, og at oppgavene rett og slett er for enkle. Det er noe å ta med seg.

Video av presentasjonen

Jurgen Appelo: Manage yourself!

Jurgen Appelos hjemmeside

Appelo

Som dette bildet viser er det vanlig å stille spørsmål om hvordan andre kan forandre seg. Det er begrenset hvor mye en kan gjøre med det. Kanskje en heller bør begynne med å forandre seg selv?

Vi lærer av eksperimenter, ikke av å kun gjøre ting som vi på forhånd vet vil lykkes. Det er ikke kun «beste praksis» som bør oppmuntres, da lærer vi lite. Bør vi dermed «feire» når noe går galt? Bare dersom vi lærer av det!

Nettverk er gode til å drive utvikling, og lære av sine feil. Hierarkier er gode på daglig drift, å holde hjulene effektivt i gang. De er også gode til å gjøre de samme feilene flere ganger… Vi trenger kanskje begge.

OKR: Objective Key Results. Dette er en måte å sette klare mål for seg selv: OKR skal være lette å måle og tallfeste. Det er faktisk ikke ideelt å oppnå full måloppnåelse, da har en vært for lite ambisiøs. Mellom 60 og 70 % måloppnåelse regnes som ideelt. Vi er også bedre til å evaluere hverandre enn å evaluere oss selv. I selskapet Appelo leder tar de konsekvensen av dette, ved å la de ansatte bestemme hvordan bonuser skal fordeles, i stedet for å la ledelsen ha all makt.

Avsluttende råd:

1. Stjel gode ideer.
2. Lær av å eksperimentere.

Video av presentasjonen

JDD

Advertisements

Legg igjen en kommentar

Mer fra Inger i Århus

I dag hadde jeg møter med Ditte, Nicolaj og Pernille.

Ditte:

Utarbeider rapporter for Rektor, Dekaner og Prodekaner.

Til rektor utarbeides det rapporter om universitetsranking. Hvordan klarer Århus universitet seg i forhold til andre universitet. Rapportene brukes bl.a. om rektor skal besøke et universitet eller om rektor mottar besøk fra et annet universitet.

Dekaner, prodekaner spør etter årlige statusrapporter for å finne ut om forskningeintensiteten går opp eller ned på fakultetsnivå. Hvor høy imapctfaktor tidsskriftene det publiseres i har. Det er også interessant å se hvem forskerne samarbeider med.

Instituttleder spør etter rapporter til bruk i utviklingssamtaler. De ber om rapporter på personer.

I Danmark utgjør BFI (bibliografisk forskningsindikator) 25% av statlig tildeling til universitetene. Ved AU er det rektor som fordeler disse midlene til universitetets fire fakulteter: Arts, Science and technology, Health og Business and Social Sciences.

Ve AU arbeides det med å utarbeide en ”Ydelseskatalog”. Formålet er å formidle hva biblioteket kan hjelpe brukerne med m.h.t bibliometri. Det er ikke alltid at brukerne forstår det. Man må intervjue brukerne på samme måte som man gjør i skranken for å formidle hva man kan tilby og for å forstå hva brukeren  ønsker.

AU bibliotek bruker Article Influence Score istedet for Impact faktor ved vurdering av tidsskrifters kvalitet. AIS beregnes ut fra hele ISI WOS, og ikke ut fra  emnegrupper slik som Impact factor. Et gjennomsnittstidsskrift har verdien 1. En AIS på over 1 indikerer at et tidsskrift ligger over gjennomsnittet. En AIS på under 1 at tidsskriftet ligger under gjennomsnittet i ISI WOS. (AIS kan være svært høy, over 20). AIS er en komplisert beregningsmodell som tar hensyn til mange faktorer bl.a. selvsiteringer og lengden på referanselistene. Vi kan finne AIS i ISI Journal Citation Report.

PURE/Nicolaj

PURE brukes til å generere opplysninger om publiseringsproduksjon, på samme måte som Cristin i Norge. Fra PURE hentes informasjon til BFI (bibliografisk forskningsindikator).

For å få gode resultater er det viktig at riktige poster registreres. For eksempel en forskers arbeidsplass (her gjøres det visst mye feil).

Biblioteket kvalitetssikrer at innførslene i PURE er riktige.

PURE generere opplysninger til ansattes hjemmesider.

Pernille

Arbeider i en ”Forskningsstøtte enhet” . Dette er en egen avdeling som støtter forskere med å søke fondsmidler fra EU og nasjonalt.

Pernille arbeider med å lage bibliometri om søkerne. Finne forskernes impact. Hva er forskerens fordel? Hvor har forskeren publisert og ikke minst blir forskningen brukt (sitert av andre).

Hvordan  kan forskeren vurderes i forhold til andre forskere innen samme fagområde?

Søknader til European Research Council (ERC) er krevende og forskere som skal søke bør vurderes på forhånd, rett og slett for å se om de er gode nok. Noen beskjedne forskere er blitt pushet til å søke etter at de har blitt vurdert. Det viste seg at de var bedre enn de selv trodde. Andre blir bedt om å la være. Det er ingen vits, de er ikke gode nok.

Pernille er også blitt bedt om å vurdere impact til personer som er innstilt til priser. Disse er blitt vurdert opp mot tidligere prisvinnere.

Hun vurderer også hele avdelinger. Da prøver hun å finne ut hva denne avdelingens styrke er. F.eks hvor mange nivå 2 tidsskrifter publiseres det i?

Hun har mange oppgaver fra fakultetene Health og Science. Humanistiske fag har få sieringer.

Når Pernille vurderer en forsker, så er hennes rådata:

  • Poster i ISI WOS
  • Siteringer
  • H-indeks

Hun lager grafer over årlige publiseringer og siteringer. Grafene bør ikke gå nedover. Det indikerer at forskeren har gått i stå.

Hvilke impact tidsskriftene forskeren har publisert i har også betydning. Hvor mange av en forskers artikkel er publisert i de 20% av tidsskriftene innen et emne som har høyest impact? Hvor mange artikler i de 50% mest betydningsfulle tidsskriftene?

Hva siteres? Kun en av publikasjonene til forskeren, kun eldre artikler eller er dette en forsker som fremdeles er produktiv og aktuell. Dvs-også nye artikler publiseres.

H-index/antall forskningsår bør være >1. 2 er en god forsker.

Antall siteringer pr. dokument beregnes også.

Pernille understreker at bibliometriske resultater aldri må stå alene, men sees i kontekst.

Pernille bruker ISI WOS, Scopus og verktøyet InCites for å vurdere personer. Vi har ikke InCites et verktøy som brukes mye ved AU. Jeg vil i dag og i morgen prøve ut InCites for å se om det kan brukes ved UIS, men jeg tror ikke vi er stor nok. Det blir spennende å se.

Ditte:

Fortalte om akkrediteringsrapporter som ”AU Business and Social Sciences fakultet” må utarbeide for å oppnå de tre akkrediteringene som må til for å være blant verdens ledende handelshøyskoler

I Norge ser det ut til at kun BI tilfredsstiller disse kravene:

http://www.dn.no/talent/2014/05/12/Utdannelse/n-norsk-skole-med-i-eksklusiv-klubb

Biblioteket bidrar med informasjon om fakultetets publisering til disse søknadene. Informasjonen hentes fra PURE.

Inntil 700 personer blir vurdert m.h.t

  • CV
  • Forskningsaktiviteter
  • Undervisningsaktiviteter

Ditte fortalte at man i Danmark har et nasjonalt nettverk innen bibliometri som har jevnlige møter. Jeg innser at dette er et stort fag, og tror nok dette er svært nyttig.

Ditte fortalte også om the DORA declaration, som er en rapport som er svært kritisk til bibliometri. (Jeg har ikke lest den enda.)
Hilsen

Inger (fremdeles i Århus)

Legg igjen en kommentar

Besøk ved Århus Universitetsbibliotek

Da jeg kom til AU i dag ble jeg tatt godt imot av Ditte Schjødt Svensson. Jeg har fått egen arbeidsplass og har det bra. Alle er svært hyggelige. Jeg ble til og med tilbudt å låne en sykkel. (Noe jeg takket nei til, jeg tør ikke å bevege meg ut på sykkelveiene her.)

En kollega som hadde hatt bursdag i helgen ble feiret med rundstykker og ost til kaffen som de har hver dag kl. 9.30. Det var koselig.

Ved kaffebordet lærte jeg at Århus Universitet har 40000 studenter, og at det jobber 100 stykker ved biblioteket.

Vi snakket litt om bibliometri:

  • om at bibliometri kan brukes for å finne ut hvordan en forsker eller en institusjon har utviklet seg over tid.
  • Jeg lærte at det danske systemet PURE tilsvarer våres Cristin.
  • Om at utvelgelse av fakta til bibliometriske analyser påvirker bibliometrien og at den som arbeider med dette, må stå for det utvalget som blir gjort.
  • ISI Web of Science brukes mye, men har store begrensninger innen mange fagområder. Databasen bør ha en faglig dekning på rundt 50% for å kunne brukes i bibliometrisk sammenheng.
  • Cristin kan brukes for alle fag

Jeg ble gjort oppmerksom på at det ikke er lett å søke opp en institusjon verken i WOS eller i Scopus fordi institusjonsnavnene er registrert på forskjellig måte og fordi de har endret navn over tid.

Det kan vi jo lage en konkurranse om på UIS. Hvem finner flest UIS navn i ISI basen? Jeg fant disse:

  • UNIV STAVANGER
  • STAVANGER UNIV COLL
  • STAVANGER COLL
  • STAVANGER UNIV
  • HOGSKOLEN STAVANGER
  • ROGALANDS DISTRIKTSHOYSKOLE
  • ROGALAND DISTRIKTSHGSK
  • HOGSKOLESENTERET ROGALAN
  • ROGALAND COLL
  • INT RES INST STAVANGER
  • RF ROGALAND RES
  • IRIS
  • ROGALAND RES
  • ROGALAND RES INST
  • ROGALAND RES RF
  • STAVANGER LAERERHOGSKOLE
  • STAVANGER LAERERHOJSKOLE
  • STAVANGER LAERERHGSK

Hvor mange finner du?

Tips: bruk SAME for å få treff på termer som finnes i samme adresse.

Så var det kurs i InCites som leveres av Thomson og som bruker WOS´s siste 10 år som datagrunnlag for bibliometriske analyser.

InCites kan utarbeide rapporter om enkeltforskere, om institusjoner, hvem samarbeider med hvem? En oversiktlig, flott resurs som var lett og bruke.

Et problem i WOS er at der er registrert mange forfattere som heter nøyaktig det samme. Fra 2008 har men derfor prøvd å linke forfatternavn til institusjon for å greie å skille dem fra hverandre.

Jeg ble i løpet av kurset usikker på om InCites kan brukes i Stavanger. Kanskje vi rett og slett er for små. Jeg tror AU har 10 ganger så mange poster i WOS som UIS har. Vi har likevel noen forskere som utmerker seg, men jeg er som sagt usikker.

Hilsen

Inger på besøk ved AU.

Legg igjen en kommentar