04-26 00:01
|
'stats'에 해당되는 글 4건[Elasticsearch] Sum Aggs vs Stats Aggs ...Elastic/Elasticsearch 2021. 9. 1. 14:41코드만 봤을 때는 sum 보다 stats 가 느려야 하는게 정상으로 보입니다. 실제 문서의 구조와 질의를 어떻게 사용 했는지를 모르는 상황에서는 sum 보다 stats 가 빠르다는 부분에 대해서는 판단 하기가 어렵네요.
일단 sum, stats 와 같은 aggs 를 잘 사용하기 위해서는 아래 내용 정도 인지 하고 사용 하시면 좋을 것 같아 기록해 봅니다.
[Git] git commit 통계 보기ITWeb/개발일반 2019. 3. 19. 11:27파일명 마음에 안들지만 그냥 귀찮으니 그대로 올립니다. $ tree -f . ├── ./git-stats-period.sh ├── ./git-stats.sh └── ./project_clone.sh $ ./git-stats-period.sh 1 git-stats git-stats-period.sh) 통계 추출 메인 스크립트 #!/bin/bash PERIOD=$1 CLONE_DIR=$2 if [ "$#" -ne 2 ] then echo "example $ ./git-stats-period.sh PERIOD CLONE-DIR" echo "example $ ./git-stats-period.sh 7 git-temp" exit 0 fi mkdir -p $CLONE_DIR ./project_clone.sh $CLONE_DIR cd $CLONE_DIR rm -f ./git-stats-temp.log rm -f ./git-committers.log for (( idx=1; idx<=$PERIOD; idx++ )) do # 디렉토리 목록을 가져오고, all.log 파일은 삭제 for dir in $(ls -d */) do echo ${dir%%/} echo "rm -f ./${dir%%/}/git-stats-all.log" echo "../git-stats.sh $idx ${dir%%/}" rm -f ./${dir%%/}/git-stats-all.log ../git-stats.sh $idx ${dir%%/} done done sort ./git-committers.log | uniq > ./git-uniq-committers.log git-stats.sh) 통계 추출 실행 스크립트 #!/usr/bin/env bash pwd cd $2 #git stash #git pull #exit 0 DAYS_AGO=$1 DATE=`date -v -"$DAYS_AGO"d +%F` PWD=`pwd` rm -f ./git-stats-$DATE.log echo "Date : $DATE" > "git-stats-$DATE.log" echo "Date : $DATE" >> "git-stats-all.log" echo "Date : $DATE" >> "../git-stats-temp.log" # This script must exist under git repository. echo "[Commit Statistics]" >> "git-stats-$DATE.log" echo "[Commit Statistics]" >> "git-stats-all.log" echo "[Commit Statistics]" >> "../git-stats-temp.log" # total commit stats USER_COUNT=`git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --format='%aN %ce' | sort -u | wc -l` echo "Total Commit Users : $USER_COUNT" >> "git-stats-$DATE.log" echo "Total Commit Users : $USER_COUNT" >> "git-stats-all.log" echo "Total Commit Users : $USER_COUNT" >> "../git-stats-temp.log" git log --shortstat --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all | grep -E "fil(e|es) changed" | awk '{files+=$1; inserted+=$4; deleted+=$6} END {print "files changed: ", files, "lines inserted: ", inserted, "lines deleted: ", deleted }' >> "git-stats-$DATE.log" git log --shortstat --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all | grep -E "fil(e|es) changed" | awk '{files+=$1; inserted+=$4; deleted+=$6} END {print "files changed: ", files, "lines inserted: ", inserted, "lines deleted: ", deleted }' >> "git-stats-all.log" git log --shortstat --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all | grep -E "fil(e|es) changed" | awk '{files+=$1; inserted+=$4; deleted+=$6} END {print "files changed: ", files, "lines inserted: ", inserted, "lines deleted: ", deleted }' >> "../git-stats-temp.log" echo "" >> "git-stats-$DATE.log" echo "" >> "git-stats-all.log" echo "" >> "../git-stats-temp.log" echo "[Committers]" >> "git-stats-$DATE.log" echo "[Committers]" >> "git-stats-all.log" echo "[Committers]" >> "../git-stats-temp.log" # commit user list git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --format='%aN %ce' | sort -u >> "git-stats-$DATE.log" git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --format='%aN %ce' | sort -u >> "git-stats-all.log" git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --format='%aN %ce' | sort -u >> "../git-committers.log" git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --format='%aN %ce' | sort -u >> "../git-stats-temp.log" echo "" >> "git-stats-$DATE.log" echo "" >> "git-stats-all.log" echo "" >> "../git-stats-temp.log" echo "[Commit Logs]" >> "git-stats-$DATE.log" echo "[Commit Logs]" >> "git-stats-all.log" echo "[Commit Logs]" >> "../git-stats-temp.log" # each user commit stats git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --pretty=format:'"%an", "%aD", "%s",' --shortstat --no-merges >> "git-stats-$DATE.log" git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --pretty=format:'"%an", "%aD", "%s",' --shortstat --no-merges >> "git-stats-all.log" git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --pretty=format:'"%an", "%aD", "%s",' --shortstat --no-merges >> "../git-stats-temp.log" project_clone.sh) git repo clone 스크립트 #!/bin/bash CLONE_DIR=$1 echo "현재 받아 놓은 Repository는 모두 삭제 됩니다. 진행 하시겠습니까? (y/n)" read answer cd $CLONE_DIR if [ "$answer" == "y" ]; then rm -rf * else exit 0 fi arr_repos=("GIT-REPOSITORY[http://...]") for git_repo in "${arr_repos[@]}"; do if [ "$answer" == "y" ]; then git clone $git_repo echo "" fi done [git] git log stats 보기ITWeb/개발일반 2018. 1. 12. 15:45그냥 제가 보고 싶은 형태로 구성하기 위해 스크립트 만들어 봤습니다. 참고문서) https://git-scm.com/docs/git-log https://git-scm.com/docs/pretty-formats #!/usr/bin/env bash DAYS_AGO=$1 DATE=`date -v -"$DAYS_AGO"d +%F` PWD=`pwd` echo "Date : $DATE" > "git-stats-$DATE.log" # This script must exist under git repository. echo "[Commit Statistics]" >> "git-stats-$DATE.log" # total commit stats USER_COUNT=`git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --format='%aN %ce' | sort -u | wc -l` echo "Total Commit Users : $USER_COUNT" >> "git-stats-$DATE.log" git log --shortstat --before="$DATE 23:59:59" --after="$DATE 00:00:00" | grep -E "fil(e|es) changed" | awk '{files+=$1; inserted+=$4; deleted+=$6} END {print "files changed: ", files, "lines inserted: ", inserted, "lines deleted: ", deleted }' >> "git-stats-$DATE.log" echo "" >> "git-stats-$DATE.log" echo "[Committers]" >> "git-stats-$DATE.log" # commit user list git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --format='%aN %ce' | sort -u >> "git-stats-$DATE.log" echo "" >> "git-stats-$DATE.log" echo "[Commit Logs]" >> "git-stats-$DATE.log" # each user commit stats git log --before="$DATE 23:59:59" --after="$DATE 00:00:00" --all --pretty=format:'"%an", "%aD", "%s",' --shortstat --no-merges >> "git-stats-$DATE.log" [Elasticsearch] 관리도구 만들때 유용한 REST APIElastic/Elasticsearch 2014. 3. 21. 01:12elasticsearch 관리도구 만들때 유용한 REST API 입니다. 뭐 꼭 이런걸 만들 필요가 있나요 하시는 분들도 계실텐데요. 필요 할 수도 있습니다. ㅎㅎ 대표적인 오픈소스 기반의 플러그인은 잘 아시는 head, bigdesk, hq, paramedic 등등... 오피셜 버전으로는 marvel도 있으니... 중요한건 실시간 모니터링은 위 플러그인으로 되구요. marvel 은 모니터링 데이터를 색인해서 저장하기 때문에 기간 단위 조회도 가능 하죠. 하지만 이 도구들의 단점이 있죠. 결국 모니터링 하고자 하는 노드에 설치가 되어야 한다는 문제점 입니다. 뭐 해결 방법은 많이 있겠죠. 가장 쉽게는 proxy 설정을 통해서 할 수도 있겠죠. 뭐 정리 하고 적어 봅시다. 쓸만한 REST API [관리용 REST API] - http://localhost:9200/_cluster/health?pretty=true - http://localhost:9200/_nodes/stats?pretty=true - http://localhost:9200/_stats?pretty=true 그 이외는 이전에 한번 언급한적이 있는 것 같은데 _cat 을 한번 검토해 보시는 것도 좋습니다. |
